複雑な｢体操競技の判定｣､審判支えるAIの凄み
体操競技ではAIが技を自動判定する採点システムが取り入れられている（写真：Tim Clayton - Corbis／gettyimages）
ビデオ判定でセーフがアウトにくつがえる……そんな光景が多くのスポーツで見られるようになっている。選手の動きを360度で捉えて、スローモーションやズームイン、角度を切り替えて確認したり、分析映像なども見られるようになり、より正確で公平な判定ができるようになった。
どうしても人の目だけに頼るのでは限界がある。採点型の競技はなおさらで、技が高度化、複雑化すればするほど審判への負担は大きくなる。
そんなスポーツの1つである体操競技には近年、人工知能（AI）を活用した採点システムが取り入れられ、進化を続けている。
採点型競技でのAI導入は世界初
富士通が国際体操連盟と共同で、審判の判定をサポートする「Judging Support System（以下、JSS）」の開発をスタートしたのは2016年。2019年に一部の種目から活用を始め、2023年ベルギーのアントワープで行われた「第52回世界体操競技選手権大会」で全10種目に適用された。採点型競技でのAI導入は世界初の取り組みで、今後さまざまな世界大会でJSSの本格運用が見込まれている。
2023年ベルギーのアントワープで行われた「第52回世界体操競技選手権大会」で全10種目に適用されたJSS（写真：富士通提供）
JSS開発のきっかけについて、富士通の藤原英則氏は次のように話す。
「2015年に国際体操連盟の幹部の方が『これからはロボットが採点する時代がくるね』と言ったことが始まり。それを真に受けて半年後にプロトタイプをつくって見せたら、『あれは冗談だよ』と言われたが（笑）、冗談で終わらないようにとチャレンジすることにした」
思わぬ一言から始まったが、このとき藤原氏は他社が手掛けてない、誰も見たことがない未来を描く仕事をして、新たな価値を創造し市場を生み出したいと考えていたという。
「誰も見たことがないということは、後から技術を追い付かせていくことになる。しかし、技術者からは『こんなことできるわけがない』と言われる始末。実際の開発がスタートしてからも問題や課題だらけ。本当に10種目の判定ができるのか危ぶまれた。一度は審判からも使えないと指摘され、本当に挫折しそうになった。しかし、そこから技術者を含めたチームの強い結束力が生まれた」
人の動きを高精度にデジタル化
体操は、男子があん馬・つり輪・跳馬・鉄棒・平行棒・ゆか、女子は跳馬・平均台・段違い平行棒・ゆかと全10種目ある。
体操の採点では、審判が神業的に目視で技を見極めて手書きで採点シートに書き入れるのが通例だった（写真：富士通提供）
さまざまな角度から採点するため審判が多く、種目によっては13名の審判が採点することになる。採点では採点規則に基づき、審判が神業的に目視で技を見極めて手書きで採点シートに書き入れるのが通例だった。
だが、技の高度化や複雑化が進み、判定にもより高いスキルが求められるようになり、審判の責任や負荷が高まっていた。
そこで富士通では、人の多様な動きを高精度にデジタル化する「Human Motion Analytics（以下、HMA）」を開発。これまでのディープラーニングによる画像解析で課題だった姿勢認識のブレを大幅に低減できる独自補正アルゴリズムのほか、AIの学習データを人工的に大量に生成する技術の実現に成功した。
賢いAIをつくるには、どんな情報でいかに学習させるかがポイントだ。開発当初は、実際に選手が演技している画像で学習していたが、途中から人工的に生成した演技画像も含めて正しい骨格情報をAIに覚えさせることで、開発期間を短縮したという。
また、人の動きを4次元（3次元＋時系列）で捉え、「技」を瞬間ではなく「一連の動き」として認識する技術も開発。これで複雑かつ高速な体操競技の動きであっても、精緻に捉えた分析ができるようになり、高精度な解析が可能となった。JSSの開発時点で、体操の技は約1500ほどあったが（富士通調べ）、それぞれの技を動作の組み合わせとしてAIに認識させることで開発ボリュームを抑える工夫も行っている。
ブレークスルーのきっかけ
富士通は、テクノロジーカンパニーであるがゆえに、会社の中に埋没している技術がたくさんあるという。これをいかに有効に使うかも重要で、埋もれた技術を組み合わせることからブレークスルーへのきっかけが生まれたと語る。
「開発のブレークスルーとなったのは、動作の計測をセンサーからカメラ映像による画像解析に置き換えたことだった。それまではセンサーでなければ人の動きを捉えられなかったが、生成技術をほかの分野に転用していくためには、カメラのほうが汎用性は高い。カメラ4台（ゆか競技は8台）で多角的に取得した画像データを、骨格認識や技のデータベースとマッチングさせAIで分析を行って採点している」
こうして生まれたJSSの導入で、何が変わったのか。現在、基本的には審判が判定する際のサポートとして利用されている。
とくに審判が判定に迷ったときは、これまでビデオリプレイが使われてきたが、JSSでは3次元のデータを駆使して、審判が確認したい動作を瞬時に確認できるようになった。JSSで出力されるデータは、��Dスコア・難度・グループコード、コネクティッドバリュー、��技名、��CG・骨格データ、�こ囘戞Φ�離、�ゥ�メラ画像・タイムラインだ。
審判が判定する際のサポートとして利用されているJSS（写真：富士通提供）
「今は審判が迷ったときに、映像だけで判断しなくてもいいという安心感と、より公正な判断ができるようになった。JSSの利用が拡大していけば、さらに精緻な判定が実現していくと考えている」
トレーニングの精度向上にも期待
今後は、世界大会などにおける審判サポートだけでなく、選手の能力や技の習熟度を評価するなどトレーニング中に活用することも期待されている。
「これまで選手とコーチの関係は感覚の世界であり、定性的な指導が中心だったが、これから定量的なデータを活用すれば、選手自身で競技力を向上させることもできるようになる。そうなればAIが選手をエンパワーメントするといった世界も生まれるかもしれない。しかもJSSは国際的な審判の判定基準を集約させたAIのため、活用すればトレーニングの精度も必ず向上するはず。今はスポーツという人間の世界にAIがいきなり入ってきて、どんな化学反応が起こるのか検証している段階とも言える」
もともと藤原氏が体操競技に目を付けたのは、人の3次元情報がこれからの時代に役立つと考えたからだ。
中でも体操は「キング・オブ・スポーツ」といわれ、人の動きのすべてを包含しているスポーツ。もし体操の動きを捉えられる技術を実現させれば、ほかのスポーツにも展開できるという狙いがあった。
「日本でのスポーツの位置付けは教育が中心。アメリカのような巨大なエンターテインメント産業でもなければ、イギリスのように文化として完全に成熟しているわけでもない。いつか日本でもスポーツを産業化するような技術、さらには少子高齢化に対応できる技術が生まれるかもしれないと考えている」
スポーツの産業化の観点では、スター選手を生み出し、観客を増やしていくための技術に発展するかもしれない。少子高齢化の観点では、スポーツで培った技術を隣接領域であるヘルスケアに活用して健康寿命を延ばすことができるのではないかという目算がある。この2つのサイクルを同時に回していくことで、新たなビジネスチャンスを捉えたいという。
ヘルスケアやエンタメ分野での活用も視野
こうした新たな活用へのカギとなるのが、JSSで使用されている高精度な姿勢認識技術だ。
例えば、ヘルスケアの分野では、医師や理学療法士など専門家の知見をもとに正しい動作を定義し、患者や生活者の動作をデータ化したうえで、回復期の患者の運動療法や認知予防の医療をサポートできるかもしれない。
また、エンターテインメント分野では、スポーツ選手の3Dデータを活用して、新たな映像体験の実現やフォームなど動きの改善のほか、ゲームやアニメーション製作に活用することも視野に入れている。
実際、すでにプロゴルファーの監修のもと、今までの弾道測定だけでなく、身体の動きを因果分析してゴルフトレーニングに役立てるビジネスもスタートさせている。藤原氏もこう語る。
「現在、JSSは人の動きを正確に捉えることができるHMAというプラットフォームの上に体操競技のアプリケーションを搭載しているかたちになります。ということは、HMAをもとに何を分析するか。そこに可能性と汎用性の高さがある。AIと人間が共存できるポイントとはどこか。私たちはJSSをはじめとした実証実験を重ねていくことで、今後のAIとスポーツ、そしてビジネスの可能性を探っていきたいと考えています」
（國貞 文隆 ： ジャーナリスト）
