実験室とフィールドのギャップを埋めるVR

—「Sports Brain Science Project」では、スポーツの「技」と「心」のエッセンスを読み解くための研究をされています。その中で、木村さんが中心となって取り組まれているバーチャルリアリティ （Virtual Reality : VR）技術を活用した実験について教えてください。なぜ、VRを活用されようと思われたのですか？

木村： これまで、スポーツ脳科学における計測のアプローチというと、実験室環境での計測が主流だったんですね。その最大のメリットは、計測条件を厳密に統制できる点にあります。ところが、実験室では扱える運動や状況というのは実際のスポーツシーンからかけ離れがちで、スポーツの限られた側面しか捉えることができませんでした。

そうした中、近年、多種多様な無線センサ、ウェアラブルセンサ技術の進展を背景に、実際のスポーツフィールドで人間の生体情報を計測できるようになってきました。現在、我々も、導電性ファブリックhitoe®をはじめ、各種ウェアラブルセンサを用いて、実環境下でのスポーツ時の生体情報の取得と解析に取り組んでいるところです。

しかし、実環境に近づければ近づけるほど、今度は環境が複雑になりすぎて、そこで観察した現象が果たして何の影響を受けたものなのか、関係性を読み解くことが難しくなります。このように、実験室計測と実環境計測は、リアリティと条件統制において、つねにトレードオフにあるというジレンマを抱えてきました。

この実験室計測と実環境計測のギャップをいかにして埋めるか—。そこで活用できると考えたのが、第三のアプローチであるVRによる計測です。VRのメリットの一つは、臨場感のある視覚体験が得られること。さらに、コンピュータグラフィックス（CG）と組み合わせれば、視覚環境をさまざまに操作することができます。つまり、実環境ではあり得ないような視覚状況を意図的につくり出せる。そこに、VR計測の大きな可能性を感じています。

VRについては、すでにアミューズメント施設のアトラクションなどでジェットコースターや高所の体験などができる技術やサービスが登場していますが、スポーツに関しても、アメリカンフットボールやキックボクシング、テニス、バッティングなどの体験などができるシステムが開発されており、スポーツパフォーマンスの評価などへの活用が始まっているところです。

脳科学実験用のVRとは？

—昨年4月に開催された「ニコニコ超会議」の「NTT超未来大博覧会」ブースで、今回の実験のベースとなっているVRを体験しました。ものすごい臨場感ですね。

木村： ニコニコ超会議のVRシステムは、NTTのメディアインテリジェンス研究所が開発したものです。実際に体験されたように、没入感の高いヘッドマウントディスプレイ（Head Mounted Display ： HMD）にピッチャーの投球シーンが映し出され、ヴァーチャルに、バッターボックスに立つ打者目線で投球を見たり、キャッチャー目線で球を受けたりすることができます。このVRシステムの技術をベースに、我々は生体計測用の打撃用システムを開発しました。実験では、実験参加者に慣性センサが埋め込まれた計測用のスーツを着用してもらい、球を打つ動作や生体情報（筋活動や心拍、呼吸）を計測することで、脳の機能を調べようとしています。

図1. 打撃用VRシステム

—この研究のために開発されたのですか？

木村： はい、生体計測に使えるだけの十分なスペックとリアリティを備えたシステムとしてあらたに開発しました。というのも、元々のHMDシステムでは、30ヘルツ（Hz）、つまり、１秒間に30回の動作計測が可能な程度のものしかなく、それでは人間の詳細な反応を見ることはできません。我々のシステムでは、3倍の90Hzの精度を実現しています。

ちなみに、仮想空間の球場は実写画像とCGを組み合わせて合成したものです。メディアインテリジェンス研究所が開発したこの技術の肝は、複数台のカメラで撮った映像を元に、任意の視点からの映像を再構成できる点にあります。これにより、たとえば、バッターボックスよりももっと後ろの観客席から撮った映像であっても、あたかもバッターボックスから見た映像として再構成することができる。こうして、打者の頭部の位置、向きに合わせて、右目・左目に各々適切な映像を提示することが可能になり、実験参加者は非常にリアルな打撃シーンを体験できるというわけです。

—バッターボックスに立った人の視点で撮影した映像を使うわけではないのですね？

木村： なぜ、わざわざ動画を再構成するかといえば、単にバッターボックスに立っている人にカメラ付きのゴーグルをつけて撮影したとしても、その映像は撮影した条件でだけリアルなので、例えば左打席に移動するとズレ感が生じたり、ひどい場合は車酔いのような状態になってしまうからです。そのため、どの位置からでも違和感がないように、映像を補正・加工するなどして再構築することが不可欠になります。また、ボールの軌道は、事前に取得した投球データに基づいてCGで描画し、撮影された投手映像の動きに合わせて投げ込まれるしくみです。

それから、被験者が着用しているスーツとバットに無線の加速度センサを埋め込むことにより、打者とバットの挙動をリアルタイムで仮想空間の中のアバターに反映しています。つまり、被験者がバットを振ると、バットとボールの当たり方に応じて仮想の球場に打球が飛んでいく。このように、実画像とCGをうまく組み合わせながら非常に臨場感のあるCG動画をリアルタイムにつくり出し、生体計測に耐えられるような環境を実現したところが、このシステムの最大のポイントと言えます。

現実にはあり得ない状況も体験できる

—ニコニコ超会議でこのVRを体験した際に、顔めがけてボールが飛んできて、思わずのけぞってしまいました。

木村： のけぞりますよね（笑）。慣れている我々でも、思わずのけぞってしまいます。リアリティがそれだけ高いということでしょう。ヴァーチャルだとわかっていても避けてしまうのは、意識的な認知や判断を介さない「無意識的な素早い反応」、すなわち潜在脳機能のなせるわざです。自分で止めようと思っても、つい反応してしまうわけですね。まさに、そういった生体反応を調べるのが我々の狙いです。

しかも、ヴァーチャルだからこそ、顔めがけて飛んでくるようなビーンボールも見せることができる。実空間で実際にビーンボールを投げて、反応を見るなんてことは倫理的に許されませんからね。そのほかに、途中で球が消えたり、極端に曲がったり、物理的にあり得ないような挙動をする球を見せることも可能です。このようにさまざまに条件を変えた映像を提示して、生体応答を調べる実験を始めているところです。

野球経験者と未経験者では反応が異なる

—すでに成果が出ているのですか？

木村： はい。野球経験者と未経験者にそれぞれこのVRシステムを体験してもらい、生体応答を調べたところ興味深い結果が出ています。まず、実験参加者に、ストライク、あるいはボールとなる速球やカーブをランダムに提示して、ストライクだと思ったら打撃するように指示しました。その際の頭と足の動き、および呼吸のタイミングを調べたところ、経験者と未経験者では明らかな違いが見られたのです。

経験者は、ピッチャーがボールを投げる前から、予備動作と呼ばれる、打つための動き、つまりタイミングをとったり、足を踏み込んだりといった動作を開始するんですね。一方の未経験者は、ボールが投げられて初めて反応する。すなわち、経験者は予測して動き出しているのに対して、未経験者はボールがリリースされて初めて動くことから予備動作がないことがわかりました。

また、呼吸の波形にも違いが見られました。経験者は打撃のタイミングに合わせて、息を吐いているのです。つまり、打撃と呼吸のタイミングがほぼ揃っている。未経験者ではそのような連動はあまり見られませんでした。

—ボールが飛んでくるまでには、１秒もないわけですよね？

木村： はい、だいたい0.5秒くらいです。そのわずかな時間でボールを認識して、打ち返すのはほぼ不可能なんですね。だからこそ、経験者はピッチャーの動きから、予測して動き出している。しかも、意識して動くのではなく、無意識的な反応として動くのです。

図2. VR打撃時の生体応答

じつは、我々は以前、「壊れたエスカレーター錯覚」について調べたことがあるのですが、壊れて動かないエスカレーターに乗ったときに、思わず体が前のめりになったご経験はありませんか？　動いているエスカレーターに乗ろうとすると、身体を前傾させてうまくスピードに乗る必要がありますが、たいていの人は、止まっているエスカレーターでも、つい勝手に身体が反応してしまう。これと同様に、頭ではヴァーチャルだとわかっていても、身体の動きというのは、無意識につい反応してしまう部分があります。その潜在脳機能について調べることで、未知の知見が得られると考えているのです。

—そしてすでに、経験者と未経験者では違いがあること見えてきたわけですね。

木村： はい。逆に言えば、経験者だからこそ、つい出てしまう動きもあるということです。たとえば、サッカーなどにフェイントといって、相手の予測の裏をかいた動きをする技がありますよね。これなどは、まさにサッカーの動きのバリエーションを学習して、次の動きを予測しているからこそ引っかかるのであって、そもそも相手の動きの予測ができない素人にはあまり通用しません。

このように、スポーツ経験の有無や、レベルの違いによって、反応がさまざまに異なることが解明されつつある。今後はさらに筋活動や眼球運動などのデータと組み合わせることで、力の入れ方や力み具合、視線、メンタルの状態など、より多角的にパフォーマンスとの関連性を調べていく予定です。

（取材・文＝田井中麻都佳）

Next: バーチャルリアリティ 技術で解き明かすスポーツ選手の「技」と「心」（後編）リスクを取れる人がスポーツ競技に向く!?