楽器演奏とスポーツの類似点

—お二人は古くからのお知り合いだそうですね。

古屋： 確か、私が大阪大学 医学研究科 予防環境医学の研究室にいた頃からのおつきあいですね。科学技術振興機構ERATO「下條潜在脳機能プロジェクト」に柏野さんがメンバーとして携わられていて、当時、私の研究室の先輩だった門田浩二さんもERATOのメンバーだったことから、お話させていただくようになったと記憶しています。十数年来になりますか。

柏野： 古屋さんはピアニストの身体制御と脳について研究をされていますが、私自身はもともと聴覚の研究者であり、音楽を聴いたり、歌を歌ったりするのが好きだということもあって、興味の方向性が似ていると感じていました。そもそも、音楽の演奏とスポーツには、自分の行為の結果が聴覚などの感覚にフィードバックされて、それらを使いながら身体の動きを制御するという点で共通点が多いように思います。

とくに私自身は、感覚と身体の動きをいかに関連付ければ、技術の向上に結びつけられるのか、という点に問題意識を持っています。つまり、スポーツに限らず、演奏や発話、あるいは書道などでもいいのですが、身体活動に伴う感覚系と運動系の相互作用に興味があるのです。

古屋： おっしゃる通り、音楽の演奏とスポーツとは本質的な部分で問題意識が似ていると思います。僕自身はピアニストをめざす傍ら、中学では部活でバスケットボールを、高校ではテニスをやっていて、スポーツと楽器演奏は上達のプロセスが似ているという実感があります。もちろん、フィードバックに聴覚を使うのか、視覚を使うのか、あるいは体性感覚を使うのかなど、それぞれにちがいはありますが、共通点は多いですね。タイミングなど、時間感覚を伴うところも同じですね。

柏野： じつは今日、こうしてお話をさせていただくことにした一つの目的は、スポーツ脳科学プロジェクト（Sports Brain Science Project）のテーマに、いずれ音楽を加えたいと考えているからなのです。すでに、その前段階として、運動可聴化といって、身体の動きを音に換えることでパフォーマンスを改善させる研究にも取り組んでいます。言うなれば「人間楽器」ですね。

古屋： それは楽しみですね。ただ、スポーツの分野は身体を鍛えるという面で研究が進んでいるのに対して、残念ながら、音楽演奏の研究はまだまだ遅れていると言わざるを得ません。

柏野： 確かに、スポーツ科学では、動きを測るという取り組みは進んでいて、テクニックも蓄積されています。

古屋： 一方、これまでスポーツ科学で行われてきたのは、もっぱら心技体の「体」の解明や強化の部分で、「技」と「心」に迫るためには、基礎的な実験心理学や神経科学からのアプローチが必要だと思います。まさにそれをスポーツ脳科学プロジェクトでやろうとされているわけですが、やっとそうしたアプローチができる環境が整ってきたと言えそうですね。20年前だったら、やはり難しかったのではないでしょうか？

柏野： まったくダメだったと思います。さまざまな知見が揃い、アプローチが成熟して、テクノロジーが進化したことで、ようやくこうした研究に取り組めるようになってきたと言えます。なかでも、無線技術やウェアラブル機器の進展により、身体を拘束せずに計測できるようになったのは大きいですね。さらに、ビッグデータが扱えるようになったことも、大きな進歩です。まさに巡り合わせという感じがしています。

「不気味の谷」を乗り越えるためのテクノロジーとは

古屋： 面白いのは、ウェアラブル機器やバーチャルリアリティ（VR）技術を進化させてきたのは、ゲーム業界なんですよね。

柏野： そうですね。ただ、ゲームで開発された技術をそのままスポーツや音楽に使うのは難しい。ゲームではリアルであるかどうかは二の次で、面白さや驚きが重要です。一方、VRでプロ投手の球筋を再現して、スポーツ技術の向上に役立てようとするなら、やはり徹底的にリアルにこだわる必要があります。似たモノをつくったとしても、プロが見れば、「いや、本物とは違う」ということになりかねません。現在、スポーツ脳科学プロジェクトでもVRを使った実験を手がけていますが、まだまだ改善の余地があります。何がどう違うのかを突き詰めていくのも、面白いことではありますけどね。

古屋： なるほど、現実とヴァーチャルの差異を突きつけていけば、アスリートが何の情報を使って知覚しているのかということにもつながるわけですね。まさに、実験心理学の出番ですね。

柏野： 大阪大学の石黒浩氏は、人間そっくりのアンドロイドを開発されていますが、本物に近づければ近づけるほど、その「差」が気になります。ぬいぐるみのようにまったくかたちが違うものならかわいいと思えるのに、ヒトに近づけるほど不気味になってくる。

古屋： いわゆる「不気味の谷」と呼ばれるものですね。その感覚はリニアなものではなくて、あるところを境に急に不気味に思えるから不思議です。つまり、非線形なんですね。

柏野： 不気味の谷というのは、まさに我々が直面している問題に通じる話です。いかに実戦に近い環境で計測できるかというのが、このプロジェクトの肝だからです。単純にテクノロジーが進化したからできるというわけではなくて、さまざまな工夫が必要になります。ただ、こういう研究にチャレンジできる環境が揃ってきたのは確かですね。

古屋： 身体の計測はかなりできるようになってきたので、脳機能の計測技術がさらに進むことに期待しています。空間的にも時間的にも、より解像度の高い技術が出てくれば、演奏時の脳計測にも使えると思っています。

動くための「内部モデル」は認識にも使われているか

柏野： とくに自分が音楽の中でも興味を持っているのが、楽譜に落ちる以前の音そのものです。同じ楽譜を演奏したとしても、奏者によって音の表現は異なりますよね。つまり、いかにして音を自分の身体で表現するのか、また、それを受容するのか、というところに興味がある。

しゃべるという行為も同じで、「こんにちは」という一言でも、しゃべる人や場面、言い方によって受ける印象はまったく異なりますよね。そして、その音に込められた情報は、身体の動きと表裏一体でもある。音、そして身体を捨象して、テキストで表現すれば同じ「こんにちは」ですが、そこからこぼれ落ちたところにこそ重要な情報があると思うのです。その本質を探りたいと思っています。

古屋： なるほど。でもそうなると、動作を測る際に、モーションキャプチャにしろ筋電にしろ、計測してデータに落とし込むことで、楽譜や言葉に置き換えるのと同じようなプロセスを経るわけで、どうしても失われてしまう情報がありますよね。

柏野： 当然、あります。ただ、そうやって圧縮されたものの中から、「コツ」のような肝となる情報を得られないか、というのが我々の研究のテーマになっています。

じつはこれは、言語音の研究が直面している問題と根は同じなんですね。「こんにちは」という言葉を聞いたとき、我々は何をもって「こんにちは」と認識しているのか、という問題です。そもそも、こんにちはというのは一つの音の連なりであって、どこからどこまでが「こ」で、どこからどこまでが「ん」か、音響信号の上で明確に音節を分けることは難しい。しかも、AさんとBさんの発話ではスペクトルのパターンは似ているけど、当然、違います。同じ発話者でも、早口かゆっくりかでもちがう。それなのに、なぜ人間は誰の「こんにちは」であっても、「こんにちは」として認識できるのか。この問題は、言語音の研究における難問として未だに立ちはだかっています。

同様に、楽器演奏もスポーツも連続した動きの中で、何が重要なポイントなのかを解き明かすのは非常に困難です。少年野球におけるバッティングの指導で、「トップの位置（スイングが開始する時点のグリップの位置）を意識して！」などと言って教えたりするのですが、わかる人が見たらわかるようなものでも、物理的にトップを特定することはきわめて難しい。それこそ、選手が100人いたら100通りあるでしょう。それでも、「トップの位置」が重要視されているというところに、バッティングの肝があるように思います。

古屋： その肝を探すアプローチとしては、機械学習が使えそうですね。

柏野： はい。自動音声認識の研究では、今はもっぱら機械学習、ディープラーニングが使われています。生成の原理や人間のやり方との対応は横に置いておいて、大量のデータを集めて統計的に解析しようという動きが主流になっているんですね。

ただ1980年代くらいまでは、生成原理を解き明かし、モデル化しようという動きが盛んに行われていました。たとえば藤崎博也先生（東京大学名誉教授）は、音声の韻律的特徴の生成過程に基づくモデル化を手がけておられたし、藤村靖先生（オハイオ州立大学名誉教授）は、舌や口蓋といった調音器官の動きの観測を通して言葉の本質に迫ろうとされていた。コンピュータのパワーの増大や機械学習の進展に伴い、そうした研究は下火になりましたが、私は、いま一度、こうした生成モデルに基づくアプローチを見直してもいいのではないかと思っています。いわゆる、運動理論的な考え方ですね。人間が音声を認識する際に、発話の動きのモデルを参照している、という考え方です。

古屋： 「内部モデル」の話ですね。外部世界の仕組みを、脳内で模倣し、シミュレーションする神経機構があるという。

柏野： そういうものの見方が音声研究のメインストリームになったことは、未だかつてありませんが、ミラーニューロン※1が脚光を浴びた際に、近いアプローチだと感じました。

古屋： ただ、内部モデルの詳細に関して、ミラーニューロンの文脈で語られたことはなかったように思います。

柏野： そうなんですね。問題意識は同じだと思うのですが。つまり、人間がどうやって動きを抽象化して捉えているか、ということかと。モノをつかむという行為一つとっても、上からわしづかみにするとか、横からひょいとつかむとか、いろいろなやり方があるけれど、モノをつかむという観点では同じものとして認識するのもそうだし、音の波形は違っても同じ「あ」として認識できるのもそうだし、それを可能にするのは、脳内に生成過程のモデルがあるからではないかという考え方ですね。

もっとも、そうした理論を突き詰めるよりも、ディープラーニングで学習したほうが早道だということで、今は自動音声認識の世界で運動理論を追究している研究者はほとんどいないと思います。

※1ミラーニューロン
霊長類などの脳内で、自らが行動するときだけでなく、他の個体の行動を見た際も、自らが行動するときと同様の活動電位を発生させる神経細胞のこと。

スポーツとミラーニューロンの謎

柏野： 先ほどミラーニューロンの話が出ましたが、スポーツに関しては、2008年にNature Neuroscienceに掲載された論文が話題になりましたね。

古屋： バスケットボールのフリースローの連続写真を見せて、成功するか失敗するかを予測する実験で、プロのバスケットボールプレーヤーと審判と素人で比較すると、プロのプレーヤーのほうが速く予測ができて、たくさん試合を見ているはずの審判と素人ではあまり変わらないという結果ですね。これ、面白いですよね。

柏野： ええ、ほかにも、2006年にCurrent Biologyに掲載されたバレエダンサーの実験も興味深い。これはパトリック・ハガード(Patrick Haggard)のグループが手がけた実験ですが、男性ダンサーはペアになって踊る女性ダンサーをよく見ているはずなのに、自分と同じ踊りをする男性ダンサーを見たときのほうが、脳内のある部位の活動が高まるという。つまり、自分が実際に身体を使ってやっていることについてはよくわかっている、ということですよね。スポーツにおいてミラーニューロンシステムが使われているという話は、当時、大きな脚光を浴びました。

古屋： でも、またそれも下火になってしまったと。

柏野： そうなんです。一方で、じつは私は、これらの知見は本当なのかな？とも思っているのです。先の運動理論にもミラーニューロンにも、心情的にはすごく共感するし、その点を追究したいという思いがある一方で、懐疑的でもある。本当に人間はそんなことをやっているのだろうか、とも思ってしまうのです。なぜなら、プロのバッターというのは、ピッチャーの動きやボールの挙動に対して、非常に精巧なモデルを持っていると思うのですが、それは自分もピッチャーとして投げるから、というわけではないですよね。

古屋： 確かにそうですね。

柏野： しかも、ピッチャー自身も自分のことが完全にわかっているわけではない、という側面もあります。大リーガーのダルビッシュ有選手のように自らの内部感覚に対して非常にセンシティブなアスリートですら、ピッチングで腕を引いたときに肘が入りすぎているかどうか、キャッチャーやピッチングコーチに確認することがあるそうです。非常に鋭敏な感覚を持つトップアスリートでも、他人に聞かなければ自分の動きの状態がわからないというのは、どういうことなのか。ましてや、私のようなアマチュアのピッチャーなど、自分の状態がわかっているつもりでも大幅にずれている。

むしろ、プロのバッターのようにさまざまな投手の球筋をひたすら見て研究して、ある意味、ディープラーニングに近いかたちで学習した人のほうが、ピッチャー自身よりも、ピッチャーの状態がわかるのではないか。つまり、精度の高い行動を導く予測において、ミラーニューロンシステムが役立つのかどうか、けっこう怪しいと思っているのです。

古屋： なるほど、確かにそうですね。

柏野： 一方で、自閉スペクトラム症の症例の中には、ミラーニューロンシステムの障害が疑われるものがあります。他者にバイバイといって手を振られて、振り返す際に、定型発達者は当たり前のように他者に向かって手のひらを見せて手を振りますよね。ところが、自閉スペクトラム症の人は、自分の顔の方に手の平を向けて逆向きに振る人がいる。これなどはまさに、他人の動きと自分の動きの対応関係に何らかの問題が生じた結果に思えます。

でも考えてみれば、なぜ定型発達者がそういう対応関係を当然のこととしているのか不思議です。つまり、そうした先験的かつ大まかな行為の認識に対しては、ミラーニューロンシステムは非常に重要な役割を果たしているのかもしれない。一方、ピッチャーの球筋を読むようなきわめて高い精度が求められる場面では、ミラーニューロンシステムは無力なのかもしれません。

そもそも、自分が投げている姿だって、ビデオで見たらそれこそものすごくショックを受けますよ。あまりにイメージと違うので。元プロ野球投手の山本昌氏も、入団して初めて自分のピッチングビデオを見たとき、なんて不恰好なんだろうと、すごくショックを受けたとどこかで語っていました。

古屋： 私もプロレベルの生徒にピアノのレッスンをすることがありますが、頭が前に出ているよ、と指摘するびっくりする子がいますね。まったく気づいていないのです。とくにピアノの演奏というのは、自分の行為によって美しい音が鳴るので気持ちがいいんですね。つまり報酬が大きい分だけ、意識が音に向いてしまいがちで、自分の身体の動きに意識が向かないのだと思います。

いずれにしても、感覚系と運動系の相互作用というのは、楽器演奏の上達やスポーツ技術の向上において欠かせない視点ですね。アプローチは違いますが、私の研究とも根幹ではとても通じる話だと思います。

（取材・文＝田井中麻都佳）

Next: 音楽とスポーツの密なる関係 （中編）左右の奇妙な非対称と局所性ジストニア