Hearing X Demo
sound | ar
Yota MORIMOTO
2021.9.24
ウェブで可能なAR(拡張現実)技術を用いて、デバイスのカメラ映像と3Dモデルが連動するデモを作成しました。複数の音楽断片が反復しつつゆるやかな変化を続け、convolution reverbによって広がりのある響きを構成します。デモにアクセスした後、ご利用のデバイスをいろいろな方向に向けて、AR空間を泳ぎ回るクジラを探してみて下さい。(*こちらの記事は過去に「Hearing X -『聞こえ』の森羅万象へ -」に掲載されたものをアーカイブとして公開しています。)
モバイル端末推奨環境:iPhone 7以上(Safari)|Android CPU 2GHz以上(Chrome)
Convolutin reverbとは
実世界の空間の音響特性(インパルス応答)を測定し、畳み込み(convolution)によって別の音に付加することが可能です。例えば、洞窟や教会、コンサートホールなどで鳴っているかのような残響を加えることができます。
ARについて
AR(拡張現実)の実用化が始まったのは90年代ですが、それ以降もコンピュータの処理能力等の制約から、利用は軍事産業や自動車・航空製造業など限定的でした。その後、モバイル端末の普及と性能向上に伴い、ARを用いたゲームやサービスなどへの応用が進み利用者も拡大しています。
ARを支えるのは、物体や光源の認識に関わるコンピュータ・ビジョン(CV)や、デバイスの位置や動きを検出するGPS測位、カルマンフィルタなどの技術です。最近ではレーザー画像検出と測距(LiDAR)を搭載し精度の高い現実空間の認識が可能なデバイスも登場しました。これらの技術の多くはハードウェア依存のため専用アプリケーションを必要としますが、一部の機能はウェブブラウザからも利用可能となりました。
デモに関する注意点
実世界の空間の音響特性(インパルス応答)を測定し、畳み込み(convolution)によって別の音に付加することが可能です。例えば、洞窟や教会、コンサートホールなどで鳴っているかのような残響を加えることができます。
ARについて
AR(拡張現実)の実用化が始まったのは90年代ですが、それ以降もコンピュータの処理能力等の制約から、利用は軍事産業や自動車・航空製造業など限定的でした。その後、モバイル端末の普及と性能向上に伴い、ARを用いたゲームやサービスなどへの応用が進み利用者も拡大しています。
ARを支えるのは、物体や光源の認識に関わるコンピュータ・ビジョン(CV)や、デバイスの位置や動きを検出するGPS測位、カルマンフィルタなどの技術です。最近ではレーザー画像検出と測距(LiDAR)を搭載し精度の高い現実空間の認識が可能なデバイスも登場しました。これらの技術の多くはハードウェア依存のため専用アプリケーションを必要としますが、一部の機能はウェブブラウザからも利用可能となりました。
デモに関する注意点
- デスクトップ環境でもマウスを用いた限定的な利用が可能です。
- 一部のAndroid端末では一部の3Dモデルが表示されないことがあります。
- AR体験時の歩行・移動は、周囲に危険がないことを確認してから行ってください。
- こちらのデモでは、ご利用のデバイスのカメラを使用致します。最初にカメラの使用許可をたずねられますので「許可」を押してください。
Profile
森本 洋太 / Yota MORIMOTO [Website]
作曲 / プログラミング
ハーグ王立音楽院修士(ソノロジー)、英国バーミンガム大学博士(作曲)。 2006年に渡蘭、欧州を中心に活動。室内楽作品などが各地のアンサンブルにより委嘱・演奏されている他、Transmediale(Berlin)、 ISEA(Dortmund, Istanbul)、TodaysArt(The Hague)、SICMF(Seoul)などで サウンド・インスタレーションやオーディオ・ビジュアル作品を発表。この他、アムステルダム映像博物館、LUSTLab、デルフト工科大学、資生堂、本田技術研究所、産業技術総合研究所、北海道大学、筑波大学などに楽曲、サウンド・ デザイン、ソニフィケーション、音響システムなどを提供。近年ではDJ/パ フォーマーとして、Amsterdam SinfoniettaやNew European Ensemble等と共演。
作曲 / プログラミング
ハーグ王立音楽院修士(ソノロジー)、英国バーミンガム大学博士(作曲)。 2006年に渡蘭、欧州を中心に活動。室内楽作品などが各地のアンサンブルにより委嘱・演奏されている他、Transmediale(Berlin)、 ISEA(Dortmund, Istanbul)、TodaysArt(The Hague)、SICMF(Seoul)などで サウンド・インスタレーションやオーディオ・ビジュアル作品を発表。この他、アムステルダム映像博物館、LUSTLab、デルフト工科大学、資生堂、本田技術研究所、産業技術総合研究所、北海道大学、筑波大学などに楽曲、サウンド・ デザイン、ソニフィケーション、音響システムなどを提供。近年ではDJ/パ フォーマーとして、Amsterdam SinfoniettaやNew European Ensemble等と共演。