Hearing X Demo
sound | particle
Yota MORIMOTO
2022.10.31
本デモでは、WebAudioによる細流合成（granular synthesis）を行います。短いスピーチの録音を素材とし、それをリアルタイムで分解・再合成します。プリセットを選んだり、フェーダーを動かす事で、一見（一聴）するとスピーチに聞こえる音の連なりが、実は毎秒100音以上の粒子からなることが確かめられます。
(*こちらの記事は過去に「Hearing X -『聞こえ』の森羅万象へ -」に掲載されたものをアーカイブとして公開しています。)
細流合成とは
極小時間の音の粒子を連ねることで、元の連続的な信号を復元します。この方法では時間と周波数を独立した変数として扱えるため、例えば、YouTubeの可変速再生にも利用される、タイムストレッチ（周波数情報を保ったまま、時間だけを伸縮する）などの技術を可能とします。
Dennis Gaborは、1971年にノーベル物理学賞を受賞したホログラフィの発明で知られますが、コミュニケーション理論に関する論文 [1] も発表しています。その中で、古典的なフーリエ解析の問題（時間／周波数の排反事象関係）を出発点とし、音／信号を時間ドメインと周波数ドメインで「同時に」解析を可能とする、時間周波数解析の理論と実践の可能性について述べてました。これは時間的に非常に小さな信号を情報の「単位」として分析する方法であり、細流合成の基礎ともなりました。
[1]. Gabor, Dennis. 1946. Theory of Communication. London: Institution of Electrical Engineering.
プリセットの内容
- timestretch 女性の声の高さ、声質、音韻性は保存される
- reverse 逆再生に聴こえるが、各粒子は順再生
- echoooo 各粒子のタイミングをランダマイズし、エコー効果をつくる
- spread 各粒子がことなるタイミングやピッチで鳴る
- tiny 粒子の大きさを非常に小さくした
- many 各粒子の音程をランダマイズした結果、多数の声が重なるように聴こえる
パラメタの内容
- start 再生／停止
- speed 再生位置の速度
- size 粒子の大きさ
- rate 粒子のピッチ
- sizeSpread 各粒子の大きさをランダマイズ
- rateSpread 各粒子のピッチをランダマイズ
- panningSpread 各粒子の定位をランダマイズ
- positionSpread 各粒子の再生位置をランダマイズ
モバイル端末推奨環境
Android
CPU 2.3GHz, Octa-core 以上（およそ2021以降のモデル）
Chrome
iPhone
iPhone 11 以上
Chrome for iOS 14.5 以上
Profile
作曲 / プログラミング
ハーグ王立音楽院修士（ソノロジー）、英国バーミンガム大学博士（作曲）。 2006年に渡蘭、欧州を中心に活動。室内楽作品などが各地のアンサンブルにより委嘱・演奏されている他、Transmediale（Berlin）、 ISEA（Dortmund, Istanbul）、TodaysArt（The Hague）、SICMF（Seoul）などで サウンド・インスタレーションやオーディオ・ビジュアル作品を発表。この他、アムステルダム映像博物館、LUSTLab、デルフト工科大学、資生堂、本田技術研究所、産業技術総合研究所、北海道大学、筑波大学などに楽曲、サウンド・ デザイン、ソニフィケーション、音響システムなどを提供。近年ではDJ/パ フォーマーとして、Amsterdam SinfoniettaやNew European Ensemble等と共演。