聴きたいパートにフォーカス可能なサウンドスコープフォン

SoundScopePhoneは、聴きたいパートを自由に強調する新しい音楽の聴き方を実現します。一般に、パート数が増えると、それぞれのパートのメロディや音色を楽しむのが難しくなります。SoundScopePhoneを使えば、聴きたいパートの方向へ耳を澄ませるようなポーズをするだけで、そのパートのメロディや音色が聴きやすくなります。理化学研究所が提案するAIと音楽の未来をどうぞお楽しみください。

_{^{撮影協力: MIRU DESIGN、資生堂、SOMARTA}}

音楽とAIの未来を考える理化学研究所が提案するサウンドスコープフォンは、聴きたいパートを自由に強調する新しい音楽の聴き方を実現します。iPhoneといつもお使いのイヤフォンやヘッドフォンさえあれば、空間音響とAIを使った能動的な音楽鑑賞体験ができます。

空間音響体験

イヤフォンやヘッドフォンを装着して、サウンドスコープフォンの再生ボタンを押してみてください。すると、あなたの周りでたくさんのパフォーマーが演奏を始めます。iPhoneを正面に構えると、画面上部のプリビュー画面であなたの顔をトラッキングできているのが見えると思います。その状態で右を向けは、あなたの右で聴こえていた演奏が正面になります。左を向けは左で聴こえていた演奏が正面になります。さらに、iPhoneを手に持ったまま180度後方を見てみてください。あなたの後ろで聴こえていた演奏が正面できこえるようになります。操作に慣れてプリビュー画面のトラッキング表示が不要になった場合、オフにすることができます。

能動的音楽鑑賞体験

もっと能動的に、あなたが聴きたいパフォーマーの演奏を強調してみましょう。まず、聴きたいパフォーマーの方向を向いてください。すると、目的の演奏が正面で聴こえるようになり少し聴きやすくなったと思います。次に、左右どちらかの手で、耳を澄ませるようなポーズをして、その手のひらを耳に近づけたり離したりしてみてください。すると、演奏を強調する範囲が連続的に変化することがわかると思います。強調度合いは、手が画面中央へ近づくほど強くなります。この強調度合いをうまく調節することで、一つのパートのみを強調することも、ホーンセクションやリズム隊といった複数のパートにフォーカスすることもできます。パフォーマーのいる方向やあなたが向いている方向は、画面中央に表示された位置表示画面で確認できます。中心にある円があなたのアバターです。アバターをタップすると、位置表示は初期設定に戻ります。

ミキシングコンソールとブーストモード

右下にある設定ボタンを押すと、ミキシングコンソール画面が開きます。ミキシングコンソールを使うと、フェーダーを操作してそれぞれのパートのボリュームを微調整することができます。ブーストスイッチを入れると、強調されている演奏音がより強く強調されるようになります。強く強調させすぎていると感じた場合には、ブーストリミットフェーダーをさげて強さを調整できます。

開発経緯

理化学研究所革新知能統合研究センター音楽情報知能チームでは、AIを使った音楽の新しい創り方、聴き方の可能性を探求しています。サウンドスコープフォンは、たとえばクラシック曲を聞いているときに、「第一バイオリンの音をもうちょっとはっきり聴きたい」とか、「トロンボーンの音をもうちょっと抑えたい」もしくは，「フルートの音だけ聴いてみたい」というような要望を簡単に叶えてくれるアプリです。
このような音楽の聴き方が、多くの方に受け入れられるかの調査を兼ねてアプリの公開をしています。アプリをしばらく使ってアンケートのお願いが出ましたらどうぞご協力ください。今後、曲の追加を予定しています。アプリおよび技術に興味のあるかたは、『お問い合わせ』よりご連絡ください。

NEW

国立環境研究所生物多様性領域福島地域協働研究拠点が福島県の帰還困難区域とその周辺で野鳥の声のモニタリングを行ったデータを新たなコンテンツ「Wild Birds」として加えました。アプリを更新すると新たなコンテンツをダウンロードすることが可能になります。更新によって、滋賀県在住のギタリストDaisuke Hashimoto氏の曲「鋼鉄魂2022」もダウンロード可能になります。

論文

[LINK] [SoundScopePhone] Masatoshi Hamanaka: “Sound Scope Phone”, ACM Siggraph2022 Appy Hours AH-3, August 2022.
[LINK] [SoundScopePhone] Masatoshi Hamanaka: “Sound Scope Phone: Focus on a Specific Part Using Face and Hand Tracking”, the 22nd International Society for Music Information Retrieval Conference (ISMIR2021), Late Breaking, November 2021.

お問い合わせ