Facebookはどのようにしてあなたに超知覚力を与えようとしているのか

革命的なFacebookの実験は、音が拡張現実で重要な役割を果たすことができる方法を実証することを目指しています, ソーシャルネットワークの研究者が “知覚的な超大国 “と呼ぶ何かを人々に与えるという点に.

ソーシャルネットワークの研究所であるFacebook Reality Labs Research（FRL Research）は、6年前から拡張現実と仮想現実をベースにした仕事を展開しており、人間のコミュニケーションの向上を目指しています。

研究者、エンジニア、デザイナーなどで構成される学際的なオーディオチームは、現実と区別がつかないようなバーチャルな音を創造し、人間の聴覚を再定義することを使命としています。

拡張現実メガネは、どの音が重要なのかを測定し、ノイズキャンセリングヘッドセットを介して送信することができるコンテキストキューを使用して、マイクで音声をキャプチャすることができるようになる可能性があります。

さらに、強化された空間音は、電話会話またはビデオ通話の参加者の声を投影し、別の人と一緒にいるか、または音声の存在下にいるという感覚を増大させることができる。

そのために、チームは2つの機能を提供することに注力してきました。

• オーディオプレゼンス：バーチャルサウンドのソースが物理的に同じ場所に存在し、現実世界と区別がつかないほど高い忠実度で存在しているような感覚。
• 知覚的超大国：私たちの前に座っている人の音量を上げ、不要なバックグラウンドノイズのオーディオレベルを下げることによって、ノイズの多い環境でよりよく聞こえるようにするための技術的進歩。

オーディオキャリブレーション

Facebookは、Ravish Mehra氏が率いるチームの研究の進捗状況を詳細に説明し、ヘッドフォンと32個のマイクを備えたメガネを通して、超高忠実度で音を聴き取ることができるアクティブオーディオキャリブレーションシステムを開発した。

同社によると、メカニズムはアルゴリズムとソフトウェア処理技術を用いて、部屋の音響を再現し、ヘッドフォンのようなデバイスを透明にしたり、人に知覚されないようにしたりすることができるという。

2017年には、実生活で音が来る方向を模倣した仮想音と、仮想環境をより信頼性の高いものにする高品質な音響シミュレーション技術を開発した。この技術が空間オーディオの最先端を牽引し、Oculus Quest バーチャルリアリティレンズやRiftプラットフォームなど、今日の体験の多くを強化しました。

空間音声の改善

作品を支える主なツールの一つは、実際には何マイルも離れているのに、同じ場所にいるような感覚を提供してくれるスペースオーディオです。

空間オーディオは、現実の音や周囲の音響の方向を模倣しており、ビデオ通話のゲームのルールを変える可能性があります。

“今日の電話では、相手の声が自分の電話（ヘッドセットをつけている場合は頭の中心部）から聞こえてくるので、脳は相手が同じ場所にいるかもしれないという考えを拒絶します。“と、Facebookのコミュニケーション技術のマネージャーであるリサ・ブラウン氏は説明しています。

同社では、空間音声とCodec Avatarsを組み合わせることで、リアルタイムでアニメーション化された人物の超リアルな表現が可能になるとしている。“真の社会的存在感 “を打ち破ることができるようになります。人生で大切な人たちと有意義な場所で過ごすことで、私たちはあなたの生き方、働き方、遊び方を根本的に変えることができます」とブラウンは付け加えています。

知覚の超能力

Mehra氏によると、この技術を使えば、将来的には人々に「知覚の超能力」を与えることも可能になるという。

例えば、混雑したレストランやバーなどでは、声を上げて聞いてもらおうとしたり、相手の話を理解しようと努力しなくても会話ができるようになります。

眼鏡の中に複数のマイクを入れて使用することで、周囲の音を捉えることができます。そして、頭の動きや目の動きのパターンで、自分が最も興味を持って聞いている音はどれなのかを知ることができます。

“これにより、適切な音を強調して他の音を減衰させることができ、大音量の背景雑音があっても、本当に聞きたい音がクリアに聞こえるようになります」とMehra氏は述べています。

チームの目標は、人間が聞き取れる音を20Hzから2万Hzまでカバーすること。

現在は、アクティブノイズキャンセリング技術を用いて、不要なバックグラウンドノイズの音量を効果的に低減することを可能にするプロトタイプ出力の特殊内部モニター（IEM）の開発を進めているという。

“マイクアレイを含むFRLリサーチのプロトタイプ入力と組み合わせることで、完全なスーパーヒアリングパワー体験を提供することができます。“とブラウン氏は説明します。