SamsungのAR Emojisがどのように機能するかを確認する。

SamsungのAR Emojisは先日、新型Galaxy S9に搭載され、AppleのAnimojisのように前面カメラを使って、デジタル漫画のアバターを作成し送信することができるようになりました。

AR Emojisは、あなたの顔の動きをキャプチャして、キャラクターや動物の形に反映させます。しかし、何よりも、「Create My Emoji」機能を使えば、自撮りするだけでフルカスタマイズの絵文字を作ることもできます。肌の色、服装、髪型、髪の色、メガネの有無を選択することが可能です。

この楽しくて面白いAR Emojisを作るために、Samsungはまず、ハリウッドの人気キャラクターに命を吹き込んだ3Dアニメーションの専門家に依頼したことを知っておいてください。しかし、その歴史や仕組みについてもっと知りたいと思いませんか？このガイドで、私たちと一緒に探してみましょう。

大画面からスマートフォンのカメラまで

この新機能を実現するために、サムスンはサンフランシスコに拠点を置く3Dアニメーションを専門とするスタートアップ企業、Loom.aiと協業しています。同社のソフトウェアは、カスタムハードウェアや深度センサーを使わずに、1枚の写真から完全にカスタマイズされた3Dアバターを作成することが可能です。

サムスンはパートナーシップとソフトウェア開発キット（SDK）を通じて、Loom.aiの技術とS9のカメラ技術（拡張現実と顔認識機能を持つ）を組み合わせ、カスタムAR絵文字を実現したのです。

注目すべきは、Loom.aiが今や有名企業になっていることです。初期の仕事はシンプルな映画やアニメ、スーパーヒーローから始まりましたが、ドリームワークスやルーカスフィルムなどの人気視覚効果会社と仕事をするようになり、シュレックやハルクなど大画面の有名キャラクターの再現に貢献したことでその人気とプロ意識が認識されました。

そのキャラクターに個性を吹き込むために、見た目を取ることなく、演じた俳優のジェスチャーや動きを取り込むことができるパフォーマンスキャプチャーの技術を採用したのです。しかし、3D作品に対する映画の観客の反応を見て、Loom.aiの創業者であるRamasubramanianとBhatは、この技術をハリウッドの外に持ち出すことを決め、スマートフォンに焦点を当てたLoom.aiを立ち上げました。

Loom.aiのCEO兼共同設立者であるRamasubramanian氏は、ToastyBits en Españolの取材に対し、「人間の俳優が運転すると、人々はこれらのキャラクターに命を吹き込むことに即座に反応する」と述べています。“私たちは、すべての個人が簡単に自分の姿を3Dで見ることができる方法を見つけることを目標にLoom.aiを始めました。” そのためには、新しい技術を構築しなければなりませんでした。

映画の場合、3Dアバターを作るには、高価なハードウェアやソフトウェア、メイクアップ、スタジオのセットアップなど、多くの機材が必要です。しかし、Loom.aiは、通常のツールを使わずに人の特徴を捉えるプロセスを簡略化し、より簡単に、より安くする方法を見出したのです。

そこで、写真とディープラーニングだけで画像を解析する技術の特許を取得することにしたのです。例えば、表情がない写真の場合、ディープラーニングのアルゴリズムが画素を見て、正しい筋肉の動きを内包した顔を自動生成します。

「Loom.aiの最高技術責任者で共同設立者のBhat氏は、ToastyBits en Españolの取材に対し、「サムスンとの提携が始まったとき、その高度な技術をデバイスに実装する機会を得ましたし、実際にそれ自体がかなり魅力的なエンジニアリングタスクだと考えています。「大画面のアイデアや願望をモバイルで実現できるのは、技術的に大きな進歩です」とBhatは述べています。

しかし、この技術をGalaxy S9のハードウェアに組み込むには、デバイス上で動作させるためにLoom.aiのアルゴリズムを再構築する必要があり、そう簡単にはいかなかったのです。さらに、RamasubramanianとBhatの両氏は、サムスンの協力とソフトウェアの最適化に対する多大な努力なしには、この素晴らしいEmojisの仕事は実現しなかったと主張しています。

Galaxy S9では、どのようにデジタルアバターを作成するのですか？

しかし、大きな疑問は、S9とS9 Plusは具体的にどのようにAR Emojisを作成するのでしょうか？サムスンは成功の秘訣を明かしませんでしたが、少なくともToastyBits en Españolにいくつかのヒントを与えることができました。

Loom.aiの技術により、Galaxy S9のカメラは2Dの画像を撮影し、3Dで処理することができます。しかし、それだけではありません。この技術をさらに向上させるために、サムスンはS9に追加のソフトウェア、フェイストラッキング、サムスンのブレンドシェイプ技術を使用し、AR絵文字の表情をより正確に撮影することにしたのです。

このプロセスの後、携帯電話には、喜びや楽しみから痛みや怒りまで、最大18種類の表情（ただし、サムスンは徐々に54種類まで拡大したいと考えています）を模倣できる漫画版の自分が残されます。

なお、セキュリティとプライバシーの観点から、これらのデータはすべてお使いの端末でのみ利用可能で、他の場所に保存されることはありません。

ウインクや笑顔など100以上の顔の特徴をリアルタイムに追跡し、個々の感情を捉えるフェイストラッキング技術と、人間の基本的な顔の特徴75個をもとに表情を組み合わせ、より幅広い感情を表現するブレンドシェイプ技術は、どちらも姉妹のように協力し合っています。

また、サムスンによると、ブレンドシェイプを稼働させるために、十分なユーザーデータを確保するため、同社の研究所で毎週少なくとも100のテストが行われたとのことです。

AR絵文字のテストでは、ほとんどの人が「かなり不正確な文字に見える」と感じていました。あるライターが「肌色の選択肢が少ない」「ダークトーンの選択肢がない」と感じていました。また、AR絵文字が自分らしくないと感じ、何度も編集してイメージに近いものに仕上げた人もいます。

Loom.aiによると、正確なAR絵文字を作るには、自撮りの撮影方法に大きく依存するとのことです。ユーザーは、パスポート用写真と同じように撮影する必要があります。「正確な表情をつけるには、均一な光と、顔を覆うものがないこと、そしてニュートラルな表情が必要です」とRamasubramanianは説明します。“少しずつ慣れさせて、アニメーションや使い方の可能性を見出すことです”

AR Emojiでは、複数のアバターを作成することができ、比較しながら好みのアバターを探すことができるのが魅力的です。しかも、それぞれスマホに保存されるので、気分によって使うバージョンを変えられます。

最新のAR絵文字のアップデートでは、ヘアスタイルや帽子などのオプションが追加されました。韓国、中国、欧州のSamsung Galaxy S9およびS9 Plusのアンロック版に対して、アップデートが展開されています。しかし、ヨーロッパや米国にお住まいの方は、まもなくアップデートが利用できるようになると思われます。