提案された「Speech2Face」は、”音声のみから顔を予測し、画像を自動生成”することができるモデルです。
発話と外観には相関関係があるといわれており、年齢、性別、口の形、顔の骨の構造など、すべてが音声に影響を与えると考えられています。また、言語、アクセント、スピードなどは国、地域、文化などのアイデンティティを反映しています。

これらの音と顔の相関関係をYoutubeなどの動画から人物が話している様子を”顔”と”声”に分けて学習データとし、声から正確に顔が予測できるようにモデルを訓練します。

話者の年齢、性別、人種などの複数の属性を短い話セグメントを通して推測し、その後話者の顔を再構築することができます。

例えば以下のような、一見関連がなさそうな音声データから外観を推測することが可能になります。

“音声データのみ”を元に異なるデータ型である”顔の画像”を生成する研究は今回が初めてと言えます。

本モデルの重要なアイデアとして計算過程では、”顔全体を予測するための計算”を行う訳ではなく、下記のように”顔の各パーツの特徴量の相関係数を計算し再現する”ことで予測を行なっています。

これにより、顔の各パーツに特徴を精密に表現することができ、”似ている”人物像を作り上げることができます（パーツが似ている人を作るイメージ）。