美國華盛頓大學研究人員制作了前總統奧巴馬說他未說過的話的視頻。將奧巴馬作為一個實驗對象,Supasorn Suwajanakorn、Steven M. Seitz和Ira Kemelmacher-Shlizerman合成了一個“精確對口型的高質量總統演說視頻,合成為一個目標視頻片段。”
他們在本月的ACM圖形學報上發表的文章“合成奧巴馬:從音頻學習對口型”描述了此處理。

“在很長時間的奧巴馬每周演講鏡頭上接受訓練,一個回歸神經網絡學習原始音頻特征到口型的映射。考慮到每個瞬間的口型,我們合成高質量說話紋理,并用匹配一段目標視頻中他好像在說什么的變化之特有的3D姿態合成它,以匹配輸入音軌。我們的方法產生逼真的結果。”
該研究團隊稱他們選擇奧巴馬有若干理由,包括可公開獲得的他每周演講的高清視頻鏡頭充裕(8年來有17小時和200萬畫面)、燈光和其它制作參數一致以及奧巴馬前總統典型的嚴肅和直接的語氣。
研究特別逼真的對口型的部分原因是從一維信號影視為3D時變畫面的技術挑戰,但還有一個事實是人類極其習慣于口部敏感的細節;以前很多仿真電視上講話者的頭部特寫的嘗試產生的結果看上去很可怕。
雖然有被用于制造假新聞的擔心,但研究人員表示此技術可能在降低傳輸帶寬、創建從音頻實現唇讀的視頻合成以及影響特效和游戲中的替身等方面有應用價值。