在元宇宙的帶動(dòng)下，各種虛擬偶像、虛擬主播，虛擬數(shù)字人玩出了新高度，在冬奧會(huì)這個(gè)全球關(guān)注的賽事上，虛擬人又火了。
2月2日，在北京舉辦的“相約北京”奧林匹克文化節(jié)開幕式上，中國(guó)虛擬歌手洛天依以一首歌曲《Time to shine》受到廣泛關(guān)注，成為第一位登上奧運(yùn)舞臺(tái)的中國(guó)虛擬歌手。
從整個(gè)冬奧會(huì)的進(jìn)程來看，虛擬數(shù)字人的全面參與，是在冬奧會(huì)的宣傳、開幕式和播報(bào)上。
虛擬數(shù)字人“熱愛REAI”就是首次被采用的數(shù)字人奧林匹克公益宣傳大使。
據(jù)悉，虛擬數(shù)字人相關(guān)產(chǎn)業(yè)規(guī)模正在不斷擴(kuò)大，根據(jù)頭豹研究所數(shù)據(jù)顯示，當(dāng)前虛擬數(shù)字人市場(chǎng)規(guī)模已超2000億元，預(yù)計(jì)2030年將達(dá)到2703億元，而其中身份型虛擬人將在未來發(fā)展中占據(jù)主導(dǎo)地位。另?yè)?jù)Research And Markets研究，預(yù)計(jì)到2028年,全球虛擬活動(dòng)市場(chǎng)規(guī)模將達(dá)到5047.6億美元。
借道冬奧這樣的盛會(huì)，虛擬數(shù)字人的熱度蹭蹭蹭上漲。我們一起來看看數(shù)字人都是怎么“玩轉(zhuǎn)”冬奧的。
阿里巴巴 數(shù)字人“冬冬”
作為云上奧運(yùn)的技術(shù)服務(wù)商之一，阿里巴巴也推出了冬奧數(shù)字人“冬冬”。冬冬在北京冬奧會(huì)主媒體中心的首秀，便是與主持人一同到北京2022官方特許商品零售店介紹各種冬奧周邊商品。
而冬奧會(huì)開始之后，冬冬每天晚上7點(diǎn)半之后在淘寶直播帶貨2個(gè)小時(shí)左右。數(shù)場(chǎng)直播下來，直播間的觀看人數(shù)已經(jīng)穩(wěn)定在14萬左右。“冬冬”的角色更像是一個(gè)直播帶貨主播。
數(shù)智人Meet GU
在谷愛凌比賽前，咪咕的冬奧演播室里，一個(gè)“神秘嘉賓”驚喜現(xiàn)身，與主持人互動(dòng)，為谷愛凌加油。她就是Meet GU——中國(guó)移動(dòng)咪咕通過自研技術(shù)為谷愛凌量身打造的數(shù)智分身。
這是以谷愛凌為原型的亞毫米級(jí)超寫實(shí)數(shù)字人打造，首次實(shí)現(xiàn)冬奧演播室虛實(shí)互動(dòng)呈現(xiàn)。通過高質(zhì)量肢體及亞毫米級(jí)面部綁定，采用動(dòng)補(bǔ)驅(qū)動(dòng)亞毫米級(jí)數(shù)字人并達(dá)到4K質(zhì)量合成，Meet GU應(yīng)用了3D人臉關(guān)鍵點(diǎn)位置精確修正、眼眶眼球自動(dòng)適配、任意姿態(tài)人臉配準(zhǔn)等核心技術(shù)，讓3D人臉擬合精度達(dá)亞毫米量級(jí)，實(shí)現(xiàn)演播室虛實(shí)互動(dòng)。
作為咪咕的冬奧嘉賓天團(tuán)成員，冰雪數(shù)智達(dá)人Meet GU走進(jìn)演播室，陪伴觀眾直擊中國(guó)冰雪健兒的拼搏姿態(tài)。
拓爾思“小思”
拓爾思旗下的虛擬數(shù)字人“小思”在冬奧會(huì)期間連續(xù)進(jìn)行冬奧熱點(diǎn)播報(bào)的同時(shí)，還正式加盟了本屆冬奧會(huì)宣傳報(bào)道的重要媒體之一——國(guó)家體育總局官方媒體《中國(guó)體育報(bào)》。據(jù)悉，小思可以實(shí)現(xiàn)自動(dòng)采編、智能寫稿、虛擬播報(bào)等全自動(dòng)功能。
科大訊飛“3D虛擬冰冰”
科大訊飛派出的“3D虛擬冰冰”，在專屬H5中帶領(lǐng)大家說冬奧。憑借酷似央視主播王冰冰的眉眼和神韻，“3D虛擬冰冰”迅速贏得了眾多網(wǎng)友的擁躉。 “3D虛擬冰冰”還解鎖了東北話、英語(yǔ)等多達(dá)31種語(yǔ)言技能。
小冰AI虛擬氣象主播馮小殊
早在冬奧會(huì)開幕前十天，中國(guó)天氣 WAP 華為站、張家口氣象公眾號(hào)等新媒體平臺(tái)上，一位氣象主播馮小殊就已經(jīng)正式上崗。
這位主播馮小殊不是人類，而是由中國(guó)氣象局華風(fēng)氣象傳媒集團(tuán)聯(lián)合小冰公司共同創(chuàng)造、誕生于小冰框架的 AI 虛擬氣象主播。這也是小冰框架虛擬人技術(shù)解鎖的又一場(chǎng)景。
馮小殊以中國(guó)天氣主持人馮殊為訓(xùn)練目標(biāo)，依托小冰框架數(shù)字孿生虛擬人技術(shù)構(gòu)建而成。他的訓(xùn)練時(shí)間僅為一周，背后是小冰深度神經(jīng)網(wǎng)絡(luò)渲染技術(shù)（Xiaoice Neural Rendering, XNR）及小樣本學(xué)習(xí)技術(shù)。即使用少量樣本，馮小殊的面容、表情、肢體動(dòng)作的整體自然度就達(dá)到了與真人十分相似的程度。
在語(yǔ)音專家模型、嘴型專家模型及人臉渲染專家模型的訓(xùn)練下，馮小殊學(xué)習(xí)了馮殊本人的嘴部動(dòng)作、眼部及臉部肌肉之間的協(xié)同關(guān)系，最終呈現(xiàn)出這一自然、逼真的效果。
背后的科技力量
在這些虛擬人背后，百度和騰訊技術(shù)功不可沒。其中百度主要為央視電視直播提供手語(yǔ)翻譯服務(wù)，騰訊的聆語(yǔ)主要為央視頻提供手語(yǔ)翻譯服務(wù)，并上線小聰在騰訊體育上進(jìn)行手語(yǔ)翻譯。
AI手語(yǔ)翻譯的主要困難在于，手語(yǔ)也有自己的 “語(yǔ)法”，語(yǔ)序也并不一定與漢語(yǔ)相同，且手語(yǔ)也存在“方言”，即便是真人手語(yǔ)翻譯師也難以保障百分百的可懂度。因此AI手語(yǔ)虛擬主播本質(zhì)上仍是一個(gè)即時(shí)翻譯功能。
由百度開發(fā)的AI手語(yǔ)虛擬主播由其數(shù)字人平臺(tái)曦靈打造，主要是通過語(yǔ)音識(shí)別、自然語(yǔ)言理解等人工智能技術(shù)構(gòu)建手語(yǔ)翻譯引擎，再通過專為手語(yǔ)優(yōu)化的自然動(dòng)作引擎獎(jiǎng)授予實(shí)時(shí)演繹為數(shù)字人的表情動(dòng)作。
“聆語(yǔ)”則由騰訊云小微聯(lián)合PCG AI等技術(shù)團(tuán)隊(duì)共同打造，通過整合多模態(tài)交互技術(shù)、3D數(shù)字人建模、機(jī)器翻譯、語(yǔ)音識(shí)別和自然語(yǔ)言理解等技術(shù)優(yōu)化手語(yǔ)翻譯。
相關(guān)報(bào)道顯示，百度通過百度智能云構(gòu)建手語(yǔ)翻譯引擎，可懂度達(dá)到85%以上，聆語(yǔ)詞匯和語(yǔ)句覆蓋量超過160萬，手語(yǔ)翻譯的可懂度可達(dá)90%，基本可以滿足電視直播手語(yǔ)翻譯的需要。