中央廣播電視總臺(tái)跨年盛典《啟航2021》圓滿結(jié)束，央視數(shù)碼AR團(tuán)隊(duì)歷時(shí)兩個(gè)月為晚會(huì)傾力打造整體XR+AR包裝。
XR技術(shù)首次應(yīng)用于總臺(tái)晚會(huì)現(xiàn)場(chǎng)
本次跨年晚會(huì)的重點(diǎn)節(jié)目《孔雀》是AR團(tuán)隊(duì)在技術(shù)測(cè)試、創(chuàng)意設(shè)計(jì)、內(nèi)容制作、系統(tǒng)搭建、場(chǎng)景調(diào)試、錄制播控六個(gè)層面上獨(dú)立自主進(jìn)行XR技術(shù)應(yīng)用的全流程探索，成功完成了總臺(tái)大型綜藝晚會(huì)上首個(gè)XR節(jié)目包裝。
《孔雀》XR+AR包裝（建議在有wifi條件下觀看）
XR分鏡創(chuàng)作
《孔雀》是一首為視障人士而創(chuàng)作的具有故事敘述與想象空間的歌曲節(jié)目。創(chuàng)作團(tuán)隊(duì)根據(jù)歌詞內(nèi)容以及音樂(lè)節(jié)奏對(duì)貫穿歌曲的XR內(nèi)容進(jìn)行了分鏡創(chuàng)作，利用五個(gè)核心XR場(chǎng)景及空間轉(zhuǎn)場(chǎng)變化，描繪出盲人內(nèi)心世界的情感表達(dá)，即便真實(shí)的世界黑白一片，看不見(jiàn)絢麗的色彩，但他們內(nèi)心也有一切對(duì)美好世界的憧憬和希望。
△《孔雀》XR手繪分鏡圖
XR制作與實(shí)施
本次XR的全部?jī)?nèi)容均基于UE4引擎進(jìn)行制作、調(diào)試和播出。XR是一項(xiàng)高度集成化的工作，在此過(guò)程中需要多個(gè)工種共同保障節(jié)目效果：導(dǎo)演需要知道虛擬場(chǎng)景的范圍和邊界，以便更好地設(shè)計(jì)景別和拍攝角度；大屏團(tuán)隊(duì)需要將視頻信號(hào)和屏幕像素點(diǎn)精確對(duì)位，確保XR場(chǎng)景不發(fā)生變形扭曲，影響透視效果；攝像師需要清楚XR場(chǎng)景的主體位置、縱深大小，更好地設(shè)計(jì)鏡頭運(yùn)動(dòng)軌跡；XR場(chǎng)景制作人員需要確保AR場(chǎng)景與大屏邊緣的無(wú)縫銜接，根據(jù)機(jī)位景別對(duì)場(chǎng)景進(jìn)行調(diào)節(jié)，輸出最好的視覺(jué)效果。
△ UE4場(chǎng)景制作界面
XR技術(shù)應(yīng)用
基于總臺(tái)現(xiàn)有虛擬系統(tǒng)設(shè)備資源，在本次跨年晚會(huì)的實(shí)施過(guò)程中我們依次面臨了以下技術(shù)難點(diǎn)：
如何打通FreeD協(xié)議和nDisplay？
如何解決XR和AR色彩差異的問(wèn)題？
如何處理LED屏幕呈現(xiàn)摩爾紋的問(wèn)題？
如何實(shí)現(xiàn)不同節(jié)點(diǎn)的畫面和事件同步?
如何將虛擬場(chǎng)景和真實(shí)LED屏幕進(jìn)行精確匹配？
△ 現(xiàn)場(chǎng)XR系統(tǒng)搭建
△《啟航2021》XR系統(tǒng)示意
XR出現(xiàn)的意義不是簡(jiǎn)單地替代綠幕，也不止于和LED大屏的結(jié)合，它是實(shí)時(shí)渲染技術(shù)發(fā)展推動(dòng)的一場(chǎng)虛擬和現(xiàn)實(shí)融合的技術(shù)革命。創(chuàng)作團(tuán)隊(duì)總結(jié)與收獲了寶貴的經(jīng)驗(yàn)，在如何更大化的利用XR擴(kuò)展現(xiàn)實(shí)技術(shù)呈現(xiàn)沉浸式視覺(jué)效果上，我們將繼續(xù)探索。
《XR全流程工作紀(jì)錄》（建議在有wifi條件下觀看）
更多精心創(chuàng)作的AR節(jié)目
在創(chuàng)作團(tuán)隊(duì)與節(jié)目組主創(chuàng)團(tuán)隊(duì)商定磨合兩個(gè)月后，虛擬偶像“集原美”被搬上總臺(tái)跨年晚會(huì)的舞臺(tái)。虛擬偶像角色動(dòng)畫的演繹相對(duì)于一般的AR場(chǎng)景在創(chuàng)作上更為復(fù)雜，需要反復(fù)推敲角色的動(dòng)作和質(zhì)感細(xì)節(jié)，使它們準(zhǔn)確的對(duì)應(yīng)節(jié)目?jī)?nèi)容節(jié)點(diǎn)以及燈光舞美大屏幕變化，自然的融入到舞臺(tái)實(shí)景當(dāng)中，創(chuàng)作團(tuán)隊(duì)針對(duì)此次節(jié)目對(duì)角色的服裝、動(dòng)作、特效以及互動(dòng)元素進(jìn)行了設(shè)計(jì)制作。
AR虛擬偶像《集原美》場(chǎng)景展示（建議在有wifi條件下觀看）
△ AR虛擬偶像《集原美》播出畫面
此外，創(chuàng)作團(tuán)隊(duì)還在部分AR節(jié)目中首次使用了CameraFly技術(shù)，讓晚會(huì)現(xiàn)場(chǎng)的一部分實(shí)景在電視畫面中無(wú)限制的移動(dòng)至遠(yuǎn)方，利用AR加以填補(bǔ)修飾，擴(kuò)展了現(xiàn)場(chǎng)空間效果。在AR內(nèi)容的整體設(shè)計(jì)上，我們更加注重節(jié)目立意的創(chuàng)意點(diǎn)的深度發(fā)掘與打造。
△ 跨年晚會(huì)部分AR效果
【 XR+AR團(tuán)隊(duì) 】
項(xiàng)目負(fù)責(zé)：趙曄
視覺(jué)總監(jiān)：封毅、郭威
技術(shù)總監(jiān)：馮高潔
創(chuàng)意設(shè)計(jì)：趙津、耿之然、耿婧雯、王歡
技術(shù)美術(shù)：譚棟、段崢
場(chǎng)景美術(shù)：陳博覽、聶永康、楊憶、左宏達(dá)、王雅男、李楠
系統(tǒng)技術(shù)：柏嘉銘、宋興旺