中央廣播電視總臺跨年盛典《啟航2021》圓滿結束，央視數碼AR團隊歷時兩個月為晚會傾力打造整體XR+AR包裝。
XR技術首次應用于總臺晚會現場
本次跨年晚會的重點節目《孔雀》是AR團隊在技術測試、創意設計、內容制作、系統搭建、場景調試、錄制播控六個層面上獨立自主進行XR技術應用的全流程探索，成功完成了總臺大型綜藝晚會上首個XR節目包裝。
《孔雀》XR+AR包裝（建議在有wifi條件下觀看）
XR分鏡創作
《孔雀》是一首為視障人士而創作的具有故事敘述與想象空間的歌曲節目。創作團隊根據歌詞內容以及音樂節奏對貫穿歌曲的XR內容進行了分鏡創作，利用五個核心XR場景及空間轉場變化，描繪出盲人內心世界的情感表達，即便真實的世界黑白一片，看不見絢麗的色彩，但他們內心也有一切對美好世界的憧憬和希望。
△《孔雀》XR手繪分鏡圖
XR制作與實施
本次XR的全部內容均基于UE4引擎進行制作、調試和播出。XR是一項高度集成化的工作，在此過程中需要多個工種共同保障節目效果：導演需要知道虛擬場景的范圍和邊界，以便更好地設計景別和拍攝角度；大屏團隊需要將視頻信號和屏幕像素點精確對位，確保XR場景不發生變形扭曲，影響透視效果；攝像師需要清楚XR場景的主體位置、縱深大小，更好地設計鏡頭運動軌跡；XR場景制作人員需要確保AR場景與大屏邊緣的無縫銜接，根據機位景別對場景進行調節，輸出最好的視覺效果。
△ UE4場景制作界面
XR技術應用
基于總臺現有虛擬系統設備資源，在本次跨年晚會的實施過程中我們依次面臨了以下技術難點：
如何打通FreeD協議和nDisplay？
如何解決XR和AR色彩差異的問題？
如何處理LED屏幕呈現摩爾紋的問題？
如何實現不同節點的畫面和事件同步?
如何將虛擬場景和真實LED屏幕進行精確匹配？
△ 現場XR系統搭建
△《啟航2021》XR系統示意
XR出現的意義不是簡單地替代綠幕，也不止于和LED大屏的結合，它是實時渲染技術發展推動的一場虛擬和現實融合的技術革命。創作團隊總結與收獲了寶貴的經驗，在如何更大化的利用XR擴展現實技術呈現沉浸式視覺效果上，我們將繼續探索。
《XR全流程工作紀錄》（建議在有wifi條件下觀看）
更多精心創作的AR節目
在創作團隊與節目組主創團隊商定磨合兩個月后，虛擬偶像“集原美”被搬上總臺跨年晚會的舞臺。虛擬偶像角色動畫的演繹相對于一般的AR場景在創作上更為復雜，需要反復推敲角色的動作和質感細節，使它們準確的對應節目內容節點以及燈光舞美大屏幕變化，自然的融入到舞臺實景當中，創作團隊針對此次節目對角色的服裝、動作、特效以及互動元素進行了設計制作。
AR虛擬偶像《集原美》場景展示（建議在有wifi條件下觀看）
△ AR虛擬偶像《集原美》播出畫面
此外，創作團隊還在部分AR節目中首次使用了CameraFly技術，讓晚會現場的一部分實景在電視畫面中無限制的移動至遠方，利用AR加以填補修飾，擴展了現場空間效果。在AR內容的整體設計上，我們更加注重節目立意的創意點的深度發掘與打造。
△ 跨年晚會部分AR效果
【 XR+AR團隊 】
項目負責：趙曄
視覺總監：封毅、郭威
技術總監：馮高潔
創意設計：趙津、耿之然、耿婧雯、王歡
技術美術：譚棟、段崢
場景美術：陳博覽、聶永康、楊憶、左宏達、王雅男、李楠
系統技術：柏嘉銘、宋興旺