XR技術(shù)在電視演播廳的應(yīng)用初探

2021-12-19 楊小滿付靜琴盧輝武漢廣播電視臺依馬獅視聽工場

近年來，XR“Extended Reality”作為一個(gè)全新的技術(shù)，可實(shí)現(xiàn)實(shí)時(shí)三維渲染，呈現(xiàn)全沉浸、更為逼真的視覺效果，為影視制作帶來無限可能。X既代表了拓展 “Xtended”，又代表了未知變量(x)。它包含了虛擬現(xiàn)實(shí)（VR），增強(qiáng)現(xiàn)實(shí)(AR)以及混合現(xiàn)實(shí)(MR)等概念。XR技術(shù)可謂是內(nèi)容產(chǎn)業(yè)在表現(xiàn)力及創(chuàng)新性上的一場革命。

一．XR工作原理

XR涵蓋了實(shí)現(xiàn)虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、影像現(xiàn)實(shí)和其他現(xiàn)實(shí)的硬件、軟件、方法和體驗(yàn)，能夠?qū)⑽锢硎澜缗c數(shù)字媒體融為一體，創(chuàng)造出真實(shí)世界的虛擬感覺以及虛擬世界中的真實(shí)感覺。其技術(shù)框架包括由LED顯示屏組成的拍攝場地、攝像機(jī)、物體位置追蹤與定位技術(shù)、實(shí)時(shí)圖形渲染引擎（AR技術(shù)）等幾大元素組成，最后將組合的內(nèi)容傳輸顯示屏幕前，就成為炫酷的逼真的XR場景。其工作流程如圖1所示。

圖1 XR制作流程

XR場景的實(shí)現(xiàn)，首先將虛擬環(huán)境傳輸至現(xiàn)場的LED顯示屏，采用物體位置追蹤與定位技術(shù)對物體進(jìn)行跟蹤拍攝，并將素材傳回至實(shí)時(shí)渲染引擎。與此同時(shí)，用本地化運(yùn)行邏輯運(yùn)算進(jìn)行人物手勢分析及圖形渲染，輸出立體的逼真的AR內(nèi)容與拍攝素材交互呈現(xiàn)，而在屏幕前呈現(xiàn)的內(nèi)容就是XR場景。簡單的說，XR場景就是基于現(xiàn)實(shí)場景，與后臺炫酷的AR內(nèi)容進(jìn)行結(jié)合交互而來的，具有非常強(qiáng)的視覺沖擊力和沉浸感，不僅為拍攝帶來便利，同時(shí)也為觀眾呈現(xiàn)裸眼3D的效果。

在XR虛擬制作中，可以劃分成MR和AR兩個(gè)層面。 MR層面的工作流程：首先通過快速且精準(zhǔn)的攝像機(jī)追蹤系統(tǒng)，以極低的延遲為代價(jià)，在虛擬系統(tǒng)中完整模擬真實(shí)攝像機(jī)的實(shí)時(shí)位姿和鏡頭參數(shù)，并將這些信息傳遞給渲染引擎，從而計(jì)算出正確的畫面并回傳。與此同時(shí)，LED屏幕可以將大部分拍攝內(nèi)容顯示在背景上，將畫面以正確的透視關(guān)系呈現(xiàn)出來，并且和真實(shí)世界的人物和事物疊加在一起進(jìn)行拍攝。

AR層面的內(nèi)容，以同樣的方式，疊加在整個(gè)畫面的最前層，從而實(shí)現(xiàn)“現(xiàn)實(shí)層”，也就是剛才提到的真實(shí)人物和事物，同時(shí)疊加LED，也就是MR中的“后景”，以及AR中的“前景”的效果。并組合成完整的畫面。

以一幀畫面的生成為例，流程如下：

1.攝像機(jī)追蹤：把攝像機(jī)的各個(gè)參數(shù)回傳到大屏及虛擬渲染引擎。

2.大屏渲染引擎收到這一幀畫面以后，由于系統(tǒng)內(nèi)部已經(jīng)有了LED的精準(zhǔn)模型，會根據(jù)攝像機(jī)的透視關(guān)系，把MR的部分輸出給LED屏幕。

3.LED屏幕顯示出經(jīng)過透視映射后的這一幀畫面之后，真實(shí)的攝像機(jī)會拍攝到“連同屏幕區(qū)域內(nèi)的人物和事物”的一幀畫面，并把拍攝的一幀發(fā)送回虛擬引擎。

4.虛擬引擎收到了拍攝的這一幀，形成一整幀16:9的畫面。同時(shí)再在上面貼合AR畫面，并最終輸出。

5.這一整幀畫面終于呈現(xiàn)在團(tuán)隊(duì)和觀眾眼前。

二．XR場景應(yīng)用初探

為了更直觀的感受XR技術(shù)在電視演播廳的應(yīng)用，我臺搭建了一個(gè)占地僅約10平米的屏幕場景，做了一些不同類型節(jié)目的應(yīng)用：

1．XR演唱會

受疫情影響，歌手有時(shí)候無法舉辦大規(guī)模人群聚集的演唱會，利用XR虛擬演播室，他們可以舉辦線上演唱會。

比如運(yùn)用XR技術(shù)打造出一個(gè)“異空間”，將虛擬場景與音樂中的情緒相結(jié)合。歌手置身在虛擬世界中，隨著歌曲表露的情緒來控制虛擬場景的變化，讓觀眾能夠更多地產(chǎn)生共情，從而沉浸在表演中。

XR技術(shù)在電視演播廳的應(yīng)用初探

圖2 XR技術(shù)打造出一個(gè)“異空間”

同時(shí)XR虛擬演播室，可以在有限的空間，營造出無限空間的舞臺。利用XR技術(shù)打造出豐富的場景與人物進(jìn)行交互，前景與背景搭配層次分明。通過攝像機(jī)的推拉搖移，營造出一個(gè)自然而有強(qiáng)烈沉浸感的無限舞臺。

XR技術(shù)在電視演播廳的應(yīng)用初探

圖3 XR演唱會沉浸式舞臺

2．XR專題欄目

XR虛擬演播室，可以根據(jù)各類節(jié)目在虛擬視覺、節(jié)目內(nèi)容等方面的需求，結(jié)合XR技術(shù)的特點(diǎn)和優(yōu)勢，設(shè)計(jì)相應(yīng)的虛擬三維空間。

中景為現(xiàn)場主持人畫面，前景為AR元素的全方位立體化的電視端畫面呈現(xiàn)，打造了一個(gè)無限延展的三維立體空間。

太空科普類欄目中，設(shè)計(jì)一個(gè)三維立體的宇宙空間，主持人漫步太空，信手解說。宇宙空間根據(jù)主持人的解說，相應(yīng)的變化，形象生動。

XR技術(shù)在電視演播廳的應(yīng)用初探

圖4 利用XR設(shè)計(jì)一個(gè)三維立體的宇宙空間

軍事題材類欄目，設(shè)計(jì)一個(gè)蘊(yùn)含軍事元素的三維立體的演播室。演播室右側(cè)模擬落地窗，實(shí)時(shí)呈現(xiàn)戰(zhàn)地城市風(fēng)貌，營造現(xiàn)場演播室的錯(cuò)覺。中間為背景大屏，展示特定戰(zhàn)斗畫面或者軍事裝備。大屏四周鑲嵌若干小屏，循環(huán)播放軍事元素的畫面，烘托緊張、刺激的氛圍。解說過程中，坦克從屏幕中央行駛到演播室，讓觀眾仿佛身臨其境。

XR技術(shù)在電視演播廳的應(yīng)用初探