客戶：
中央廣播電視總臺

項目：
《飛向月球》(第二季)

目標：
依托原創混合顯示（IMR）超高清電視制作平臺，搭建了全球首個4K混合現實實時數字特效制作攝影棚，創新性地采用大量原創三維動畫。以還原科學探測歷程、沉浸體驗月球環境、解析采樣技術亮點、透視航天探月精神的創作理念，制作出了以“AI數字航天員”特效為代表的一系列“爆款”視覺效果。

前不久，《飛向月球》（第二季）成為熱播“爆款”，引發大量關注、評論和轉發。

作為一個科學紀錄片，能有這樣的熱度，實屬不易。這其中除了人們自身對于航天內容的極大關注外，極具寫真的畫面、全球首位AI數字航天員的出現、月球空間環境的真實還原，由此帶給觀眾身臨其境的視覺體驗，也是重要因素。

為了呈現這樣高品質的視覺體驗，中央廣播電視總臺創作團隊歷時兩年精心打造。依托原創混 合顯示（IMR）超高清電視制作平臺，搭建了全球首個4K混合現實實時數字特效制作攝影棚，創新性地采用大量原創三維動畫。以還原科學探測歷程、沉浸體驗月球環境、解析采樣技術亮點、透視航天探月精神的創作理念，制作出了以“AI數字航天員”特效為代表的一系列“爆款”視覺效果。

為了讓讀者更好的了解這些幕后故事，《傳播與制作》專訪了中央廣播電視總臺高級工程師、《飛向月球》節目包裝技術總監——王子建老師，他將向我們呈現《飛向月球》（第二季）的真實制作歷程。

 請您介紹一下《飛向月球（第二季）》這個項目？

《飛向月球》是一個系列性節目，是一個科學紀錄片。中國科技部有三大工程，分別是探月工程、載人航天和深空探測，《飛向月球》主要記錄的是中國的探月工程，圍繞人類對月球的探索歷程、中國探月工程取得的成就、蘊含的科學原理、科技創新等內容展開。

2017年我們開始《飛向月球》(第一季)的制作。當時長征火箭載著嫦娥四號進行了月球背面的探測，這次探測是人類首次在月球背面著陸，是一次人類壯舉。

圍繞著這個壯舉，我們開始進行《飛向月球》(第一季)節目的整體設計。當時4K技術剛剛開始興起，利用這次機會第一次完成了央視4K超高清特效紀錄片的精密化制作。搭建了全球首個4K混合現實實時數字特效制作攝影棚，在科普表達上創新性地采用大量原創三維動畫，直觀解讀科學原理，真實還原月球空間環境，帶給觀眾身臨其境的視覺體驗，呈現出一部多維度、立體化、有溫度、具情懷的科學紀錄片。

中央廣播電視總臺高級工程師，研究方向為AI深度學習神經網絡技術在計算機視覺領域的應用，在國際期刊、國際會議發表多篇SCI（2區）和EI引用的學術論文，目前正在進行實時特效制作模式、計算機圖形制作呈現標準的研究。在《飛向月球》(第一季)、《飛向月球》(第二季)等大型科學紀錄片中，擔任總臺原創混合現實（IMR)超高清電視制作平臺視效技術總監。

Ross Video視音頻方案的全面性使我們在現場構建、搭建時間、技術研發方面的消耗降得很低，為我們進行AI數字人物核心底層算法的探索爭取了時間。

——中央廣播電視總臺高級工程師、《飛向月球》節目包裝技術總監     王子建

《飛向月球》(第一季)主要完成了兩個層次的內容：

一、是圍繞嫦娥四號飛向月球之前所做的事情進行了記錄和敘事；

二、是解讀航天人的情懷。為什么要航天？為什么這些專家和科學家花費這么多心血做這個事情。拍完《飛向月球》(第一季)之后，效果不錯。不管是從我們技術上還是藝術上，都獲得了認可度，在此基礎上我們開始籌備《飛向月球》(第二季)。這時中國航天進行了下一個特別重要的任務就是嫦娥五號 “繞落回”，這是個很有情懷的故事。

“嫦娥之父”歐陽自遠院士在接受采訪時曾說過：在尼克松訪華的時候，帶給中國兩樣東西，其中之一是1克的月壤。這1克月壤多珍貴呢？只能分出一半0.5克進行研究，另外0.5克用于展覽。

嫦娥五號的“繞落回“是一個非常艱巨的任務，我們成功了，從月球上取回來一公斤左右的月壤，可以進行更加深入的研究了。

圍繞著繞落回這三件事，我們開始進行《飛向月球》(第二季)的創作。

在技術方面，也是圍繞繞落回這個故事開始現場搭建，與第一季真人摳像自拍模式不同，在第二季中，為了更深入體現一些特征，我們嘗試進行了4方面的研究：

a．AI數字人物的創作；b.AI數字資產孿生應用；c.4K沉浸式拍攝系統開發；d.CG 4K HDR工藝流程建立。

 《飛向月球》（第二季）制作中應用了AI數字人物技術，這個技術是怎么實現的？

往常的節目，一般都是根據項目先進行技術梳理，然后搭建，之后才開始制作。第二季是與之前不同，是科研先行，先進行了預演。

這個片子在2020年11月正式開始制作拍攝，但是研發早在2019年底就開始進行了，其中最具代表性的就是AI數字人物。這是一個高仿真的精品數字人物，而非是普通用于娛樂、直播帶貨的數字人物。

AI數字人物創作的意義是為了踐行央視“5G+4K/8K+AI”總體技術戰略。我們認為AI落地，視效先行，基于此打造了一個全球首創AI超寫實數字人物，應用在這個4K科學紀錄片當中。

我們從2019年底開始進行技術儲備，先做了一個POC，也就是概念性驗證，認為具有可行性，接著進行了相關算法的研究和儲備。成形之后，從2020年的9月開始實施，到2021年完成。

我們從研發到最后實施的主要分成幾個階段：第一階段是測量攝影。 

就是通過相機陣列，對AI數字人物掃描。拍攝掃描的人物不是單純的采樣，而是有皮膚質感的、包含各種多維度信息的一個采集。

第二階段是對整個神經網絡的學習。

這部分是AI處理的主體。先進行的是數據集的構建，也就是對人物的一個數據采樣。我們通過幾次采了10多個小時的數據，之后對這些原始數據進行特征抽取和交預處理，預處理之后形成一個數據集。

之后進行建模，這是一個數學建模，并非三維模型建模。數學建模就是對特征進行構建，即我們要如何采集什么樣的特征，能夠支持我們之后的現場拍攝應用。

數學建模之后利用算法進行代碼的實現，最終把這些都完成以后開始訓練，利用數據集和算法，體現這個數學建模，進行推定。訓練好以后進行調優。調優后形成了一套參數集，放進Ross Video Voyager虛擬演播室系統系統運行，在這個系統之上進行研發。這屬于高定制化的研發，最后完成整個數字人物的邏輯，最終呈現給大家。

神經網絡階段進行了1年多才完成，直到2021年2~3月份左右才開始進行現場拍攝，將這個數字人物進行了實時的驅動。驅動下來以后，進行現場數據的收集、后期分析和制作。

如果細分創作流程，可以分為測量攝影、資產處理、邏輯、神經網絡、技術美術或現場拍攝這么幾部分。

AI數字人物與以往的主要區別在于：突破了創作物理空間的限制。在《飛向月球》(第二季)里能看到很多的鏡頭好似在一個大場景中拍攝的。其實是在一個150平米、實際可用范圍只有100平米的空間內進行的拍攝。100平米可以衍生出幾千平米級別調度的模式，賦予了深化創作的更多維度。以前這種實體拍攝受限于很多東西，比如演員、道具、場地等。如今可以有各種各樣不同維度的拍攝，大幅提升了整個節目的效果質量。

與其他紀錄片相比，《飛向月球（第二季）》有哪些獨特的技術點？

第一，首次嘗試了AI數字人物。

第二，體現了AI數字資產孿生應用。科學紀錄片的宗旨是進行真實還原，但這也是特效制作的一個難點，我們需要數據支撐。為此我們從國家天文臺獲得了月球數據的DEM信息集，但這個DEM我們無法直接用。我們根據這個DEM通過計算進行了轉換，形成了能用格式。這就是AI數字資產孿生應用。

第三，虛擬拍攝。我們自主研發了一套4K沉浸式虛擬拍攝系統，當然這個研發的并不是說我們完全從零開始去做，還是基于一個大的體系架構。這個架構里面包含了Ross Video、NVIDIA、EPIC這些已有的平臺，我們在上邊進行應用級研發 。

我們首先進行的是現場控制邏輯和現場運動算法的研發，之后是控制設備接口、控制協議接口，最后完成整個嵌入式系統的一個集成，實現4K沉浸級拍攝這個模式。

第四，CG 4K HDR工藝流程建立。之前HDR大家都有各自的方案，但并沒有太好的應驗。這次我們直接將CG HDR直接呈現給觀眾，在制作端全程保留全部色彩信息和動態范圍，在輸出端完全適配總臺現行色彩標準。 

這是具體流程上的四個技術點。從大的流程上，我們是基于原創混合現實（IMR）超高清電視制作平臺。“5G+4K/8K+AI”是總臺的戰略布局，IMR是其中一個重要組成部分。通過這個平臺我們實現了數字虛擬制片流程的貫穿，制作平臺的流程化。

《飛向月球（第二季）》制作有哪些復雜之處？

目前節目技術制作早已不是一個簡單的技術和設備堆砌了，開始向深度和廣度兩個維度進行探索。深度是什么？
對于我們來講，就是科研先行或稱為研發先行。

在制作這種精品紀錄片之前，要做大量深化的數學模型研發，在研發基礎上圈定技術路線。根據現有的技術條件，再去選用合適的軟件和硬件。

將算法、數學模型、以及一些標準的落實，最后完成整個制作，對于我們具有非常大的挑戰性和復雜性。對于制作來說，現在高定制化需要比普適化要大很多。原來的制作是普適化，我們叫行活，每個片子安裝流程排活就可以了。但現在每個片子都有它的特點，而基于這個特點要去做大量研發。下一個片子可能會用到上一個片子的一些技術手段，但又不完全一樣，仍然需要研發。所以《飛向月球》(第二季)技術先行的模式，讓我們覺得相對復雜一些。

什么是廣度呢？

現在電視制作已經不再是面向一個屏幕的制作，如今是一個高維度全媒體時代，如何將宣傳內容進行立體化傳播，對于我們是一個挑戰。

具體來說，就是如何將簡單的一個紀錄片制作、特效制作，擴展到全領域，如新媒體、展覽、文創、游戲、現場講解、電影等場景。如何將電視傳統的被動模式變成主動模式，技術上是完全不同的架構，這是一個難點。

 這個節目中應用了Ross Video的哪些產品方案？最終確認采用Ross Video系統的主要原因有哪些？

《飛向月球》第一季和第二季大部分都是基于Ro s s Vi d e o解決方案來做的。選擇Ro s s Video，是因為它們在產品線上，相比其他廠商，比較全面，從開始的拍攝到最后的收錄都有產品方案。如SDR 12G方面，它的整個流水線相對成熟；在IP流媒體方面，也給了我們很大幫助。

可以這么說，Ross Video視音頻方案的全面性使我們在現場構建、搭建時間、技術研發方面的消耗降得很低，為我們進行AI數字人物核心底層算法的探索爭取了時間。

AI數字人物、數字孿生應用也都是基于Ross Video voyage這個產品進行二次研發的。此外它還有基于圖文的IT級產品，能夠讓我們保質保量的完成任務。

請您對Ross Video做一個總體評價？

產品很穩定性，我們《飛向月球》第一季和第二季，以及其他很多片子，一直用Ross Video產品來制作。不只是在紀錄片特效領域，在舞臺綜藝很多需要高質量展現的地方，如春晚、中秋晚會和建黨100周年晚會，用的也是Ross Video 的產品。

Ross Video是一個比較綜合性的解決方案，為我們很多前瞻性嘗試提供了可能。Ross Video方案本身自帶AI智能識別，如果要用自己的AI技術，Ross Video也提供了AI小微服務接口michael service，這給我們特效數字化轉型提供了堅實的基礎。在此基礎上，我們可以創作出各種各樣新的技術和應用。

談談你在這個節目制作上的一些觀點？如何讓節目制作上升一個檔次？

現在對于我們來講，先要練好內功，那么內功的基礎是什么？標準！

要制定相應的標準，包括行業標準和工業標準，來供給整個制作單元，快速而穩健的形成可復用的標準化數據資產。這是我們對未來構建的一個基礎。

我們還要進行大量的協作，以前都是線制作模式。這個模式對于4K和8K超高清制作，尤其是8K幾乎是不可能完成的任務。因為現在制作迭代的速度越來越快，維度也越來越高，使用傳統線性制作和傳統渲染流程，是無法想象的。

基于此，我們要構建我們下一代實時特效制作流程，不單單是面向電視，而是面向全媒體。