- 影視虛擬預演技術高質量服務2022年北京冬奧會
- 電影多模態動捕系統實現虛實角色智能互動
- 電影業務提供商聯合國產品牌完成冬奧會開幕式16K LED地屏顯示
- 中國電影博物館、國家大劇院等機構8K直播北京冬奧會開幕式
【點睛】
當前我國電影科技在推進產學研一體化的背景下，國產化高新技術在電影多元化攝制與播映領域的探索實踐愈加廣泛和不斷深入，虛擬預演、人工智能、動作捕捉、LED顯示等技術的自主研發成果不僅服務于電影行業，在虎年伊始也成功應用于2022年北京冬奧會和中央廣播電視總臺春晚，為體育賽事和舞臺表演帶來虛實融合的全新沉浸式體驗。
進入新發展階段，電影科技發展將更加趨于學科交叉融合，在堅持自主創新和自立自強的基礎上，電影科技研發成果與相關領域前沿科技融合共進，將有效推動我國電影行業高質量可持續發展。
01 影視虛擬預演技術高質量服務2022年北京冬奧會
在2022年北京冬季奧林匹克運動會的籌備與舉辦過程中，由北京冬奧組委指導、北京電影學院未來影像高精尖創新中心團隊牽頭研發的場館仿真系統（Venue Simulation Service，VSS）發揮了重要作用。
該系統是2019年和2021年兩項國家重點研發計劃項目：“影視制作虛擬預演關鍵技術研發與系統集成”和 “科技冬奧專項——冬奧會賽事活動規劃與運行設計仿真系統研究及應用示范”的研究成果，成功將影視虛擬預演技術應用于體育賽事場館仿真領域。
該系統基于場館可視化數字孿生模型和云渲染，將物聯網中的信息與現實世界相結合，實現三維場景仿真。在冬奧籌備階段，利用該系統搭建的仿真場館進行賽道模擬、攝像機位模擬、觀眾座位觀賽視角模擬，為無法來到中國的各國組織、新聞媒體、電視轉播等設計運行工作提供支持；賽事舉辦期間，該系統主要用于賽時預演方案輔助設計服務，高效及時變更事項規劃和轉播方案。
該系統內置的預演技術工具可以添加眾多轉播機型和設計機位，并支持對攝像機焦距、視角進行仿真模擬及驗證，實現多人虛擬現實（VR）同時在線觀覽互動、攝像機位及拍攝畫面仿真、運動員活動虛擬預演、電視轉播畫面虛擬預演、現場轉播席等臨時場景快速構建等功能，最大程度數字化還原內容制作團隊的工作流程。
在該系統研發過程中，項目團隊重點對虛擬仿真適用性關鍵技術、流程規范和數據標準進行研發，攻克了三維虛擬場景與物體建模、虛擬角色建模、虛擬預演等一系列虛擬仿真適用性關鍵技術，并針對大型賽事活動規劃與運行設計領域的特定需求，對場景感知、三維重建、無標記多目視頻人體運動捕捉等相關技術進行了定制化改進。
在視伴科技（北京）有限公司的助力下，冬奧場館仿真系統及針對轉播機位方案規劃和形象景觀規劃需求的兩個專用仿真系統平臺開發完成、系統功能不斷完善。
同時，英特爾為系統開發提供了底層算力技術支持和落地應用推動，使系統開發階段避免了將復雜場館與活動過程三維可視化、動態化、參數化時算力不足的困境，最終順利從科研項目轉化應用為2022北京冬奧的正式服務技術。
02 電影多模態動捕系統實現虛實角色智能互動
在2022年央視春晚上，創意舞蹈《金面》利用人工智能（AI）多模態動捕系統，基于復合多目標全局光學標定與跟蹤技術，將虛實人物渲染至同一時空坐標，并結合CG技術，實現實時虛實自然交互，呈現女舞者與三星堆青銅人像打破現實世界與虛擬世界的物理邊界，在同一虛擬空間中交互共舞的效果。
《金面》的虛實融合效果使用由中央廣播電視總臺超高清視音頻制播呈現國家重點實驗室和凌云光技術股份有限公司聯合開發的高精度動捕系統制作完成，首先以實際文物為藍圖創建青銅人像的三維模型，其后使用由紅外主動照明智能相機構成的采集矩陣，采集專業舞蹈演員的關節點運動軌跡，并通過AI算法解構演員的人體骨骼三維數據，實時將運動數據映射至青銅人像動畫模型。
同時，畫面中的女舞者不需要穿戴動捕服裝，AI多模態動捕系統中的多人無標記點智能動作捕捉系統AIMotion通過AI算法對女舞者的運動軌跡和形體進行采集和分析，計算出其形體影像的三維坐標，從而實現數字模型與演員互相配合，以達成最佳表演效果。
早期，深度學習算法大多使用聲音、視覺等單模態數據源來進行模型訓練，而多模態交互則是通過聲音、文字、圖片、音頻、視頻、姿態等多通道信息與計算機交流。多模態人工智能是計算機視覺和交互式人工智能模型的融合，能夠為計算機提供更接近于人類感知的場景。
03 電影業務提供商聯合國產品牌完成冬奧會開幕式16K LED地屏顯示
在2022北京冬奧會開幕式上，地面顯示系統作為演出顯示系統和表演舞臺，承載了開幕式60%以上的演出創意。
該系統采用的LED地屏覆蓋10552平方米，由42208塊LED箱體構成，顯示分辨率達16K，幀速率為每秒50幀。每一塊地屏LED箱體要滿足表面承重≥0.5t/㎡、亮度均勻性≥97%、工作環境溫度-20～+50℃。
整個地面LED顯示系統中的燈珠、模組、屏外保護、控制系統、線路搭建、視效制作均是中國制造，由中國航天、利亞德、京東方、瀾景以及電影行業LED放映顯示屏和LED顯示墻虛擬攝制業務提供商洲明、諾瓦等國內技術與設備商聯合完成，突破了超大圖像高可靠高精度同步播放、屏幕實時監測與控制等關鍵技術。
冗余設計
項目設計團隊開展了多級冗余分布式LED屏幕控制系統設計技術研究，每塊LED模組由AB兩塊屏幕構成，燈珠、供電為AB兩路熱備冗余，視頻信號是主、主環、備、備環四路信號熱備冗余，實現了大規模復雜顯示系統的流暢、安全、可靠運行。
實時監控
依托長征云工業互聯網平臺，LED屏綜合監控軟件可實時監控4萬塊LED模塊的溫度、濕度、電壓等工作狀態，一旦出現異常，可實現精確定位，快速找到故障點，保障演出過程的安全性及可靠性。
融合拼接
地面顯示系統內建設的播控系統負責開幕式地屏、冰立方、冰瀑、中心圓臺的視頻播放、解碼、超億級像素帶載的發送融合顯示等播控工作，采用自主研發的超高分辨率視頻服務器、超大規模視頻拼接器和超大帶載單口8K主控，一臺播放服務器輸出4路4K/50Hz/50fps視頻信號，多臺設備聯播實現幀同步，確保系統集成度和可靠性。
同步輸出
整套播控系統采用1套幀同步信號發生器，同時為14臺播放服務器和24臺視頻拼接器提供統一的主時鐘同步信號，確保38臺獨立設備同步工作且互不干擾。
04 中國電影博物館、國家大劇院等機構8K直播北京冬奧會開幕式
2022年2月4日，中國電影博物館與北京廣播電視臺、北京移動、臺達電子等多個機構合作，在5G/8K影廳直播冬奧開幕式。
本次直播采用北京廣播電視臺冬奧紀實8K試驗頻道作為信號源，運用我國自主知識產權的AVS3視頻編碼技術，通過臺達25,000流明8K激光投影機實現北京冬奧會開幕式高質量8K實時傳輸與展示。
與此同時，國家大劇院也使用臺達8K激光投影機進行了北京冬奧會開幕式的8K直播，并將在冬殘奧會閉幕前，在“科技冬奧”8K電視示范點持續播出總臺冬奧8K節目。
此外，全國約20塊戶外公共LED大屏也同步開展冬奧會開幕式8K直播。
（本期圖片均來自網絡）