國家級的盛典,國家級的直播用AI剪輯!?總臺這個想法夠大膽。從效果來看,大膽的想象帶來了大美的畫面,也大大提高了制作、發布效率。這其中,成都索貝數碼科技股份有限公司(以下簡稱索貝)功不可沒。

AI技術首次應用于新聞制作
為保證國慶70周年慶祝活動報道超300條短視頻,央視新聞專門上線AI剪輯師,擔任其中一部分工作。這也是央視新聞新媒體首次運用AI人工智能技術到短視頻剪輯當中。
又颯又美的女民兵、三軍平行剪輯的蒙太奇、陸軍方陣的大特寫……AI剪輯師在國慶70周年閱兵報道中完成首秀,AI剪輯作品瞬間火遍全網,點擊量分分鐘破百萬,央視新聞在AI技術的加持下,輕松完成多個不同維度的閱兵精彩短視頻發布。
從大閱兵三軍儀仗隊進入視線開始,AI引擎能夠自動編輯前方70余個機位的畫面內容,完成一條短視頻僅耗時90秒左右。國慶70小時直播期間,央視新聞共計推出近百條AI視頻,近7000秒的國慶閱兵精彩展現。

央視新聞客戶端AI智能剪輯專題
相較于人工剪輯,AI技術的加入使得視頻產量實現幾何式增長,且識別準確率較高,大大提高了效率,解放了人力,視頻編輯可以省出精力,專注于其他更加精細化且有編輯思路的視頻產品的制作上。
AI剪輯是怎樣煉成的?
AI厲害,是因為背后的程序猿厲害。這次大顯神通的AI技術并不是來自想象中的阿里、騰訊,而是一支既年輕又老道的隊伍——索貝AI團隊。年輕是因為,在媒體領域,人工智能(AI)技術發展迅猛就是近兩年的事,老道則是因為,索貝是一家專注視頻技術20多年的專業視音頻技術解決方案公司,是最懂廣電應用場景的。

國慶閱兵AI剪輯系統框架
針對新聞新媒體國慶報道AI剪輯需求,索貝以公司最新打造的媒體智能平臺——麒智AI平臺為基礎開發出視頻AI智能剪輯系統,利用平臺積累的計算機視覺、音頻、自然語言處理算法,進行快速定制、訓練算法提取視音頻特征,同時結合平臺具備的大數據分析處理算法及工具,進一步完成數據及特征分析整合,形成應用所需的有用的信息及知識,最后結合編輯場景所需完成最后的知識應用,形成AI編輯生產力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺以圖像識別技術為基礎,結合語音識別等人工智能技術,設計開發了隊伍方陣識別、有效鏡頭檢測、自動合成剪輯三大類智能處理模型,通過三類模型的綜合應用,實現智能剪輯功能。

麒智AI平臺基本結構
隊伍方陣識別模型主要采用了人臉識別、動作識別、物體識別等圖像識別方式,用于確認各隊伍、方陣在視頻畫面中出現的時間位置。確認時間位置后,通過有效鏡頭檢測模型在一定范圍內對畫面進行前后智能比對,提取同一隊伍、方陣在各機位中的有效視頻畫面。最后使用自動合成剪輯模型,按預先訓練完成的編輯剪輯規則,將同一隊伍、方陣的可用畫面進行拼接,再通過語音識別、圖像識別將畫面與聲音同步對齊后,自動生成精彩視頻。
AI剪輯不僅是簡單的切條,而是有“靈魂”的剪輯師,遠全中近特,各種鏡頭組合技巧講究,讓觀眾覺得自然順暢。AI剪輯的特長在效率,一個資深的視頻剪輯師,通常需要一個小時才能剪出幾分鐘的精彩時刻。而對于AI剪刀手來說,90秒就能出片。
國內媒體AI技術應用最高水平
作為廣電行業的領軍企業,索貝一直十分重視先進技術在媒體行業的應用研究。在人工智能方面,索貝堅持長期的資源、資金和人力投入,專門成立了媒體智能實驗室,并與上海交大、四川大學、鵬城實驗室等科研單位進行深度合作。同時,索貝始終堅持AI結合業務的研發原則。索貝媒體智能實驗室負責人溫序銘表示:“20多年來,索貝專注于視頻技術,擁有深厚的技術積淀與媒體服務經驗。索貝堅信AI的落地離不開具體的場景,離不開專業的領域知識。我們和中央廣播電視總臺等頂級媒體單位展開聯合研究,深入理解專業編輯知識,面向媒體行業具體需求進行針對式研發。”
在此次大規模應用于新中國70年華誕國慶閱兵、慶典之前,索貝AI技術已經成功應用于中央廣播電視總臺體育CBA籃球智能剪輯。此外,索貝智能臺標、智能多媒體稿等多個產品也成功應用于多個媒體單位。本次索貝和總臺團隊共同打造的大閱兵AI剪輯是國內首次將人工智能技術應用于新聞節目制作,這代表了國內媒體AI技術應用的最高水平,受到了用戶的廣泛好評。一場移動互聯網時代廣播電視轉播技術的比武閱兵,索貝以AI技術亮劍,跑在了阿里、騰訊等大佬前面,首戰告捷!