【摘要】 沈陽廣電傳媒集團研發的藝卡智能移動拍攝系統（以下簡稱藝卡）于2018年8月研發成功，10月在公共頻道200演播室試運行，2018年9月廣電總局規劃院廣電計量檢測中心對該系統進行了測試和驗證。本文對藝卡涉及的相關技術、系統架構及系統軟件進行了詳述。藝卡的成功研發與應用，為廣播電視制作智能化提升推進提供有益的借鑒。

【關鍵詞】 演播室智能拍攝  精準拍攝  拍攝主體跟蹤  無軌移動  微距運動拍攝和動態跟蹤拍攝

一．引言

目前，廣播電視節目制作已經進入一個全新的階段，廣電專用機器人在綜藝晚會、新聞演播間、體育賽事、VR制作等很多方面大顯身手。常見的專用機器人主要是軌道機器人。軌道機器人受軌道和線纜的限制，拍攝空間有限。且這些智能拍攝設備基本都是國外進口，尚無具有完全自主知識產權的國產產品，一般價格較高，讓很多廣播電視臺和制作單位難以承受，導致技術推廣受限，應用有限。

藝卡以國產機器人為攝像機承載載體，自主研發軟件控制系統，實現機器人智能拍攝，實現精準拍攝、拍攝主體跟蹤、無軌移動、微距運動拍攝和動態跟蹤拍攝等功能。為實現廣播電視拍攝智能化，提高電視節目制播效率，對廣播電視行業科技進步起到極大的推動作用。

二．藝卡智能移動拍攝系統涉及的相關技術

藝卡通過復合機器人和攝像機12個參數的協同控制實現精準拍攝。本系統創造性的將復合機器人和攝像機組成一個完整的移動拍攝系統，其中復合機器人由傳統的AGV機器人和機器臂機器人兩種工業機器人復合而成。在實現移動拍攝時，要保持攝像機在運動過程中對拍攝目標主體的清晰度和合適的曝光度，需要AGV機器人、機器臂機器人、攝像機協同工作，機器人和機器臂的運動姿態與攝像機的光圈大小、焦距等參數有著緊密的關系，存在著極大的參數相關性，且這種參數相關性并非單一的相關，而是多參數相互交叉的復合相關。需要將多維度的參數進行融合，建立統一、復雜的數學模型，設計協同并發算法才能實現精準拍攝。在本系統中AGV具有直線運動、速度（加速度）、轉動3個維度的參數；機器臂具有6個軸向的角度（角速度）6個維度的參數；攝像機主要具有焦距、光圈、推拉3個維度的參數，上述12個維度的參數經過協同控制軟件模塊進行統一協同控制，達到精準拍攝，實現了人工拍攝無法達到的效果。

1.機械機構單元實施方式

機械機構是智能移動機器人的骨架，由機器臂和AGV車對接而成。機械臂采用的型號是新松SR5CL型，為6軸機械臂，機械臂由本體和控制系統組成。本體包含電機、減速機等驅動手臂運動的部件；控制系統保證機械臂的正確方向及承受由于工件的重量所產生的彎曲和扭轉的力矩。機械臂包括6個自由度，可實現機器人伸縮、旋轉和升降等動作。AGV車使用新松倉儲地標感測智能車，有蔽障、路徑規劃的能力。

支撐機器人所有的模塊，動力與驅動單元為智能移動機器人提供動力來源；環境感知單元負責對周圍的環境進行感知識別及各種參數的收集，然后通過轉換成控制模塊可以識別的光電信號，輸入到控制單元進行數據處理；執行機構單元為智能移動機器人執行部分，能根據控制中心的命令執行命令，完成任務；信息處理與控制單元作為整個機械系統的核心部分，將來自傳感器部分采集到的信息進行集中匯總存儲，對所有信息分析、規劃、決策并輸出命令，使機器人有目的運行。

2.操作系統

智能移動拍攝系統的控制部分由沈陽廣電傳媒集團自主研發的“藝卡智能移動拍攝遠程控制系統”實現。遠程控制系統從軟件架構上可歸納為三個層面，底層為指令執行層，主要向中間層反饋當前拍攝系統狀態，并根據收到的指令執行相應動作；中間層為協同控制層，根據系統輸入信息計算智能拍攝系統的控制指令，是軟件控制系統的核心部分；頂層為拍攝場景設計層，為操作人員提供軟件控制系統的人機交互界面，用于設計拍攝動作，也可以根據預設值自動生成機器人的拍攝動作。

遠程控制系統從實現功能上可劃分為5個模塊：人體檢測跟蹤模塊、機器人運動控制模塊、場景編排設計模塊、相機鏡頭控制模塊和主控模塊。人體檢測跟蹤模塊完成攝像機拍攝視頻中目標人體位置的持續檢測和跟蹤；機器人運動控制模塊根據主控模塊的指令，控制調整機器人的拍攝角度，位置和運動軌跡；場景設計編排模塊根據預設拍攝需求自動生成機器人的拍攝動作，并根據拍攝動作發送控制指令。相機鏡頭控制模塊根據收到的控制指令調整鏡頭的各項參數。主控模塊實現上述功能模塊的消息同步與協同控制，通過消息機制無延遲收發信息，使機器人完成拍攝任務，也為后續模塊升級和功能擴展提供了接口。

3.主要功能特點

該系統具有精準拍攝、拍攝主體跟蹤、無軌移動、微距運動拍攝和動態跟蹤拍攝等五大特點，是機器人技術和人工智能技術在廣電領域的創新應用。

4.關鍵技術及創新點

（1）拍攝主體跟蹤技術

基于人工智能的拍攝主體識別技術，實現了精確聚焦的目標跟蹤。

本系統創造性的將人工智能的理念和算法應用到拍攝目標識別中，能夠根據不同的目標主體進行輪廓識別，將識別的輪廓區域通過平面重心提取算法，提取拍攝主體的重心點后，AGV 和機器臂以此進行高速修正，將攝像機聚焦到目標重心，隨后計算出恰當的攝像機焦距參數值，反饋至協同控制模塊，不斷調整機器人、攝像機，從而實現了精確聚焦的目標跟蹤。

（2）精準拍攝技術

使用高精度的移動軌跡標定技術，實現了同一軌跡多次高精度重復拍攝。

系統所使用的機器人和機器臂具有毫米級的精度，保證了攝相機拍攝點位的精度。在移動拍攝的過程中，將攝像機的運動軌跡通過 12 個維度的參數進行數學分割，分割成基于時間軸的切分點，同時對點間的參數變化進行擬合算法標定，即運動軌跡標定。然后記憶存儲，存為拍攝場景。在每次同軌拍攝時，通過自動定點復位和校正措施，從而實現毫米級的運動軌跡重復拍攝。

（3）動態跟蹤拍攝技術

使用精簡的目標識別算法和閉環快速運動算法，實現了實時精準拍攝。當前的目標識別算法比較復雜，需要的計算量比較大，本系統將多種目標識別算法進行融合，提出了基于輪廓優先的識別策略，在已經可以識別目標主體時，就不再進行復雜的算法，反之，當基于輪廓算法不能識別時再輔以調用特征識別算法，從而達到迅速識別目標主體的目的。在拍攝高速移動目標主體時，為了能夠實現目標跟蹤，采取了閉環控制的策略，通過不同圖像幀之間的目標主體重心點的偏離修正實現了從時間軸上的閉環控制。這樣做的另外一個好處是還可以有效的克服攝像機運動時的拍攝目標的重心抖動。通過以上的兩個重要的算法結合其他的控制策略，實現了實時精準拍攝。

（4）微距運動拍攝技術

研發了多維度協同控制算法，可實現拍攝避障、相機防抖、微距運動等高質量拍攝。實際拍攝過程中，AGV 和機器臂有可能遇到障礙、道路不平、機器人運動慣性抖動等現象，為解決上述問題，經過深入分析和研究，本系統設計出一種多維度協同控制算法，在算法運行的過程中，對AGV的障礙傳感器和攝像機拍攝主體重心的變化參數進行實時計算后再作用于協同控制算法中的多維度的參數，對相應的參數進行修正和補償，有效的解決了障礙、抖動，實現了高質量拍攝。

圖1是本系統結構示意圖。

圖2是圖1中的系統邏輯結構示意圖。

圖3上位機軟件的系統結構示意圖。

圖4是人體跟蹤模塊流程圖結構示意圖。

圖5：上位機軟件執行控制邏輯狀態轉換圖。

5.具體實施方式

（1）通信接口實施方式：

    系統需要與機器人和攝像機進行通信，其通信接口和鏈接方式如下：

1）軟件與復合機器人的接口：復合機器人采用機器人控制軟件（安裝到Windows平臺計算機），與移動拍攝遠程控制系統進行通信，通信的方式使用TCP/IP協議（機器臂使用UDP方式，AGV采用TCP方式），使用Socket類編程，IP地址和端口號、應用層的控制協議由新松提供；攝像機的控制接口使用RSC232-TCP/IP網關服務器，鏈接到新松機器人的無線路由上。

需要注意的是所有的IP地址都必須與AGV在同一個網段。

2）軟件與攝像機的接口：軟件需要單獨使用TCP/IP通信接口與RSC232-TCP/IP網關服務器網關進行通信。

（2）上位機協同控制模塊實施方式：

    上位機主要完成設備狀態的感知分析和目標跟蹤算法、路徑規劃和驅動控制。其次，為了給場景平臺提供透明的場景，需要將場景的多維度參數使用協同運動規劃的算法轉化為設備的參數控制指令，需要根據目前狀態參數與規劃的場景計算出的不同維度的控制指令。考慮到協同控制和機器人、攝像機的獨立性，上位機協同控制/感知模塊采用獨立進程，與新松控制臺軟件和場景規劃軟件模塊之間使用TCP/IP接口，UDP封裝格式完成進程之間的通信。參見圖3。

（3）人體跟蹤模塊實施方式：

    采用位置變化速率和物體高速跟蹤相結合的方法。位置變化速率的方法實現對目標人的跟蹤是建立在人體檢測算法的高速運行的基礎之上。其原理是對于人物在視頻中的連續運動，就其人體中心位置的變化在前后幀中是連續的，也就是說在畫面中選定跟蹤目標后，在高速人體檢測過程中，目標人的位置變化在前后幀中是連續的，所以通過連續的位置變化來判斷跟蹤目標。使用位置變化的方法跟蹤目標的算法結構簡單，速度快，但無法有效處理跟蹤目標和其他目標人交叉的情況，為了應對這種情況，在人體跟蹤模塊中引入近些年來非常流行的相關和濾波算法，在跟蹤過程中，通過計算跟蹤目標位置變化得出的跟蹤框和相關和濾波算法的跟蹤框的擬合程度來判斷該人物是否為跟蹤目標，如果是跟蹤目標，則更新目標的位置信息，同時重新初始化相關和濾波跟蹤算法的模型。在人物存在交叉時，如果跟蹤目標從其他人物前方交叉，則不受影響，如果其他人物從目標前方交叉，短時間內可以做到不受影響。參見圖4。

（4）協同計算、執行控制模塊實施方式

    使用不同的接口方式實現與攝像機、機器人（包含云臺）的鏈接；封裝機器人、攝像機兩種不同接口的通信協議。定義和實現對攝像機的多維度（如：攝像機的位置、姿態等）動作驅動控制，將上層送來的多維規劃信息與目前的狀態信息計算后，形成多維執行單元的控制指令和參數。設備的參數感知包括：實時感知到設備的多維度（如攝像機的俯仰角度、水平角度、焦距等參數）狀態信息；將傳感器感測到的距離直接作用于人體目標跟蹤軟件；多維輸入輸出的協同運動規劃，將視頻目標跟蹤、路徑規劃、場景示例學習等來自于場景規劃層面的多維度軌跡，使用不同的場景模型進行計算，然后做分維和轉維處理，傳輸給協同控制模塊，然后控制攝像機的位置、姿態。具體執行狀態圖參見圖5。

（5）場景規劃軟件模塊實施方式：

    主要有兩部分軟件，即人體跟蹤軟件和簡單路徑規劃軟件。人體跟蹤軟件根據事先設定好的場景，感測到主播人的臉部信息，結合超聲波測量的攝像機與人的距離，調整攝像機的方位和其他參數，攝像機自動跟蹤人體，包括人體的左右和上下移動，人的行走。簡單路徑規劃軟件，可以實現事先擬定的多維度攝像頭的軌跡參數，以促使按照設定的場景進行拍攝。

    采用的技術方案是：考慮到協議和場景的獨立性，場景規劃軟件模塊獨立的編程，其與協同控制模塊之間使用TCP/IP接口，UDP封裝格式完成進程之間的通信。

三．結束語

由于AGV移動系統可以遵循不同程序設定，實現同一平面內的任意移動，較傳統搖臂的底座固定和傳統移動軌道的單一線性設定具有極大的空間優勢，可以實現對演播室空間的高效利用，其本身具有較強的可移動性，應用場景更加廣泛。傳統搖臂或者軌道移動拍攝場景，即便在優秀攝像師的配合和操作下，也很難完成部分高難度動態畫面追蹤拍攝。通過該系統的“場景編排+路徑規劃+人體跟蹤”，可以輕松完成以人物為中心的動態畫面追蹤拍攝，極大拓展主播或其他拍攝對象的表現能力。六軸工業機械臂活動靈活，臂展長度可根據需求設定，較搖臂具有更大優勢。機械系統的運動軌跡不僅可以實現在三維空間里任意設定，并且可以實現路徑的實時存儲、隨時調用，所有運動軌跡可以精確到毫米級別，遠遠超過人工操作精度。智能移動拍攝系統具備全功能的遙控能力，支持多軸同時操作，機器人的前進和后退、攝像機漂移、搖臂旋轉可以同時獨立完成，攝像師利用多軸同時操作，可以實現之前人力不能完成的攝像動作，滿足影視制作設計、策劃對鏡頭提出的復雜要求，大幅提高制作的水平。