
攝制自然歷史節(jié)目的一個主要問題是“明星們”不會聽從攝制組的指導(dǎo)。當(dāng)節(jié)目開始時,試著讓一只獾恰好在這個時候出現(xiàn),或者讓一只鳥哺喂幼鳥,你就會明白其中的困難了。然而,觀眾想看到的正是這些主角。觀眾感興趣的如BBC的《春日觀察》和《秋日觀察》等節(jié)目就證明了這一點。
當(dāng)然,所謂的“攝像機陷阱”(只有動物觸發(fā)傳感器才會啟動的攝像機)早已有了。基本上,這些攝像機都裝有運動傳感器,當(dāng)檢測到動作時,攝像機就開始拍攝。然而,這個動作可能是背景中搖動的一棵樹,而這可能意味著存儲卡充滿了樹枝搖動的鏡頭,但幾乎沒有野生動物的跡象。
除此之外,還要花很多時間檢查30臺以上的《春日觀察》攝像機的鏡頭,以確定哪些可以使用,哪些不能使用。
利用技術(shù)
為了讓自然歷史攝制組的工作更輕松一些,BBC研發(fā)團(tuán)隊一直在開發(fā)解決方案。它涉及人工智能(AI)和機器學(xué)習(xí)(ML)。2019年的《春日觀察》和《秋日觀察》制作期間進(jìn)行了試驗,該技術(shù)在今年的節(jié)目中得到了更全面的應(yīng)用。
“前些時,一位自然歷史制作人找到我們,我們參與了這個項目,”BBC研發(fā)部高級研究工程師羅伯特·道斯解釋說,“他要求我們研究AI技術(shù),看看如何才能提高這些傳感器的性能,更有效地利用這些資源。”
道斯繼續(xù)說道:“我們使用計算機視覺處理技術(shù)做了一些初步的人工智能工作。這包括搭建一個連接在小型樹莓派電腦上的攝像機的支架。這臺電腦持續(xù)監(jiān)視攝像機的輸出,使我們能夠確定鏡頭中鳥或動物何時出現(xiàn)。通過使用計算機視覺技術(shù),我們能夠過濾掉不必要的觸發(fā)物,如搖動的樹。但是由于ML沒有參與進(jìn)來,它仍然沒有告訴我們有什么種類的動物或鳥類在那里。”
顯然,需要的遠(yuǎn)不止這些。當(dāng)研發(fā)團(tuán)隊參與到《春日觀察》的操作時,這提供了他們一直在尋找的機會。通過將本地的野生動物攝像機連接到轉(zhuǎn)播設(shè)備上,立即獲得了電力。這為使用高性能計算機技術(shù)幫助實現(xiàn)監(jiān)視目的提供了可能性。
“我們想創(chuàng)建一個可以同時注意多臺攝像機的工具系統(tǒng)。此要求相當(dāng)復(fù)雜,并且需要一種觸發(fā)記錄的方法。這不僅對現(xiàn)場節(jié)目制作團(tuán)隊有幫助,對觀眾可以在家里每天24小時觀看攝像機信號的數(shù)字輸出也有幫助。”
結(jié)果是道斯和他的團(tuán)隊設(shè)計的解決方案不僅適用于BBC攝像機,而且適用于由第三方野生動物團(tuán)隊(如皇家鳥類保護(hù)協(xié)會)操作的在英國各地的攝像機。“我們的解決方法不需要有人持續(xù)不斷監(jiān)視所有這些攝像機。”
那么,它是如何工作的?
道斯解釋說,使用了一個叫做YOLO(你只看一次)的開源機器學(xué)習(xí)框架網(wǎng)絡(luò)。“這項技術(shù)使系統(tǒng)能夠識別物體。例如,如果在辦公室使用,它可以被教會識別椅子、監(jiān)視器、冰箱或一個人。在自然歷史應(yīng)用中,我們可以教它識別不同類型的生物,然后在那個物體周圍設(shè)置一個框。一旦這框就位,就有可能追蹤動物、鳥或任何在屏幕周圍上游蕩的任何東西的位置。”
為了使系統(tǒng)能夠“學(xué)習(xí)”這些動物,將有關(guān)動物的多種靜態(tài)照片輸入計算機。因為系統(tǒng)從許多不同的角度識別研究對象是很重要的,所以這些過程還可能遇上達(dá)到數(shù)千次。計算機利用這些圖像訓(xùn)練一個大致模仿大腦結(jié)構(gòu)的被稱為“神經(jīng)網(wǎng)絡(luò)”的系統(tǒng)以識別那些物體的樣貌。這是機器學(xué)習(xí)的一個很好的例子。當(dāng)該系統(tǒng)“看到”一個它識別為動物的物體時,它會在現(xiàn)場視頻上實時跟蹤該動物。這種設(shè)置意味著攝像機鏡頭里移動的是正被跟蹤的動物,而不是其它東西。換句話說,制作方可以從知道“在現(xiàn)場中發(fā)生了什么事”發(fā)展到“有動物進(jìn)入現(xiàn)場”。
在每種情況下,導(dǎo)入所有這些基本數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)都要花費3天的時間。“一個好處是,所有這些都可以在一臺功能強大的家用PC上執(zhí)行,不需要一個價值百萬美元的系統(tǒng),”道斯強調(diào),“這也意味著,當(dāng)環(huán)境發(fā)生變化時,很容易改變系統(tǒng)需要識別的畫面。顯然,如果這個過程需要6個月的時間,這個系統(tǒng)就不可行。”

創(chuàng)建數(shù)據(jù)
該技術(shù)還能產(chǎn)生有關(guān)動作的數(shù)據(jù),因此那些信息可被記錄下來,供那些可能希望使用這些鏡頭的人審看。
“我們存儲了與事件時間和內(nèi)容相關(guān)的數(shù)據(jù),并以此作為提供給制作單位的時間線的基礎(chǔ)。然后,團(tuán)隊可以使用這個時間軸滾動瀏覽某一攝像機輸出信號上的活動。此外,該系統(tǒng)使我們能夠提供事件的視頻片段。一種是一個容易審看內(nèi)容的小預(yù)覽,另一種是以原始質(zhì)量錄制并有活動任何一方幾秒鐘額外視頻的片段。這可以下載到編輯系統(tǒng)中。”
該系統(tǒng)一被發(fā)現(xiàn)是穩(wěn)健的,BBC自然歷史部門的員工就接受了使用這項技術(shù)的培訓(xùn)。
他接著說,“這可能是一項精巧的技術(shù),但我們工作的一個重要部分是確保它適用于現(xiàn)有制作周期的流程。我們建立了一個允許訪問片段和數(shù)據(jù)的基于網(wǎng)絡(luò)的簡單界面。事實證明,在如此多的制作工作都是遠(yuǎn)程操作的情況下,這種方法特別有用。”
當(dāng)然,機器學(xué)習(xí)技術(shù)的應(yīng)用范圍遠(yuǎn)不止自然歷史節(jié)目。正如道斯指出的那樣,大多數(shù)電視輸出都涉及到人,而此系統(tǒng)允許記錄特定的活動。“我們還使用這些技術(shù)搜索歸檔素材,這肯定可以節(jié)省尋找特定的人或行為的單調(diào)冗長的查看時間。”
《觀察》數(shù)字制片人本·莫里森補充說,“今年在《春日觀察》上與BBC研發(fā)部團(tuán)隊合作非常棒,他們的技術(shù)使我們的工作流程各環(huán)節(jié)更簡單,甚至使我們能夠使用我們沒料到會這樣使用的鏡頭。他們的AI能夠從我們遍布全國的合作伙伴攝像機網(wǎng)絡(luò)中記錄關(guān)鍵的行為瞬間,我們可以將其編入我們的直播節(jié)目中。我們真的很期待看到這項技術(shù)如何向前發(fā)展!”