沉浸式音頻先驅

菲利克斯?克魯克斯（Felix Krückels）是一名注冊音頻工程師，畢業于德國代特莫爾德音樂學院，自2012年以來一直從事沉浸式音頻工作。當NHK在朗沃公司（Lawo）的幫助下推出其“Super Hi-Vision”超高清項目時，他也伸出了援手。2018年，他成為德國達姆施塔特應用科技大學廣播制作和系統設計教授，目前正在進行新維度沉浸式音頻的研究。

菲利克斯?克魯克斯

當他還是一名學生的時候，他在德國科隆的RTL電視臺實習，后來作為一名自由職業者在這家電視臺工作。他是2008年歐洲足球錦標賽和2010年世界杯轉播的音頻工程師，這兩場比賽都以5.1環繞聲制作。2018年俄羅斯世界杯是其職業生涯的另一個高峰期：它是用Dolby Atmos 3D制作的。

近距離接觸3D音頻

2013年，菲利克斯?克魯克斯獲邀為2013年國際足聯聯合會杯一個3D音頻項目提供支持，目的是探索2014年巴西世界杯3D/沉浸式音頻制作的可能性。由杜比組織的一支英國團隊進行了一系列測試，最初是基于一個捕捉3D聲場的環境聲話筒。

菲利克斯?克魯克斯建議采用一種等效立體聲方法，通過一種類似ORTF的拾音技術，用心型話筒拾取環境聲。他的想法是在頂部添加第二個雙ORTF話筒設置，總共使用8個麥克風。這個概念證明非常確定無疑，以至于Schoeps開始設計用于室內和室外的ORTF-3D話筒，其中一個原型被用于2014年巴西世界杯決賽。

巴西世界杯環繞聲制作

然而2014年巴西世界杯決賽制作還需要后期處理和混合（3D聲像不適合直播），現場制作出現于2015年在溫哥華舉行的女足世界杯，在那里整個信號通路（從話筒到混錄調音臺，到杜比編碼器上，以及幾乎一直到終端消費者）首次被成功貫通。但這只是邁向2018年俄羅斯世界杯的一步，要知道俄羅斯世界杯的電視轉播采用了準ATMOS 3D/沉浸式音頻。

俄羅斯世界杯沉浸式制作

從復雜性到抽象

被問及3D/沉浸式音頻混錄是否比5.1或立體聲混錄更費勁時，他指出，最重要的挑戰是3D/沉浸式音頻所產生的“紅利特性”：A1 /聲音監制/音頻工程師(同一個人不同的頭銜)必須牢記的給予音頻內容終端消費者的自由性和靈活性。

這應歸于基于對象的MPEG-H或ATMOS音頻材料的性質：最終用戶通過改變環境、解說員等聲音的聲級，可以個性化他們收到的碼流。因此，聲音監制需要退后一步，做出假設。

這標志著違背音頻工程師需要記住目標觀眾的收聽場景之準則：立體聲推出時,工程師必須確保單聲兼容性，原因是據估計未來一段時間大部分最終消費者將會繼續使用單揚聲器播放設備。

同樣的情況也適用于5.1制作，音頻工程師被要求提供高質量的立體聲縮混，甚至是制作一個單獨的立體聲混音，因為歐洲和北美大約90%和80%的觀眾仍然使用立體聲電視機。

在基于對象的NGA音頻制作中，這種對收聽場景的關注不再可能:聲音監制基于給定數量的對象創建一個三維空間。終端消費者自由決定他們是否用雙耳耳機、音箱（2、4、6）、條形音箱等聆聽3D音頻內容。在某種程度上，終端消費者家中的解碼器現在與A1混合在一起，結果無法利用NGA音頻提供的更多選擇。

記下還音原則：提供給最終消費者的音頻對象包含坐標，而不是聲道或揚聲器編號。這允許終端消費者家中的解碼器將沉浸式音頻內容還原給可用的擴音系統。還原一個3D/沉浸式音頻變成了一個使聲音監制設置的聲像信息轉換/適配為最終消費者家中的真實音箱設置的問題。

然而，基于對象的分發的個性化成分迫使聲音監制檢查他們的混音在各種聆聽場景中產生預期效果，這些場景可能沒有一個符合家庭的還音環境。克魯克斯使用以下“典型的”參考設置：

· 9.1（三維音箱設置，亦稱為5.1.4）

· 5.1（包括關于大小音箱的抽象信息）

· 立體聲

· 雙耳耳機

最多準備了4種參考混音（它們不傳送給最終消費者），并根據各種音頻呈現/混音進行檢查，A1需要定期檢查的混音總數至少16個。在提供的“音頻呈現”中，有一個由杜比團隊和菲利克斯?克魯克斯開發的名為“酒吧呈現”的作品。在此酒吧呈現中，幾乎聽不見體育比賽群體觀眾聲，原因是歡呼聲和噓聲通常是由在酒吧等觀看比賽的觀眾現場發出的。另一方面，球場音頻細節，如踢球、鏟球、口哨和抱怨聲，需求更突出……

“A1在電視直播環境中的最終目標是擴大所有相關的環境聲，以至于在家里的觀眾有一種置身于足球比賽、拳擊比賽等現場的錯覺。”它的基本原則源自電影配樂:看兩個人打架而不發出巨大的拳擊聲，很快就會讓人覺得厭煩。

到目前為止沉浸聲進展順利

雖然就在不久前，家里的觀眾還不能使用上面討論的音頻呈現和碼流，但它們目前正在推出。MPEG-H（韓國）已經允許觀眾選擇他們感興趣的碼流，并改變他們的聲級，而英國的天空電視臺和英國電信體育臺采用了杜比全景聲（Dolby ATMOS）。

個性化的3D/沉浸式音頻可能成為一種有益的痛苦經驗：A1提供的任何附加的靈活性都可能導致出現最終用戶的調整使音頻內容變得模糊，以至于被認為是令人不快的噪聲的情況。

這就解釋了為什么沉浸式音頻作品的聲音監制通常傾向于一種稍微保守的方法，即使用相對較少的華麗點綴。他們知道，他們無法控制家庭觀眾處理他們收到的音頻還原內容的方式，因此選擇受到限制。

這樣的制作就其本身而論相對簡單，除了增加的維度（高度）外，類似于5.1的情況，這需要在混錄調音臺添加額外的母線。從操作人員的角度來看，可以很容易地管理增加的維度。

新的考慮因素包括如何向最終消費者提供額外的選項，如何監聽播放內容，以及首先向公眾提供哪些個性化選項。

采用和收視率的關系

音頻內容的質量和可理解度似乎對收視率有很大影響。Krückels舉了他在德國一家私營電視頻道RTL工作經歷為例。他是RTL第二屆拳擊比賽（2007~2017年）的A1，該比賽采用立體聲制作。他認為，這樣的賽事特別適合3D/沉浸式音頻，可以更好地反映現場的氣氛：喧鬧人群的回聲和直達聲（比足球比賽的聲音要大得多，他說）、音樂、擊打聲、討論聲、教練的鼓勵聲……

雖然由于歐洲足聯的規定，5.1環繞聲轉播足球比賽是強制性的，但其它體育賽事的音頻內容之傳送格式并不是一成不變的。RTL的管理層仍然記得，當電視臺從4:3切換到16:9寬高比時，觀眾的流失是如此之多：一些觀眾抱怨他們再也不能看RTL的節目了。然而，他們沒有嘗試調整設置或購買新電視機，而是取消了訂閱。

深夜拳擊比賽吸引了600萬至800萬觀眾，對于德國的一家私營電視臺來說，這已經是不小的數目了，因此RTL的管理層寧愿不冒任何風險。此外，在像德國這樣的國家，如果告訴某人一種新的音頻傳輸格式允許他們更改評論聲級，甚至在他們考慮好處之前，就會引發這樣一個問題：如果評論需要調整，那么它到底出了什么問題?

增加興奮度

“音頻具有高度情緒化的一面。這種氛圍營造出一種在插播簡明新聞期間觀眾在體育場館或在紐約的幻覺。在一個新聞發布會期間，提供紐約和拍照典型的背景噪聲等，輕易就需要10個音箱，但會給信息增添情感和興奮因素。”

這對于體育賽事或歌唱比賽來說更為重要。用聲音信息把觀眾包圍起來，很簡單就產生一種更吸引人的感覺，盡管大多數觀眾無法準確指出這種體驗在哪些方面與以前不同。

監制聲音

從事沉浸式音頻工作的聲音監制最重要的考慮是他們可以方便地從其調音臺監測各種音頻呈現和格式(立體聲、環繞聲、3D聲)。mc2調音臺允許音頻工程師迅速控制所有相關參數。速度非常重要。

調音臺本身只是混音的一個元素，而外部呈現程序添加了其它方面，這使得通過一個用戶界面控制所有相關設備的能力變得更加重要。在現場制作期間，是沒有時間調整兩臺乃至3臺設備上的設置的。由于與杜比的集成及其開放的Ember+控制協議，Lawo的mc2調音臺朝著正確的方向邁出重要一步，證明它們在沉浸式聲音領域開拓工作是稱職的。

做起來

拋開所有哲學上的考慮：如何創建一個3D/沉浸式音頻混音，使用哪些麥克風以及如何設置它們?

克魯克斯說，對于一個體育節目制作，第一步是尋找場館的“最佳位置”，也就是人們可以聽到一切的位置。3D話筒應安裝在這里。經驗表明這個位置通常靠近一號攝像機，也就是主攝像機。

3D話筒從頂上懸掛下來，與人群保持適當距離，以避免過多的鼓聲、嗚嗚祖拉（南非喇叭）、不恭語言等的干擾。因此，3D話筒與用于交響樂團整體聲音拾音的懸掛式麥克風出于相同的目的。

由于可理解性和靈活性的原因，補點話筒的位置靠近所有重要的聲源。產生的信號的混合后應感覺聲音是從9個音箱出來。

菲利克斯?克魯克斯喜歡在他的混音中使用三個平面：單聲、立體聲和環繞聲/3D平面。環繞聲/3D信息通常只涉及環境聲（人群、城市噪音等）。他幾乎從不使用“電影效果”，即聽眾聽到飛機從頭頂飛過或其它特殊效果，盡管一些廣播公司偶爾會用“嗖嗖聲”來宣布慢動作即時回放。

在廣播中，只有環境聲，也就是群體聲，以沉浸式方式被拾音。這是克魯克斯的“頂面”。他為此聲音增加（通常是單聲形式）典型的賽場噪聲、攝像機附近話筒捕捉到的信號等。最后，他的第三平面（單聲）只攜帶解說員/評論員聲，即告訴觀眾現場發生事情的人產生的信號。Krückels非常小心地保持這三個平面之間的分離，為藝術形式和替代方案留下足夠的空間。

他認為重要的是要有一個固定的環境聲混音位置，即使攝像機之間的視頻切換可能顯示恰恰相反。他說，將音頻跟隨視頻自動替換運用于環境聲信號，會很快導致聽覺疲勞和不適，因為音頻構面的快速演替觸發了人類與生俱來的不安全反應。

這樣做效果很好，因為如果攝像機做好工作，人們很容易意識到動作是在場地的左邊，即使音頻信息似乎指示另一邊。這也解釋了為什么無論在球場的左邊還是右邊踢球，踢球的聲音總是在中心（單聲）。

克魯克斯說，這可能是一種折中方式，但為一個很好的方式，尤其是由于進入球場拾音話筒的背景噪聲是如此大，以至于移動球場左右邊噪聲會導致環境聲嚴重的不平衡。

環繞聲/沉浸式音頻應該如何混音，有不同的理念嗎?歐美似乎有所不同：歐洲人更注重令人信服的人群聲，而美國的作品往往偏愛“過度炫耀的”審美。在后一種情況下，將播放器放置在聲像的中心并使用高壓縮率比提供穩定的聲景更重要，音頻人工產物關系不大。

克魯克斯本人贊同這兩者之間的折中——關注細節（比賽現場噪聲），同時保持一種真正沉浸式的氛圍，讓觀眾有身臨其境的感覺。不過，他并不想不惜一切代價增加沉浸感。他說，如果以3D/沉浸式音頻對寂靜無聲的人群拾音時，聽起來并不會更生動。另一方面，對于此起彼伏的墨西哥人浪，他喜歡聲音從一個音箱傳到另一個音箱。

動態效果

動態效果在環繞聲/沉浸式音頻場景中非常重要。克魯克斯說，在廣播電視領域，沒有它們，音頻工程師的所有努力都是白費。30~40dB的動態范圍（古典音樂愛好者的偏愛）根本不靈。對于關鍵信號（語音、音樂、賽場噪聲），人耳更喜歡保持在+7~ -10dB LUFS范圍內。當考慮到賽場中的聲級（例如110dBA）通常比在家里使用的版本（±68dBA）高得多時，這一點就更加重要了。

考慮到人耳只能聽到從大約35dBA開始的聲音，這就沒有給音頻工程師留下多少“空間”。此外，大多數人喜歡保持在±15dB的動態范圍內，動態處理的必要性（通過增益調整或使用壓縮器）變得顯而易見。

克魯克斯說，將這一原則巧妙運用的一個解決方案是Lawo的KICK軟件。據他說，這是唯一的辦法，設法保持踢球和涌進噪音在一個恒定的水平，從而避免有時嚴酷的聲級跳躍和人工產物。

向最終消費者提供預處理聲源只會帶來好處。應注意避免壓平聲源的動態范圍使之識別不出：以一個稍微緊湊的形式交付聲音元素就綽綽有余了。

它會迅速發展嗎 ？

杜比、MPEG和大多數聲音工程師都相信，3D/沉浸式音頻的確立將比5.1音頻要快得多，這主要歸功于VR和AR等重要的搭檔，即多年來一直在應用3D觀看和聆聽的游戲。今天的大多數孩子已經熟悉雙耳聆聽，盡管他們可能無法描述它是什么。頭部追蹤（當你戴著耳機轉過頭時，聲音不會移動）在大多數游戲機上都有。

智能手機完全能夠解碼這些信息。

音頻工程師可以很容易地創作出雙耳混音，作為身臨其境的聲音再現——大多數人幾乎會立刻被吸引住，再也不想回到立體聲混音。因此，克魯克斯認為頭戴式耳機將在建立沉浸式音頻中扮演重要角色。

他本人不是很喜歡條形音箱，認為它是以某種方式包圍聽眾的一種漂亮的折中。對于真正的3D效果以及從音頻工程師的觀點來看與之關聯的繁重工作，條形音箱或許無法準確體現附加價值。

汽車里的3D/沉浸式音頻呢？這可能是最輕松的應用之一，原因是汽車系一個受控環境，類似于電影院。因此，音響工程師們精確地知道他們的混音在某一輛車里聽起來會是什么樣子。因此，為某一車型制作一個杜比全景聲呈現是非常容易的，并將產生最大的聆聽滿意度。

因此，可以肯定地說，3D/沉浸式音頻大有前途。