谷歌的“深度觀察視頻系統”是由3D打印在一個200美元的丙烯酸半球上的價值6000美元的體育運動攝像機（通過同步電纜連接）構成的。它記錄了46個看著不同方向的場景視頻。

在SMPTE2020大會第二天的主題演講中，保羅·德貝維奇概述了他是如何在他所謂的真實世界和虛擬世界之間架起橋梁的。這是該谷歌研究中心的資深科學家和南加州大學創新技術研究所的研究教授，在他職業生涯的很長時間里一直在做的事情。

德貝維奇在他的主題演講“光場、光舞臺和虛擬制作的未來”開場白時，概述了“通過照明連接真實和虛擬世界”的各種技術。這要追溯到1990年末加州大學伯克利分校對基于圖像的照明（IBL）的研究。這導致了第三光舞臺（Light Stage 3），它由156個RGB彩色LED燈組成。它最初在2002年的SIGGRAPH上演示，在大衛·芬奇2010年電影《社交網絡》中出現，當扮演溫克萊沃斯雙胞胎的艾米·漢默的臉被合成到他的替身演員臉上時，使真實和數字人物相配。

德貝維奇說，要使這樣的作品令人信服，關鍵是要使被置入場景中的物體或人的燈光看起來真實和自然。他繼續說，即使達到了這一點，仍然有沒有光或原始鏡頭內的其它東西（如舞臺布景）反射的限制。

幸運的是，實現這一方法的技術已經得到了發展。在2013年桑德拉·布洛克的電影《地心引力》中，照明人員使用9mm LED板在女演員的頭盔面罩上產生了良好的光反射。在中國電影《阿修羅》（2018年）中，這種做法被進一步采用，在這部影片中，一個巨大的（85x68x27英尺）LED舞臺被搭建起來，使演員被合成到一個有完全相配的照明的虛擬山地場景。

德貝維奇在谷歌所做工作的最新進展是“深度視角視頻系統”，這源于他的想法，即使用一個魚眼/圓柱形結構中的球形小攝像機產生更沉浸式效果。它由3D打印在一個200美元的丙烯酸半球上的價值6000美元的體育運動攝像機（通過同步電纜連接）構成的。它記錄了46個看著不同方向的場景視頻。

一個經過訓練的神經網絡算法將46個視頻轉換成大約100個RGB alpha通道的球面層，這些球面層復制所有拍攝的視圖以及它們之間的所有視圖。通過壓縮和渲染，這100層減少到約16層具有高分辨率alpha紋理的深度映射網格（低分辨率幾何結構），可在移動VR硬件上被有時間穩定性的壓縮和實時傳輸，最終形成4K或8K視頻流。

德貝維奇說，這樣做的結果是，視頻可以在VR中被記錄和觀看，人們可以在一個場景中向四周觀看和舒適地移動，有更強烈的身臨其境的感覺。