家 1 月 4 日消息，科技媒體 The Decoder 昨日（1 月 3 日）發布博文，報道稱谷歌 DeepMind 聯合哥倫比亞大學、加州大學圣地亞哥分校的研究人員，開發了一款名為 CAT4D 的 AI 系統，可以將普通視頻轉化為動態 3D 場景，降低了 3D 內容創作的門檻，為多個行業帶來了新的可能性。
CAT4D 系統利用擴散模型，將單視角拍攝的視頻轉換為多視角視圖，并將其構建成動態 3D 場景，用戶可以從不同角度觀看視頻中的主體，如同置身其中。IT之家附上演示圖如下：
以往，實現類似效果需要多臺攝像機同時錄制同一場景，而 CAT4D 則簡化了這一流程，只需普通視頻素材即可，這項技術有望革新游戲開發、電影制作和增強現實等領域。
在訓練 AI 過程中，谷歌 DeepMind 團隊發現沒有太多現有數據，為了解決這個問題，團隊混合真實世界的鏡頭與計算機生成的內容，訓練數據包括靜態場景的多視圖圖像、單視角視頻和合成 4D 數據，通過擴散模型學習，在特定時刻從特定角度創建圖像。
該系統現階段所生成的 3D 場景，比原始素材要短，但 CAT4D 的成像質量已優于同類系統。CAT4D 技術具有廣泛的應用前景。游戲開發者可以利用它創建虛擬環境，電影制作人和 AR 開發者也可以將其融入到工作流程中。