Nvidia使用AI生成的圖形創建了第一個視頻遊戲演示demo

最近人工智能在一個令人驚訝的領域產生了令人印象深刻的結果：圖像和視頻生成的世界。最新的例子來自晶片廠商Nvidia，該公司今天發布的研究顯示AI生成的視覺效果如何與傳統的視頻遊戲引擎相結合。結果是一個混合圖形系統，有朝一日可用於視頻遊戲，電影和虛擬現實。

這項工作的一個產品是第一個帶有AI生成圖形的視頻遊戲demo。這是一個簡單的駕駛模擬demo，玩家可以在AI生成的幾個城市街區中導航，但不能離開他們的車或以其他方式與世界互動。該demo僅使用一個GPU即可做到，這是這項前沿工作的顯著成就。雖然不可否認GPU是公司價值3000美元Titan V頂級產品，也是有史以來最強大的PC GPU，而且通常用於高級模擬處理而不是遊戲。

Nvidia的系統使用幾個步驟生成圖形。首先，研究人員必須收集訓練數據，在這種情況下，這些數據來自用於自動駕駛研究的開源數據集。然後將該鏡頭分段，意味著每個幀被分成不同的類別：天空，汽車，樹木，道路，建築物等。然後，對該分段進行數據訓練，生成對抗網路，以生成這些對象的新版本。

接下來，工程師使用傳統的遊戲引擎創建了虛擬環境的基本拓撲。在這種情況下，該系統是虛幻引擎4，這是一種流行的引擎，用於諸如Fortnite，PUBG，Gears of War 4等許多其他遊戲。使用此環境作為框架，深度學習算法然後實時生成每個不同類別的項目圖形，將它們黏貼到遊戲引擎的模型上。

為了創建這個系統，Nvidia的工程師必須解決許多挑戰，其中最大的挑戰是對象持久性。因為深度學習算法只能以每秒25幀的速率為世界生成圖形，它們如何保持對象看起來相同？ 解決方案是給系統一個短期記憶，以便將每個新幀與之前的幀進行比較。它試圖預測這些圖像中的運動物體，並創建與螢幕上內容一致的新幀。所有這些計算都很昂貴，因此遊戲只能以每秒25幀的速度運行。

Catanzaro強調，這項技術處於早期階段，而且人工智能生成的圖形可能需要幾十年時間才能出現在消費者頭銜中。他將這種情況與光線跟蹤的發展進行了比較，光線跟蹤是當前圖形渲染的熱門技術，其中實時生成單獨的光線，以在虛擬環境中創建逼真的反射，陰影和不透明度。 第一次交互式光線追蹤演示發生在很久很久以前，但直到幾周前我們還沒有在遊戲中得到應用。