[汽車(chē)之家 行業(yè)] 英偉達(dá)（Nvidia）公司宣布其在人工智能（AI）研究中取得突破，研究人員已經(jīng)通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)在真實(shí)的視頻片段上來(lái)教人工智能系統(tǒng)如何生成和細(xì)節(jié)新的虛擬城市景觀。該技術(shù)可為游戲、汽車(chē)、建筑、機(jī)器人或虛擬現(xiàn)實(shí)等快速創(chuàng)建虛擬世界。
在新的工作中，團(tuán)隊(duì)使用在DGX-1上的Nvidia Tesla V100GPU上運(yùn)行的PyTorch深度學(xué)習(xí)框架，并在數(shù)千個(gè)Cityscapes視頻和Apolloscapes數(shù)據(jù)集上培訓(xùn)它們。然后，研究人員將使用虛幻引擎4構(gòu)建虛擬城市的基礎(chǔ)，并強(qiáng)調(diào)建筑物、樹(shù)木和汽車(chē)等事物的總體輪廓和布局。基于所學(xué)到的一切，神經(jīng)網(wǎng)絡(luò)填充空格，包括精細(xì)的細(xì)節(jié)、顏色、光照和紋理。
不同于需要用特定指令編程的傳統(tǒng)算法，神經(jīng)網(wǎng)絡(luò)更像有機(jī)大腦，隨著時(shí)間推移，從“經(jīng)驗(yàn)”中學(xué)習(xí)。這種體驗(yàn)可以作為大型數(shù)據(jù)集饋送給系統(tǒng)，然后系統(tǒng)可以使用學(xué)到的規(guī)則來(lái)生成自己的內(nèi)容。最近幾年，它被用于將不同的藝術(shù)風(fēng)格應(yīng)用到視頻中，基于對(duì)接下來(lái)會(huì)發(fā)生什么的預(yù)測(cè)從靜止照片中創(chuàng)建短視頻，以及生成額外的幀間幀以使得任何剪輯以慢動(dòng)作發(fā)生。
英偉達(dá)研究人員利用神經(jīng)網(wǎng)絡(luò)，實(shí)時(shí)創(chuàng)建合成3D環(huán)境。與現(xiàn)在需要為虛擬世界中每個(gè)對(duì)象單獨(dú)建模的方法相比，英偉達(dá)的方案更便宜、所需時(shí)間更短。
此次研究產(chǎn)生了一個(gè)簡(jiǎn)單的駕駛游戲，允許參與者在城市場(chǎng)景中進(jìn)行導(dǎo)航，場(chǎng)景中的所有內(nèi)容都使用神經(jīng)網(wǎng)絡(luò)，以交互式方式呈現(xiàn)，神經(jīng)網(wǎng)絡(luò)將傳統(tǒng)圖形引擎生成的3D世界的草圖轉(zhuǎn)換成視頻。該神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)會(huì)模擬真實(shí)世界的狀況，包括照明、材料和動(dòng)態(tài)表現(xiàn)。
由于虛擬場(chǎng)景完全由人工合成而生成，因此可以輕松編輯、刪除或是添加對(duì)象。研究人員表示，英偉達(dá)的Tensor Core圖形處理器（GPU）使該演示成為可能。神經(jīng)網(wǎng)絡(luò)的工作原理是首先對(duì)場(chǎng)景進(jìn)行高級(jí)描述，例如描述對(duì)象所處位置及其一般特征，如圖像的特定部分是否包括汽車(chē)或建筑物，或者物體邊緣的位置，然后神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)其在真實(shí)世界視頻中學(xué)到的知識(shí)豐富詳細(xì)信息。（消息來(lái)源：NEW ATLAS；編譯/汽車(chē)之家 李娜）