加入收藏 手機版 手機微信 網站地圖 +微博關注
按品牌查找
全部資訊

GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記

來源:VR之家

8月23日,北京國際廣播電影電視展覽會(BIRTV2017)在中國國際展覽中心(老館)開幕。NVIDIA將參與本屆展會,展示NVIDIA的GPU渲染和VR技術將如何應用于傳媒、娛樂、數字內容創建、以及建筑設計、汽車研發與設計等相關工作流程。我們受邀參觀了NVIDIA的展臺,體驗最新的圖形圖像技術,并聽取相關工作人員的精彩演講,了解到一些GPU技術最新的發展情況。

8月23日,北京國際廣播電影電視展覽會(BIRTV2017)在中國國際展覽中心(老館)開幕。NVIDIA將參與本屆展會,展示NVIDIA的GPU渲染和VR技術將如何應用于傳媒、娛樂、數字內容創建、以及建筑設計、汽車研發與設計等相關工作流程。我們受邀參觀了NVIDIA的展臺,體驗最新的圖形圖像技術,并聽取相關工作人員的精彩演講,了解到一些GPU技術最新的發展情況。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


本次媒體溝通會上的主要發言人包括:NVIDIA中國區業務拓展總監何猶卿,NVIDIA中國虛擬現實業務開發及銷售經理張武和NVIDIA中國虛擬現實業務開發及銷售經理周錫健。


他們的發言內容分別包括:基于GPU的人工智能技術的發展和應用(本次重點講述媒體領域的運用),GPU 360度高清視頻技術和NVIDIA開發的虛擬現實輔助設計工具——Holodeck(暫譯為全息甲板)介紹。


一、基于GPU的人工智能技術的發展和應用


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


何老師在這里主要分享了NVIDIA不久之前在美國SIGGRAPH 2017上發布的一些最新消息。


首先是最近二三十年發生的主要技術革命,包括互聯網的誕生、移動互聯網的興起和接下來可能出現的人工智能變革。前兩次變革的成果我們已經看到,然后隨著計算機運算力的提升我們可以實現大數據分析等大規模數據運算,然后以深度學習神經網絡為代表的人工智能技術也逐漸開始運用,進入人們的日常生活,例如智能翻譯、醫療健康、智慧城市等。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


根據一些數據分析,當前全球有三千多家公司正積極投入到人工智能的開發過程當中。到了2020年,機器人在客服服務領域的比例將達到85%。到時機器人將不再僅僅負責咨詢,售后、亦或是導購都會通過機器人來完成。


具體到傳媒領域的應用,人工智能可以實現的場景主要聚焦到視覺和聽覺兩方面。例如神經網絡學習了古代或現代藝術家的畫作之后,就可以模仿這種藝術風格,輸入場景它能夠生成對應風格的畫作,例如把照相機拍攝的圖片轉化為梵高的名作。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


媒體廣告也是合適的應用場景。它可以識別分析各類廣告中商標的辨識度和具體時長,判別廣告投放的價值和回報。實際上愛奇藝已經利用相關技術實現了視頻內容的快速審核,包括視頻畫面、標題、標簽等,實現2分鐘就能上線的速度,人工是無法達到這樣的效率的。以現在的AI識別速度,可以實現對30幀標清視頻中各種物體、人物進行實時識別。


還有動漫影視后期制作,這里需要大量數字內容,它可以根據現有素材去合成需要風格的場景。例如電影里需要一個80年代風格的場景,可以讓計算機學習老照片,然后利用素材生成那種懷舊風格的場景。同樣,電影中大量運用的CG畫面,以前都要通過復雜設備捕捉演員的表情、動作,例如為了制作面部的動作,會在演員臉上貼上很多傳感器來捕捉。但難點之一是捕捉不到眼神,因為眼睛上面沒法貼傳感器。對舌頭的捕捉也很困難,因為舌頭上無法貼傳感器。


為了達到傳神的效果,眼睛舌頭都需要專門制作動畫效果,現在NVIDIA和Remedy公司合作,錄制各種包含人面部表情變化的視頻,通過視頻文本訓練神經網絡,讓CG角色完全可以根據每個人說話的表情,來復現舌頭、面部肌肉和眼神,大大的減少了過去做動漫的工作量。


還有影視愛好者喜歡的4K、藍光電影,盡管獲得4K電視比較容易,但目前4K的片源仍然是比較稀少的,京東方正在利用人工智能大力開發具有超高分辨力的解決方案,能夠將標清或高清視頻轉化成為4K內容。這里就通過深度學習技術對視頻中的細節進行補全,根據學習獲得的各類素材猜測真實的細節,例如毛發的特效等。


語音方面,主要是客服和語音助手。大多數企業目前均采用NVIDIA GPU對語音識別進行訓練,幫助它提升文字、語音識別的準確度。人工智能能夠根據用戶的精確畫像做精確推薦,就消費領域來說,人工智能技術能夠根據用戶在社交平臺上發送的文字和圖片,幫助企業快速了解用戶的喜好,得到用戶的準確畫像。


二、GPU 360度高清視頻技術


張老師主要介紹了英偉達在VR領域提供的一些工具。這些工具可以幫一些內容開發者更快、更高效地利用GPU制作出更好的VR內容。VRWorks SDK能夠從四個方面為VR帶來真實感:360 video、圖像渲染、音效、物理特性和觸感。這次的重點是視頻捕捉部分。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


所謂物理特性和觸感主要就是模擬真實世界的物體帶給我們的感覺。例如一瓶水,顛倒時水面會因為重力而變化,掉到地上會發出聲音等,這些重力、材質、聲音以及觸摸時的力反饋就是可以利用GPU和算法去模仿,讓你感受到同樣或類似的感受。


然后音效,VRWorks Audio致力于模擬真實環境的聲音,體現讓用戶能夠從聲音中感受到環境、聲音的距離遠近等。


圖像渲染。最新的渲染技術主要是可以提高開發速度,原本需要幾個月完成的東西現在可能只要幾個星期。


重點的視頻捕捉主要應用于VR視頻直播或者說360度全景視頻。NVIDIA是與全景相機廠商進行合作,廠商能夠拍攝畫面,采用NVIDIA的SDK進行視頻剪輯。他們去年實現的是2D的全景視頻,今年則是雙眼立體全景視頻,說明計算力有很大提升。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


VRWorks 360 Video SDK(官網免費下載)的特性:(1)支持實時&離線視頻拼接;(2)支持Mono和Stereo方案;(3)最高支持32路的4K視頻輸入。


張老師舉了個例子說明NVIDIA GPU的渲染能力:有一個火車模型,包含1.5億個面,采用上一代GPU,兩片M6000,只能渲染500萬個面,相當于只能看到火車頭前半部分。現在用P6000,然后加了VR SLI、 Single Pass Stereo,整個效能提升了9倍,從之前可以在同一時間渲染500萬個面,變成了4500萬個面。相當于從之前的火車頭,能夠看到列車廂了。再往后走,我們又加了Occlusion Culling的功能,整個效能從最早的500萬個面,直接跳到了1.5億個面。


這樣的一次渲染能力對于CAD設計公司來說很有幫助,這個就體現了NVIDIA GPU的計算能力和專項的渲染加速能力。


三、虛擬現實輔助設計工具——Holodeck(暫譯為全息甲板)


周老師介紹的就是VR輔助設計工具——Holodeck(暫譯為全息甲板)。全息甲板最早出現在《星際迷航》電影里,后來的《鋼鐵俠》、《普羅米修斯》也有類似概念的設備,當然這個并不是電影里的那種科幻設備,而是借助虛擬現實實現類似視覺效果。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


實現全息甲板主要就是利用計算機模擬整個場景的物理效果,所以需要龐大的計算能力。就像幾十年前游戲只能像素點畫面,然后3D游戲,到現在VR游戲,越來越精細,越來越完整。


全息甲板就是要提供逼真的反饋,摸到一個物體提供力反饋,看到場景,聽到聲音。也許還要用人工智能識別你說的話,提供實時生成的360度視頻,在各種感官層面上呈現一個逼真的世界。


NVIDIA的Holodeck就是按照這樣的理念設計的。他們在展臺提供了HTC Vive可以體驗這個應用,VR箘也去體驗了一下,稍后說明具體效果。


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記


Holodeck里面導入了一輛超跑的工程文件(真正的跑車廠商的設計工程文件),它總共有5千萬個多邊形,足夠精細,而Holodeck可以實時生成超跑的物理光照效果,你可以在四周移動查看每個細節,可以透視內部,展開零件,就好像視覺上真的有一輛超跑在你面前。


Holodeck的視覺效果是基于真實物理模型的,它還提供相關的虛擬互動,兩個身處異地的人可以在虛擬場景中進行互動、交流;或者用這個虛擬場景訓練AI機器人,它在VR中訓練獲得一些操作能力,然后直接將數據導入真實的機器人,它就可以在同樣的場景中立刻實現同樣的操作。


還有就是物理反饋,通過控制器去觸碰虛擬物體,它會有對應的反應。


Holodeck的一個關鍵點就是注視點渲染,這個就是VR箘以前也在資訊里介紹過的焦點渲染技術。因為現在的VR場景任何區域都是清晰的,但實際上我們的眼鏡有對焦過程,近處遠處有模糊的地方,這也是視覺深度的一部分體現,而目前的VR沒法表現。這需要眼球追蹤技術,NVIDIA正在研究的注視點渲染,VR顯示技術等多方面提升。


四、媒體問答相關


我們首先問了:基于GPU的人工智能和其他類似產品相比有什么突出的特點?


關于這一點,何老師的回答主要可以概括為兩點內容:一是GPU在編程方面的優勢,包括各種工具鏈、相關的庫和生態鏈體系,因為最早研究人員就是利用GPU做這方面研究,這里積累了工具鏈方面的優勢,并且GPU工具已經發展比較成熟,開發人員習慣于使用這些工具。二是神經網絡發展速度,相關架構變化也很迅速,相對于其他同類產品,NVIDIA GPU適用范圍廣泛,能夠通過對自身的調整適應架構變化,通用性更佳。


然后是關于360度視頻渲染SDK合作的問題,這一點NVIDIA基本是提供開放的工具,軟件可以自行下載。


接著是全景視頻拼接方面的問題:全景相機有多個鏡頭,假設有一個人從一個鏡頭的邊緣過度到另外一個鏡頭的邊緣的時候,人在運動過程當中會變形或者突然消失到突然出現,NVIDIA如何解決這個問題?


這里張老師表示涉及底層算法的部分暫時沒辦法提供確切的答案,主要是與攝像頭時間同步有關,多個畫面幀時間記錄沒有出錯就不會出現這樣的情況。


關于Holodeck多人協作的問題,周老師表示異地協同需要網絡條件允許,本地有一臺強力的NVIDIA機器加速就可以。


然后是Holodeck實際運用,他們表示Holodeck是一個運用到實際工程設計環境的VR工具,是一個通用的平臺,將要服務于現在的制造業、設計領域。它主要是解決了在VR里面實時操作、多人協同的問題。現階段的開發版本,是針對于汽車制造業。但是實際上未來是可以應用于更多有此類需求的領域的,例如建筑行業。簡而言之,這個平臺,不只是為了汽車制造業而打造的,而是旨在應用于更多類型的場景中,讓更多行業領域能夠受益其中。


五、VR箘體驗Holodeck


GPU計算走向AI和VR 英偉達BIRTV媒體溝通會重點拾記

體驗Holodeck的媒體同行


問答結束以后,VR箘就進入Holodeck演示間,工作人員幫我佩戴好Vive頭顯,并在體驗時給我提供輔助說明。


需要說明的是Holodeck還提供了互動用的畫筆工具,VR箘用它畫了一個懸浮在空中的3D籠子,從多個角度觀察效果,確實具有很好的立體感(并不是在平面上畫一個立體感的圖像,而是圖像本身就是實體的),不過因為這是在虛擬空間畫的,沒辦法拍照。


其他體驗的功能包括瞬間移動,可以移動到跑車四周從多個角度進行觀察(因為場地有限,不可能直接跑過去);修改跑車配色;透視鏡(查看內部構造,就是拿在手里的一個鏡子,指哪透視哪);跑車分解效果(跑車的所有零件分開,懸浮在空中);場景切換(查看不同環境下跑車的視覺效果,車身光影變化很贊)。


從體驗來看,雖然Vive頭顯仍然能看出像素點,但整個場景非常逼真,很快就忘記像素點不夠清晰的問題了;然后整體追蹤非常流暢,并沒有讓人感到延遲的地方,雖然VR中長距離移動和操作和現實還有區別,但很快就能上手了;不過我也能感覺到VR場景視覺上的一些差異,就是之前講到的注視點渲染的問題,因為場景沒有清晰度的變化,所以雖然是雙眼立體視覺,仍然感覺視覺縱深比較差,就是畫籠子的時候以為畫的兩條線在同一個平面上,結果轉過去看發現其實一前一后,正面看不出來。


最后,這樣的虛擬現實已經能夠在視覺上以假亂真了,例如跑車零件散開時有個零件正好快速向我彈過來,下意識躲了一下,并且在體驗了二十分鐘以后脫下頭顯,也許是更適應虛擬現實了,覺得現實世界看起來有點不真實(當然這也說明模擬的世界其實在細節上與現實有點差別)。

版權聲明:VR之家(www.poqzge.live)所有原創文章獨家稿件
未經授權,禁止轉載,違者必將追究法律責任。

相關文章

文章點評

相關閱讀

本周熱門文章

推薦閱讀

利盈娱乐城真人龙虎斗