袁東：XR是未來數字世界中最核心的技術

杭州網訊12月18日-20日，2020本站未來大會在杭州盛大舉行。大會以“洞覺未見”爲主題，匯聚了全球最強大腦，期盼以遠見超越未見，去尋找打開未來的鑰匙。

大會上，HTC Vive軟件產品總監，Vive亞太開發者關係負責人袁東在《DL/ML爲XR帶來更浸入式的體驗》主題演講時表示，虛擬現實從2017年和2018年有明顯的下落，但從2019年到2020年，特別是今年的疫情，已經明顯感覺到虛擬現實越來越靠近我們的生活。袁東說非常堅信XR是未來數字世界中最核心、最重要的一款產品。

袁東認爲，未來人類生活可以生活在虛擬中的，通過AI，XR，Blockchain以及最先進的通信技術徹底改變人類的生活。

以下爲袁東演講實錄：

袁東：各位來賓下午好，我是來自HTC VIVE的袁東，首先感謝本站的邀請來到本站未來大會，來到美麗的杭州跟大家分享在XR行業，我們利用AI，利用深度學習和機器學習如何來提升XR的體驗。

我們的品牌是一個比較年輕的品牌，品牌LOGO在一個三角形中，有一個生命的蛋，這個代表人文科技和夢想。那我們的願景是“解放現實的無限想象”。我記得在2016年的時候，當世界上第一款6DoFi的VR產品問世時，那一年非常火熱。曾經我的同事跟我講，他說在2016年在做年終彙報時，我們參加了全國100多場會議，也就是每2個工作日就要參加1個虛擬現實的會議。但虛擬現實就像今天杭州一樣經歷了比較冷的感覺，從2017年和2018年感覺有明顯的下落，但從2019年到2020年，特別是今年的疫情，我們已經明顯感覺到虛擬現實越來越靠近我們的生活。特別是在這過去的3天中，我們聽到了很多行業的嘉賓、大咖分享以後，覺得很多人跟我們的想法還有願景是一樣的。虛擬現實技術，甚至是XR技術會改變我們的生活。

首先我介紹一下我們VIVE的ECOSYSTEM，我們在硬件、軟件、藝術、投資領域都做了很多貢獻，我們非常堅信XR是未來數字世界中最核心、最重要的一款產品。但是我還是要感謝真正在生態中的開發者，因爲沒有這些開發者的話，虛擬現實和XR並不會這麼快進入我們的視野，影響我們的生活。

下面，我想提出一個詞，叫做VIVE Reality，這是我們董事長在西班牙時提出的一個概念，通過這個視頻請大家瞭解一下。

VIVE Reality，我們認爲未來人類生活可以生活在虛擬中的，通過AI，通過XR，通過Blockchain，還有最先進的通信技術會徹底改變人類的生活。爲了實現這些，我們會在下面4個方面實現這些內容和技術，特別這些技術會非常借鑑於AI來實現。下面，我向大家一一闡述這些。

第一個是面部的追蹤，可以說我們在人與人交流時，交流的關鍵是要有面部的表情，特別是眼睛、嘴巴、鼻子，形成一個三角的區域，這個會傳達人與人之間的感情，還有語言。那通過我們的硬件，可以完全模擬，實時模擬人物眼睛的追蹤，還有嘴巴追蹤，甚至可以統一叫做面部追蹤。可

NeosVR利用了我們的開發者套件就可以在虛擬世界中跟他的朋友進行真正的交流，這也可以實現它的表情實時傳輸，在虛實世界中可以化身爲一個虛擬形象。

下面講一下手部追蹤。我相信在座的很多朋友第一次體驗到真正的虛擬現實時，是通過《The Blue》這個遊戲內容。當面前一條巨大的藍鯨還有魔鬼魚遊弋過去時，我當時最初反應是伸開雙手想觸摸它，用手來接觸自然是人類對自然最自然的一種反饋，還有接近。那我們也是利用了深度學習還有機器學習來實現這些追蹤。首先舉個例子，在最早沒有用到深度學習時，我們曾經想利用叫做匹配的技術，來實現手部的交互，當時我們的IT團隊，在北京的研發團隊開發了一個VIVEpaper內容，我們當時和日遊這家公司推出了這個應用。

這個是當初我們技術的Breakdown，當我們在用前置攝像頭識別手的時候，可以看到第三列中間這幅圖，攝像頭會發現一些髒的數據（dirty data），這個會影響攝像頭的判斷，它可能會認爲旁邊這一塊也是人類的手。那我們的團隊就利用了左邊這一欄有兩頁的K&Q紙，來把環境隔開。也就是我只會識別K&Q紙張裡的圖像是不是我的雙手。如果我的雙手進行了一些像翻頁動作、點擊動作時，它就可以打開，還有翻頁，呈現內容。但是我們團隊後來使用了深度學習以後，可以通過實時的camera去學習手部的資料，然後通過這幾個步驟，包括自動去標定、自動識別手部，然後建立起骨骼模型，最終可以在3D空間中追蹤人的手。那利用這個Deep Learning，我們的手部追蹤可以實現不同膚色人的手，左手右手的識別，正反的識別，可以識別6個這樣的既定姿態，甚至可以在空間範圍內識別手的位置信息，可以追蹤手的骨骼模型。我們還推出了可以自定義手勢，比如說你在聽音樂會的時候，伸出了Rock這樣的姿勢也可以定義。

我們通過跟國外的藝術家合作創作了利用手勢的內容，可以看到這個場景是80後非常熟悉的那個場景，當年的時候每個家庭都有一幅這個茶杯，然後一幅這樣上下開門的冰箱。那我是非常渴望能夠再回到童年，去觸摸童年的記憶，手勢識別就扮演了這個橋樑。

下面講Body Tracking，全身的動作捕捉。在虛擬現實中如果想跟朋友交互，身體姿態也是必不可少的。在皮膚的Tracking之前，我想介紹一下我們在2017年美國CES發佈的一款產品，叫Web Track，主要功能是在我們追蹤功能下綁在任意物體上，使任意物體被追蹤到。開發者非常有創意，簡單通過了一些開發之後，短時間內就創造出很多有意思的內容來。像在美國就有消防局用Track來模擬消防的演習。在歐洲的話，歐洲盃一些球員也利用我們的Track製作的內容來進行足球訓練。

這是現在好萊塢非常流行，甚至是主流的一種製片模式，虛擬製片，利用Track來進行焦距的變換，還有虛擬攝像機的定位。右下角是我們在今天很多shopping mall裡看到的VR線下體驗，像一把真槍在現實影射，讓你體驗射擊的快感。

VIVE sync團隊是跨國團隊，設計團隊在舊金山，engineering團隊在臺北。因爲疫情原因，交流比較困難，就在想怎麼讓團隊合作更加融洽，就創造了VIVE sync軟件，它就是在虛擬現實中協同一塊進行工作，可以支持最主流的辦公文件格式，甚至可以在虛擬現實中同時review一個3D模型，這對產品同學會非常有吸引力。但我們發現一個很大的問題，在一開始交流過程中，人體很難被模擬。因爲在虛擬現實中我們只有一個頭盔和兩個手柄，模擬的人體非常不自然。我們團隊通過機器學習的方法來改善這一塊，這裡有一個IK（Inverse Kinematics），利用人有限身體節點反向模擬人體。其中上面兩個，左邊是人的正常的活動姿態，右邊是我們想實現的通過機器學習和我們的方法，能夠模擬出人的身體姿態。當然這兩個無限的接近，就證明這樣的模擬是有效的。

我們通過了很多的training數據，通過機器學習進行training以後，再通過後期美術的優化和加工達到了效果。這個視頻展示了我們怎麼training data，可以看到我們用的硬件只有兩個頭盔和兩個VIVE controller，分別綁在肘部，用兩個外部的controllers模擬手的姿態。通過這樣的訓練，得到了人上半身非常精準的姿態數據。

經過機器學習和美工加工，可以看到我們與其他通過沒有經過機器學習的模擬IK的效果對比。左邊是我們通過機器學習得到的模擬效果，右邊是普通情況下模擬的人上身的效果。可以看到右邊容易出現穿模不自然的狀態。在VIVE sync軟件裡面，就有一個更好的對比。

在虛擬現實中，我們不僅想把人最自然的姿態、人最自然的表情映射進來，我們還希望能增強人在虛擬現實中對現實的認知。我下面想向大家介紹的是通過我們的技術如何增強人對世界的感知，甚至是對自我的感知，能夠達到增強現實的效果。

通過Deep Learning的技術，在2D方面可以實時識別很多物體，而且識別的物體數量會繼續增加。這樣比較好的應用，比如我在玩VR的過程中，我的沉浸感非常強，而且戴頭盔就沒辦法看到外界的東西。但如果在你旁邊走過去的親朋好友，對他們來講你其實是一個非常危險的人，因爲他不會預測你未來會做什麼樣的動作傷到他。這時候我們通過對人物的識別，就會實時反映出來，告訴你前面有一個人或者小貓小狗走過去，你就會注意到，不會傷害他。對於3D的識別，我們通過前置攝像頭進行環境掃描以後，會把空間所有的信息做內部處理，識別出3D物體位置和3D物體大小。通過這個視頻，可以看到一個簡單的應用。這個demo在臺灣辦公室錄製，可以看到通過前置攝像頭掃描完了桌椅以後，生成數據，可以識別出這個是否桌椅，就可以做3D、MR內容的研發。

未來，我們還想更進一步通過深度學習和機器學習，來增強這些方面的體驗。比如，我們會識別出在環境中燈光的來源，就像我今天站在這裡的時候，我通過VR也能學習到我的光源是從我正前方的鎂光燈射過來，還有它的方向，甚至它是什麼樣的光源，是點光源還是散射光源等等。

2020年是一個令人難忘的一年，因爲這一年發生了很多的改變，特別是新冠肺炎疫情讓大家跟很多親人沒有辦法像之前一樣那麼方便地團聚和工作。但是在世界各個角落通過虛擬現實技術，通過我們的一些技術，還是有很多熱愛生活的人，他們依然在虛擬現實中得到了現實方面的體驗和滿足。

我們相信未來的XR技術，加上真正的AI技術和人機交互技術，也會讓人們在辦公中得到真正的像現實中一樣的便捷。

從虛擬現實真正走向大衆的2016年開始，我們跟本站一直有非常密切的合作。在我們的內容平臺已經有兩款本站的內容上線，我們未來會跟本站伏羲繼續在技術和產品上合作，也非常感謝本站和本站伏羲的邀請！最後預祝這次大會圓滿成功，謝謝各位！

2020本站未來大會由杭州市人民政府和本站公司聯合主辦，杭州市商務局、杭州市經濟和信息化局、杭州市濱江區人民政府、北京本站傳媒有限公司以及本站（杭州）網絡有限公司承辦，中國移動總冠名。大會將進行三天的頭腦風暴、涵蓋了預見未來、新基建、人工智能、區塊鏈、潮商業、UP生活以及和文化等論壇。