元宇宙的雛形？揭秘Meta絕密的現實實驗室_元宇宙:Metaverse.Network Pioneer

編者按：盡管去年Meta收入首次出現了下降，盡管遭遇了通貨膨脹和經濟低迷，但該公司仍義無反顧地對元宇宙押下重注。那么，他們的努力都收到了什么成效？這些項目是不是都能實現？Meta這場實現虛擬世界愿景的持久戰究竟能堅持多久？這一切都隱藏在那個絕密的現實實驗室的背后，我們就來看看里面都有什么吧。文章來自編譯。

馬克·扎克伯格就坐在我對面，用手指的輕微運動控制著屏幕上的物體。輕敲，滑動，捏合。他的手腕戴著一塊粗大的腕表，看起來很像一塊實驗性的智能手表：這就是Meta對我們未來與AR、VR、計算機以及其他一切互動的愿景。

就在準備演示這款神經腕帶之前，扎克伯格說：“它跟智能眼鏡配合得很好......其實我覺得它適合一切。我認為在未來，人們會用它來控制自己的手機和電腦，以及其他東西......你只需要帶上一條腕帶。”他的手和手指的動作似乎很輕微，幾乎像是一動不動，有時幾乎都看不見。

神經輸入設備只是Meta除了VR以外的戰略的一部分，而這些腕帶是我第一次訪問位于華盛頓州雷德蒙德的MetaRealityLabs總部時看到和試過的技術之一。此番探訪是Meta第一次邀請記者參觀其未來的技術研究設施，這些設施就坐落在Facebook硅谷總部以北的幾座不起眼的辦公樓內。

位于華盛頓州雷德蒙德的MetaRealityLabs入口。

上次拜訪雷德蒙德時，我試用了微軟的HoloLens2。我的Meta之旅也有類似的經歷。這一次，我試用的是MetaQuestPro，這是一款將VR和AR融合到一臺設備之內的頭戴設備，扎克伯格要靠它去推動自己的雄心壯志，實現更聚焦于工作的元宇宙戰略。

Meta最新的Connect大會新聞主要的關注點還是QuestPro，以及與微軟、Zoom、Autodesk和埃森哲等公司建立的新的工作伙伴關系，目標是讓Meta與微軟的混合現實雄心珠聯璧合。

元宇宙游戲開發工作室Flying Sheep Studios完成約120萬美元融資:金色財經報道，iCandy Interactive (iCandy)子公司、元宇宙游戲開發工作室Flying Sheep Studios完成約120萬美元融資，德國聯邦經濟事務和氣候行動部參投，旨在構建基于NFT的免費社交大型多人在線元宇宙游戲《Star Life》。Flying Sheep Studios于2014年成立于德國科隆，使用HTML5構建元宇宙手游并與樂高、芭比娃娃和夢工廠等品牌達成合作關系。（vulcanpost）[2023/3/20 13:15:18]

我還得看看他們的一些實驗性研究項目。雖然這些項目還沒有為日常使用做好準備，但可展示Meta下一步計劃的確切目標。這些還很遙遠的項目，以及更昂貴的QuestPro頭戴設備，它們的出現在對于Meta來說是一個奇怪的時刻，這家公司已經投入數十億美元到元宇宙的未來，但其最受歡迎的VR頭戴設備Quest2的銷量仍然不到2000萬。感覺未來還沒有完全到來，但像Meta這樣的公司已經為此做好了準備。

我與其他幾位受邀記者一起體驗了若干離奇古怪的演示。那感覺就像我在探索威利·旺卡的巧克力工廠。但我也得到了這樣的信息，即雖然QuestPro看似是Meta硬件走向新方向的開端，但它離最終目標還很遙遠。

MetaRealityLabsResearch，研究人員在演示用EMG腕帶測量運動神經元

神經輸入：會適配人的腕帶

MetaRealityLabs的首席科學家MichaelAbrash一遍又一遍地告訴我這個詞：“協同適應性學習”。他說的是Meta自2019年收購CTRL-Labs以來曾多次討論過的那款腕帶。這是一個很難理解透徹的概念，但在幾位訓練有素的研究人員的展示下，我總算對此有所了解。戴著連接到電腦的笨重腕帶，佩戴者只需動動手指，即可讓卡通人物在無休止的游戲里面來回走動。然后，他們的動作似乎停止了。他們的動作如此輕微，以至于他們的手看起來幾乎都沒有動，但他們其實還在玩著游戲。這款腕帶用EMG來檢測細微的肌肉沖動。

Cryptocom Capital宣布與GameFi元宇宙平臺Arcade達成合作:3月2日消息，Cryptocom Capital 宣布與 GameFi 元宇宙平臺 Arcade 達成合作，將領投其新一輪融資。Arcade 官方稱其團隊成員來自無聊猿手游《Apes vs. Mutants》的開發者團隊。[2022/3/2 13:32:10]

RealityLabs神經運動接口總監，CTRL-Labs前首席執行官ThomasReardon在此次演示中發表了演講。他表示，基于反饋的訓練過程可以逐步讓腕帶佩戴者減小動作幅度，最終可以只用一個運動神經元。最終結果看起來有點像讀心術，但其實是通過巧妙地測量展現運動意圖的電脈沖來完成的。

馬克·扎克伯格用電腦演示一種神經輸入腕帶

扎克伯格在展示腕帶的時候，用了一組類似的動作，也很輕微，但更明顯。腕帶的控制感覺與基于觸摸的觸控板或空中鼠標有點類似，能夠識別靠壓感的捏合、滑動和手勢。

在描述EMG和神經輸入技術的目標時，Abrash表示：“從長遠來看，我們希望能有一個像與物理世界打交道一樣自然和直觀的界面。”

打字如何實現還沒有出來。根據扎克伯格的說法，要達到能正常打字的速度和保真度需要更高的帶寬：“現在比特率低于快速打字的頻率，但首要任務是先得讓技術可行。”到了一點時候，目標是讓控制能做更多的事情。Meta認為這項技術可能需要五到六年的時間才能面世，感覺就太久了。但如果這個時間框架保持不變的話，它可能會與Meta預計的最終定型版AR眼鏡一起面世。

EMG腕帶看起來像一塊巨大的智能手表原型，那一段段的表帶內置了傳感器。

扎克伯格說，腕帶是智能眼鏡的關鍵，因為我們不想把控制器隨時帶在身邊，而語音和手勢跟蹤還不夠好。但最終他計劃讓這些類型的控制完全適用于任何設備，不管是VR還是其他設備都能識別。

Ezel.life與藝術家Frida Kahlo家人達成合作，將提供其元宇宙預覽:11月27日消息，數字資產公司Ezel.life宣布與藝術家Frida Kahlo的家人建立獨家合作關系，在元宇宙中展示她不為人知的故事。該項目的預覽將于巴塞爾藝術周和邁阿密藝術周活動期間在Sagamore Hotel舉行。這項活動將包括Frida家族邁入數字世界的第一步展覽，展示來自她家人的獨家視頻、提供元宇宙內的紅房子（Frida的家庭住宅）預覽，以及一個NFT。（Globenewswire）[2021/11/27 12:36:00]

這些控制看起來會牽涉到一種完全不同類型的輸入語言，可能與手機或VR控制器上的現有控制相似，但會逐步適配人的行為。人們似乎需要一段時間才能學會使用它。

Reardon說：“大多數人都會知道很多關于控制上的事情，比方說如何在這個世界進行互動，如何移動自己的身體等。他們會理解簡單的系統，比如字母。那就是我們的契合點，然后我們做這件事，這個非常深度的思想叫做共同適應，按照這個想法，人與機器將攜手并進，沿著通往我們的目標之路共同學習，這個目標我們稱之為純神經界面。我們會利用神經運動接口將神經解碼與運動解碼融合到一起。與其說這是一種新的語言，不如說這種語言會在機器和人之間進化，但它的開端是人們今天所做的事情。”

演示反饋如何會讓腕帶感知到幅度越來越小的運動。

扎克伯格補充道：“共同適應這個東西很有深度。你沒法與物理鍵盤共同適應。移動鍵盤的話有涉及一點點共同適應，比如你出現了一點拼寫錯誤也沒問題，它會預測，但共同適應遠不止于此。”

我自己沒有戴上或試過神經輸入腕帶，但我能看別人是怎么用的。幾年前，在CES上，我確實略為上手過一種不同類型的腕戴式神經輸入設備，對此類技術的實際工作原理算是有了一點感受。它與我一年前試過的Nextmind的頭戴式設備不同，后者是用大腦信號來衡量眼球運動。

使用Meta腕帶的人似乎很容易就能做出動作，但那些都是基本的滑動游戲控制。這種控制設備如何才能配合AR眼鏡執行更關鍵的日常使用？Meta還沒做出來這種效果：根據扎克伯格的說法，目前的目標是讓技術能用，并展示自適應學習如何可以逐步縮小反應的動作幅度。我們可能需要一段時間才能在日常設備上看到這項技術，但我想知道的是，Meta怎么將這些原理應用到不是基于神經輸入，而是靠機器學習輔助的那種控制上。在最終目標實現之前，我們能看到改進的控制器或手勢跟蹤組合嗎？很難說。但這些腕帶目前還是很遙遠的賭注，不具備指日可待的可能性。

小米相關負責人：小米關注元宇宙周邊相關機會:11月23日，小米相關負責人回應公司對于元宇宙的布局。公司表示，小米關注元宇宙周邊相關機會，已經進行了不少相關技術儲備，在手機、視頻、顯示等方面都進行有相關投入，進行過相關準備。（e公司）[2021/11/23 22:12:15]

戴著一個支持空間追蹤的頭戴設備，我分辨不出它制造的音效與房間里的揚聲器的區別。

超真實的3D音頻

我嘗試的第二組演示，展示了下一代的空間音頻，其實就是Meta在2020年談到過的研究——該公司原先計劃在疫情爆發之前做現場展示的。空間音頻已廣泛用于VR頭戴設備、游戲機和PC以及各種日常耳機，如AirPods的上面。Meta打算做的不僅僅是讓音頻看起來似乎來自不同方向，而是以讓它看起來像是真的來自你自己房間的方式傳播聲音。

我們去參觀了該實驗室的隔音消聲室，那是一個帶有泡沫墻的懸掛空間，可以阻擋聲波的反射。對方向我們展示了一系列的音箱，那是用來幫助研究聲音是如何傳播到人的耳朵，并探索聲音在物理空間的運動方式的。之后，我們體驗了兩個展示聲音的真實感的演示。

在Meta的消聲室內，他們用了一系列的音箱幫助制造空間音頻。

其中一個演示是我坐在擁擠的房間里，耳朵戴上麥克風，然后項目負責人在我周圍走動，演奏樂器并在不同距離發出聲音。錄制了40秒之后，項目負責人用頭戴式耳機給我回放了那段音頻……里面有些地方聽起來就像有人在房間里面我的周圍走動一樣。我認為，這種效果之所以令人信服是因為音頻回聲：運動在房間的空間里面產生的那種回蕩的感覺。

第二個演示我是在一個放有四個音箱的房間里面。他們讓我戴上一副3D空間追蹤耳機，然后確定聽到的音樂是來自音箱還是我的耳朵。我失敗了。音樂的播放似乎毫無瑕疵，我在逛來逛去的時候不得不摘下耳機來確認聲音的來源。

David Gan成立風險投資公司，尋求連接CeFi、DeFi和元宇宙:9月6日消息，火幣資本前高級投資總監David Gan成立風險投資公司OP Crypto Capital Management Ltd.，旨在將中心化金融（CeFi）、去中心化金融（DeFi）與元宇宙（Metaverse）聯系起來。該公司獲得Huobi Ventures、Galaxy Digital旗下Vision Hill、Bybit投資部門Mirana Ventures、The Brooker Group和Digital Currency Group支持。該公司的基金目標是2500萬美元左右的軟上限，但被超額認購，尚未確定的金額“最終應該遠高于最初的軟上限”。OP Crypto Capital旨在幫助創始人在早期階段構建項目。（CoinDesk）[2021/9/6 23:04:39]

按照MichaelAbrash在2020年的說法，這項技術不像神經腕那樣，距離成為現實還很遙遠。Meta的計劃是在手機攝像頭的幫助下，對3D音頻做出個性化的調整，就像蘋果剛剛給最新的AirPods增加的特性一樣，但多了一項逼真的房間映射的額外好處。Meta的目標是最終讓出現在任何空間內AR投影聽起來都令人信服：這個目標是很有意義的。一個由全息物體組成的世界需要給人以與現實錨定的感覺。盡管，如果未來的虛擬對象聽起來感覺像我試過的演示一樣令人信服的真實的話，那真實聲音和虛擬聲音可能就很難區分，這會引起一大堆別的存在主義的問題。

戴著VR頭顯，與電腦屏幕上的頭像說話：與虛擬角色的對話太逼真了，以至于感覺就像和他們在同一個房間里面一樣。

與逼真得像照片一樣的頭像交談

我站在一個黑暗的空間里，戴上特制的面部追蹤VR頭顯，我對面出現了一張似乎被燭光照亮的非常逼真的臉龐，但其實那人身處Meta位于匹茲堡的RealityLabsResearch辦公室。我正在體驗CodecAvatars2.0，它憧憬的是一個關于虛擬世界中的化身如何變得逼真的未來。

究竟有多逼真？很逼真。逼真到不可思議：我站得很近，看著對方嘴唇的動作、他的眼睛、他的微笑和皺眉。感覺就像和一個超級逼真的PlayStation5游戲角色交談，然后一遍又一遍地意識到這是與真人的實時對話，以虛擬形象的形式進行。

我想知道面部跟蹤到底有多好或局限性有多大：畢竟，我早期試用QuestPro的時候就發現了用面部跟蹤的局限性。我讓對面的Jason的虛擬角色做出各種表情，他照做了。他說我是個話癆，這讓我發笑。環境的親密性讓我感覺我必須靠近一點交談，那感覺就像在山洞或昏暗的酒吧里一樣。我想就有那么逼真吧。最終，這種逼真感覺開始好到以至于我認為自己在進行真正的對話了。感覺就像我在自己的視頻游戲的過場動畫里面一樣。

不過Meta并不認為這會很快應用到日常的頭戴設備上。首先，獨立的VR頭顯的處理能力有限，房間里面的頭像越多，圖形處理的負擔就越重。此外，跟蹤技術還不適用所有人。

嘗試與與一個InstantCodecAvatar聊天，用手機掃描人臉即可創建出來的。

我嘗試的第二個演示有一個更精簡版，上面展示了一個頭像，它是通過用名為InstantCodecAvatars的新技術，通過手機攝像頭進行面部掃描創建出來的。這張臉看起來比我自己用過的大多數掃描都要好。但我感覺自己只是在跟一個僵硬的、只能輕微移動的頭像說話。最終的結果不如Meta現在使用的卡通化皮克斯式的頭像那么流暢。

用一系列攝像機對一位演員提前進行3D掃描。我看到之后渲染的化身被疊加了一層數字服裝。

最后一個演示展示的是一個全身的化身，但不是直播的或交互式的。得先用一系列攝像機在一個特殊的房間對演員預先進行3D掃描。這項演示的目的是展示如何將數字化衣服逼真地披在化身上。從近距離看結果相當不錯，但效果與逼真的視頻游戲類似。他們似乎是在試水有朝一日在虛擬世界里面如何出售數字資產，但當前任何一款頭戴設備都還不支持這種。

我的運動鞋用Meta新的捕捉技術進行了3D掃描，只需要手機即可。

對我的鞋子進行3D掃描

就像魔術表演里面的志愿者一樣，我被要求脫下一只鞋子進行3D掃描實驗。我的鞋子最后被放到桌子上，只需用手機攝像頭掃描——不需要激光雷達。大約半小時后，我就可以開始用AR和VR看自己的鞋里。與空間音頻一樣，3D掃描已經很普遍，有很多專門做將3D資產導入VR和AR的公司。Meta的研究目標是用一種所謂的神經輻射場技術，從而讓各種手機攝像頭掃描也能取得更好的結果。另一個演示將保真度又提高了一個檔次。

我的鞋被掃描后AR顯示的效果。

有幾個東西是預先掃描好的，顯然需要幾個小時才能準備好，它們捕捉到了復雜3D物體的光模式。在VR頭顯設備上看到的結果給人留下了非常深刻的印象，包括一只泰迪熊，幾顆仙人掌等的細節非常逼真。卷曲的皮毛似乎不像大多數3D掃描那樣融合到一起或呈磨砂裝；相反，呈現出來的效果是蓬松的，似乎沒有角度。仙人掌上的刺纖毫畢現。

在我在RealityLabs嘗試過的所有演示當中，這也許是最不能令人叫絕的。但這僅僅是之前已經在AR和VR演示中有了許多令人印象深刻的3D掃描和渲染的體驗。目前還不清楚Meta的研究示例在日常當中實現起來的實時性或容易程度如何，所以很難判斷該功能的有效性。可以肯定的是，如果將對象掃描成文件兼容的虛擬版變得更加容易的話，那就將成為任何公司實現統治虛擬世界這個野心的關鍵。大量企業已經瞄準了線上銷售虛擬商品，下一步是讓任何人都可以輕松地對自己的東西做這件事。同樣，這個也已經有在手機上使用的可能，只是看起來還沒有那么好……還差點火候。

首席科學家MichaelAbrash在一堆VR和AR原型頭顯前與我們交談。

這一切意味著什么呢？

當我結束在Meta一天的參觀，在停車場去打Lyft時，我腦海里面浮現的一個更大的疑問，是這一切匯總起來意味著什么呢？Meta擁有全新的QuestPro頭戴設備，這是一款將AR和VR融為一體的尖端設備，它為通過面部跟蹤控制頭像提供了新的可能性。

未來的其余部分仍然是一系列的問號。Meta野心勃勃，想要在元宇宙開疆拓土，但通往那些地方的道路都還沒有鋪設完畢。神經輸入、AR眼鏡、聲音、物體和體驗的虛實融合？這些可能還需要幾年的時間。

盡管去年Meta收入出現了下降，盡管遭遇了通貨膨脹和經濟低迷，但該公司仍義無反顧地對元宇宙押下重注，這些項目是不是都能實現？Meta這場實現虛擬世界愿景的持久戰究竟能堅持多久？

Meta的VR太陽鏡原型，是該技術的“北極星”目標。

一天參觀結束，當我們再度聚在一起時，Abrash又一次把我們帶回到同一個主題，即沉浸式計算最終會成為一場真正的革命。早些時候，我們曾在了一堵掛滿了VR和AR頭顯的墻邊駐足，這是Meta制作的所有實驗原型的獎杯陳列柜。我們看到了有混合現實的，有的則是連著顯示器，旨在展示看到的外部的樣子，還有的非常小，似乎是要成為太陽鏡一樣的夢想VR設備。

這讓我想到了智能手機進入主流之前走過的手機設計實驗的漫長道路。顯然，元宇宙的未來仍在路上。雖然現在大事物可能正在出現，但AR和VR未來真正的“智能手機”在很長一段時間內可能都不會出現。

站在頭顯陳列墻上，Abrash說道：“有一點我非常確定，那就是20年后，這將是我們互動的方式。它將以我們以前從未做過的方式去做事情。但它的真正問題是，要做到這一點非常非常困難。”

Tags：METAETAMET元宇宙MetaxyMETAFLIPMetaverse.Network Pioneer目前可以掙錢的元宇宙

USDC