科幻小說《雪崩》是無比超前的。它出版的 1992 年,英特爾還在制造 486 系列處理器,直到次年,586 奔騰處理器才被推出。
在小說中,尼爾·斯蒂芬森創造了一個并非以往想象中的互聯網——元宇宙(Metaverse),在這個與現實世界緊密聯系但又相互平行的時空里,人們可以借由各自的「化身」在其中交流和娛樂。
Facebook 改名 Meta 后,越來越多的人才知道,原來這本科幻小說是「元宇宙」這個詞的起點。一瞬間,一個書里并沒有準確定義的概念,30 年后開始成為了商業世界里火爆的新邊疆。
只不過,在目前看起來比較接近「元宇宙」的 VR 行業里,即使設備銷量逐漸攀升,但分辨率低、設備笨重、3D 眩暈等問題還未完全解決。元宇宙看起來是個性感,但還有著眾多技術問題無法解決,還非常遙遠的概念。
「從 Utility(效用)到 Reality(現實),我認為元宇宙是有發展路徑的,并且早晚會進化到改變我們現實世界的程度。」王奇所供職的公司聲網,最近就開啟了「元娛樂」的新探索,他成為了這條業務線的負責人。
這次他們在實踐中,對于元宇宙下一步在技術上應該去解決什么這個問題,有了新的思考。
01
「元娛樂」里,聲音
技術是關鍵的下一步
「現在所謂的那些元宇宙的應用,離還原人類的真實體驗還差得特別特別遠。」
根據 Sensor Tower 2022 年的報告,自「元宇宙」概念爆發以來,平均每天都會新增一個「元宇宙」軟件,其中,元宇宙社交類軟件更是層出不窮。在一個個炫酷的 demo 里,我們似乎離再建一個虛擬現實很近了,但王奇并不這么認為。
印度尼西亞央行:數字盧比貨幣可以在元宇宙中使用:12月5日消息,印度尼西亞中央銀行(BI)行長Perry Warjiyo周一表示,數字盧比貨幣未來可用于購買元宇宙中的產品。
?BI上周推出了其數字盧比,此前世界上許多中央銀行都在開發所謂的中央銀行數字貨幣(CBDC)。?(財聯社)[2022/12/5 21:23:14]
2020 年 4 月,《堡壘之夜》里舉辦的「ASTRONOMICAL」虛擬演唱會吸引了 1230 萬觀眾,玩家在霓虹燈束散射中舞動,很多玩家表示仿佛經歷了一場真實的夢境。絢麗的布景渲染了人們對技術的最高想象,然而實際上,觀眾只是在「看」一場演唱會。算力等客觀因素限制下,多人同屏和物理交互往往就如魚與熊掌,玩家在一個「眾人場」里能得到的交互體驗其實很低。
《堡壘之夜》中的「ASTRONOMICAL」虛擬演唱會
「我們的元娛樂其實并不等同于元宇宙娛樂」,聲網元娛樂業務線負責人王奇在接受采訪時說,「我們更接近下一代的娛樂這個概念。」在他看來,現有的技術和體驗還不能滿足人類超越現實的需求,首先要思考的或許是如何去還原一個真實的世界。
5 月 16 號,聲網發布了「元娛樂」四大解決方案,其中,他們對音頻的處理十分惹眼。
在發布會上,聲網元語聊產品經理楊帆展示了一個多人會議的場景:代表每個參與者的頭像分布在不同區域,而從其他人說話的聲音信息中,能體會到明顯的方位感。
六福珠寶將舉辦元宇宙告白大會,并發行三款NFT數字藏品:4月28日消息,六福珠寶將推出3款NFT數字藏品,包括六福珠寶全球代言人李易峰粉絲專屬的“數字蜜蜂NFT”、520告白專屬“1314克拉數字鉆戒NFT”及婚嫁新人的“愛∞數字婚書NFT”。“數字蜜蜂NFT”將于5月4日限量發行520個。“1314克拉數字鉆戒NFT”將于5月13日至31日發起的“元宇宙告白大會”活動中空投6666份。“愛∞數字婚書NFT”則需在4月29日至5月31日購買指定婚嫁首飾滿6666元可有機會獲得。(財報網)[2022/4/28 2:37:00]
這項技術被稱作 3D 空間音頻,貫穿在他們的元語聊、元 K 歌、元直播等方案里。
當用戶操作 Avatar 在虛擬場景里移動時,聽到的音效會根據 Avatar 的頭部及臉部朝向、聲源角度和距離不同而變化。比如,在玩家進入一個元語聊的房間時,會聽到房間內正在播放的背景音樂,隨著位置的移動、墻壁或卡座等障礙物的遮擋,玩家所聽到的聲音也會相應地逐漸清晰或減弱。
這項功能的實現,依賴于聲網基于 HRTF 相關傳遞函數、心理感知聲學、聲源指向模擬等算法自研的一整套 3D 聲場渲染引擎。通過這套渲染引擎,可以動態模擬空間中任意角度、朝向的聲音在傳遞到左右耳時聲音發生的變化。他們還可以通過聲學建模的方式,模擬任意角度的音源方向導致的音色差異。
長安歐尚汽車上線元宇宙數字藏品,限量666個:1月30日消息,長安歐尚汽車官微消息,歐尚Z6全球限量666個元宇宙數字藏品已于1月29日上線,獲得該數字藏品可享受歐尚Z6的優先提車權等權益。(鞭牛士)[2022/1/30 9:22:43]
聲網的空間音頻技術
「這其實在業內還沒有幾家能夠做到」,王奇談到這些技術時頗為自豪。據他介紹,聲網內部有一個音視頻實驗室,專門研究各種跟音頻和視頻相關的算法,其中就包括 3D 空間音頻,此外還有人聲模糊、模擬現實中空氣衰減等技術。
在這些聲音技術的加持下,玩家操作 Avatar 不僅可以「移步換景」,還可以「移步換聲」,可以移動到其他玩家身邊開啟暢聊,也能憑借人聲模糊技術既不受周圍人說話聲音的干擾,又保留環境氛圍,在技術上極力還原現實世界中的真實聽覺體驗。
模擬現實其實十分困難的,因為對于一個玩家來說,一些很細微的「不合常理」都可能影響沉浸感。那些「不合理」會時時刻刻提醒玩家,這不是一個真實的世界。因此對于營造一個「栩栩如生」的虛擬世界來說,要不斷地打磨環境,細化交互的顆粒度。
當然,這對技術實現來說并不容易。
除了聲音的擬真外,聲網解決方案中同樣有對虛擬環境的擬真。在元語聊和元直播中,聲網還基于 3D 引擎建模創建各種場景,能模擬碰撞、重力等物理效果。面部動捕技術、語音驅動嘴型的技術,則讓玩家與 Avatar 的表情匹配,實時表情與語音匹配。
而為了讓玩家在選擇虛擬形象時不受性別限制,他們還將開發聲紋變聲技術,在聲音上實現「any to any」的模擬。萌妹子選擇大叔形象后,也能在實時交流中擁有與虛擬形象匹配的低沉男音。
上海證券分析師:元宇宙仍處于“編織故事、描繪藍圖”的階段:12月14日消息,上海證券分析師在研報中表示,元宇宙仍處于“編織故事、描繪藍圖”的階段,充裕的市場想象空間會讓熱度在短期內持續,擁有游戲業務的互聯網頭部公司如騰訊、網易等將占據先天業務優勢。
研報中指出:“部分游戲作為元宇宙概念的先發領域,通過VR實現用戶的沉浸式虛擬體驗,但目前離實現元宇宙愿景尚有距離,處于產業探索的極早期階段。今年重提元宇宙是基于技術進步和市場對于互聯網下階段形態的探索,也是數字社會發展的必然結果。作為互聯網的未來形態,趨勢已起,階段性落地可能在未來逐步改變行業。”(證券日報)[2021/12/14 7:37:37]
影響沉浸感的一大因素還在同步性與低延遲,就像《堡壘之夜》的那場虛擬演唱會,如果沒有上千萬人的同步參與,或許也不會如此轟動。
在那場盛大的虛擬演唱會中,玩家也被分到了上萬個服務器上,才讓千萬量級的同步參與得以實現。而在實時通信和互動上,聲網作為 RTC 領域全球頭部企業,有著行業領先的技術優勢。
圖注:聲網的 MetaKTV 方案
聲網的 SD-RTN?,是全球規模最大的軟件定義實時網,官網上介紹,這項技術可以實現百萬人大頻道的實時互動。依靠基于 SD-RTN?的解決方案架構,聲網打開了萬人云蹦迪、在線上造一個超級夜店的想象。
彭博社:手機制造商HTC正借助元宇宙的東風卷土重來:11月9日消息,彭博社報道,昔日智能手機大廠HTC正借助元宇宙的東風卷土重來,該公司上月發布了名為Vive Flow的新型VR頭戴設備,讓投資者看到了押注機會。周一,該公司股價上漲10%,10月初以來已累積上漲127%。HTC一度成為最大的智能手機品牌,但2015年以來持續處于虧損狀態,2020年收入僅剩不到2億美元。全力投身VR以來也始終未見起色,最近Facebook宣布進軍元宇宙后,HTC再次受到關注,但炒作之下,其業績能否回暖仍有待考驗。(彭博社)[2021/11/9 6:40:38]
它的合作伙伴 XRSPACE,也在近期推出了全球首款音樂元宇宙 PartyOn。利用聲網的實時音視頻技術和 XRSPACE 自研的表演同步技術,PartyOn 實現了 50ms 以下的同步誤差,不僅讓讓眾多玩家享受低延遲的同步 K 歌,還讓人聲、歌曲和 Avatar 肢體表演實時匹配。
這些「擬真」的技術賦能了更沉浸的體驗,王奇說,「3D 空間音頻,包括聲紋變聲、面部捕捉還原,所有的這些技術,它本身都是跟元宇宙的發展相關的」,「我們本身也是看好元宇宙發展的」。
02
通過提升可用性,
聲網在瞄準
下一代的娛樂生態
陳際陶是聲網元直播的產品經理,她在發布會上展示的實時面捕功能,可以在直播中同步玩家單邊眨眼、挑眉、眼球轉動、吐舌頭等動作。
這項技術似乎已經在各種 AR 換臉軟件中得到了很好的應用,但對他們來說其實并不容易。她介紹說,「我們要解決移動端的普通單目攝像頭的問題,要解決光源的影響,光亮的陰暗對于人臉關鍵點判別的難題,以及說眼鏡遮擋對于眼部的識別的問題。」
這也引出了聲網技術解決方案的另一個特點——強兼容性。
圖注:聲網面偵技術能完成對高級表情的捕捉
作為一家技術服務提供商,聲網并不是產品的最終「締造者」,他們的責任在于對接每個場景內盡可能多的客戶,提供底層和通用的技術,讓客戶能在他們提供的技術服務基礎上創造價值。某種意義上來說,他們的最終目標在于客戶的使用便利與商業成功。
「大家用過蘋果應該都知道,如果在不使用 iPhone 的情況下使用 Airpods,很多體驗其實你是用不了的。」楊帆在介紹空間音頻技術時,同樣提到了聲網技術服務的獨特性,「我們的跟他們的區別在于,蘋果是傳感器硬件加上軟件算法,我們是純軟件的,安卓端、iOS 端、 PC 端,多平臺都能支持。」
這在他們的「互動游戲」解決方案中也有體現。聲網為它的技術集成方案適配 3 萬多個移動終端,幾乎覆蓋所有中低端機型。昌瀟瀟是聲網互動游戲的產品經理,他補充說,「像在海外,特別是在一些落后的地區,市場上一般情況下都是千元機,我們在中低端機型的適配這一塊兒是非常看重的。」
聲網對元娛樂業務的探索同樣是在做適配。
聲網創始人趙斌曾說,「實時音視頻是一種通用能力,作為服務商,需要持續推動能力與具體場景的碰撞與融合」。實際上,聲網開展元娛樂業務并非沒有依據。
聲網連續多年蟬聯全球實時互動解決方案市場份額第一,全球注冊應用超過 40.5 萬,活躍客戶數量達到 2670 家。在這些客戶中,很大一部分來自于社交娛樂領域,比如一些國民級別的在線 K 歌應用。
這些客戶原本只是采購了實時音視頻服務,但在跟客戶的溝通中,聲網團隊發現了這些客戶的普遍痛點:沒有時間和精力投入研發;一個平臺單獨去談音樂版權合作時門檻太高,都要千萬打底。
去年 9 月,聲網推出了一個叫「K 歌房」的解決方案,由聲網提供 K 歌互動場景的研發,集中解決音樂版權的問題。
聲網與數字音樂內容提供方合作,為開發者提供豐富 MV 資源
解決方案的發布象征著聲網業務模式上的進階。這意味著聲網在 RTC 技術服務商的基礎上,嘗試疊加基于場景的通用技術服務、整合生態內的其他內容,最終打包成一個整體的解決方案。
這項業務很快驗證了新模式的可能性,短短幾個月里,「K 歌房」發展了幾十個客戶。在他們看來,聲網提供解決方案的嘗試提高了行業的效率,同樣的邏輯在泛娛樂領域同樣如此。
「這些社交娛樂的客戶,他們的音視頻服務其實之前就已經用聲網的了」,王奇說,「在此基礎上,如果我們去做一些場景跟內容的疊加,其實會非常方便」。
如果說聲網之前提供的 RTC 技術服務是賣面粉,王奇將提供元娛樂解決方案比喻成對面粉的二次加工,「當我們開始關心到他(客戶)其實是做餃子館的時候,我們會把面粉做成一摞一摞的餃子皮,然后去整合了一些優質的牛肉跟豬肉剁成餃子餡。」
聲網元娛樂發布會后,Cocos CTO 林順參與了圓桌討論,在他看來社交類應用主要聚焦在特定場景,相較于其他領域確實更易與元宇宙概念結合。
現實卻是如此,2021 年燃起的「元宇宙」之火,還在以一種更容易落地的「+泛娛樂」的方式延續。
去年,VR 社交平臺 Rec Room 融資了 1 億美元,VRChat 也完成了 8000 萬美元的 D 輪融資,Snapchat 收購 6 家 AR 相關底層軟件算法和硬件企業。3D Avatars 公司 Genies 近期宣布獲得了 1.5 億美元的 C 輪投資,用以擴展 Metaverse Avatars 的開發。國內網易、騰訊、字節等大廠的元宇宙社交平臺,也在 2021 年底和 2022 年初紛紛上線。
聲網的很多客戶也都是元宇宙領域的種子選手,比如中東及北非地區最大的語音社交娛樂平臺 Yalla、火遍北美與拉美的元宇宙社交軟件 Oasis。聲網還發起了「聲選計劃」,項目聚焦 RTE 賽道下的技術型合作方,協作推出更豐富和更優質的聯合產品解決方案。
這家實時互動領域的技術領頭羊在元娛樂業務上的動作,是要為共建一個面向「元宇宙」的、下一代的娛樂生態做準備了。
近日,中國金融信息中心召開《金融元宇宙研究白皮書》(以下簡稱“白皮書”)線上發布會。與會嘉賓描繪出“金融元宇宙”的未來樣貌.
1900/1/1 0:00:00最近看到和區塊鏈相關比較有熱度的概念是Web3.0、價值互聯網、元宇宙。元宇宙因為更遙遠,大部分人都通過寫文章、寫書、舉辦交流活動、產品蹭熱度等方式,在這個領域探索.
1900/1/1 0:00:00當前,金融機構服務同質化明顯,因此不少機構力圖在差異化競爭中脫穎而出,無論是虛擬金融服務的場景還是新型的資產交易,都存在不小的可能性.
1900/1/1 0:00:00頭條 ▌Zhu Su:一些跡象顯示比特幣正在重新進入積累期5月19日消息,三箭資本創始人ZhuSu在其社交網站上發文表示,一些跡象顯示比特幣正在重新進入積累期(accumulrange).
1900/1/1 0:00:00在過去10年中,我們看到的一個主要趨勢是加密貨幣的崛起。盡管經常被一些強大的長輩?“diss”,但加密貨幣仍在不斷壯大成長.
1900/1/1 0:00:00隨著NFT的快速發展,我們看到了NFT更多的可能性。今天NFT被廣泛應用于各個領域,從時尚到體育,從新聞到博物館,從音樂到藝術,“NFT+”的模式被不斷探索并不斷更新,如今教育領域也開始關注NF.
1900/1/1 0:00:00