Web3 可以從 Twitter 的時間線架構中學到什么_WIT:TWI

簡介

11月13日，ElonMusk為Twitter進行了1000多次RPC來呈現用戶的主頁時間線而道歉。乍一看，如此大量的RPC似乎很荒謬。如今，Twitter每月為2.6億活躍用戶提供服務，并且可以近乎實時地提供服務。為了解決亞秒級延遲的大規模采用問題，Twitter率先推出了許多解決方案，包括ApacheStorm、Heron、DistributedLog和Aurora。他是Scala的主要貢獻者，包括finagleRPC框架，以及lambda架構、SnowflakeID和Segcache等創新。那么，為什么像Twitter這樣的創新型全球化公司需要如此多的調用來獲取用戶的時間線數據？

Twitter所面臨的問題讓我們想起了當前Web3中不斷增長的煩惱：開發者常常被迫一個接一個地連續調用許多API來獲取組裝業務邏輯的數據。這會導致性能不可靠且不可預測，即使對于最簡單的用例也是如此，例如獲取用戶的交易歷史記錄。就增長而言，前十大公鏈的交易量在兩年內翻了100倍。在圖1中，我們展示了每秒推文數量和每秒Web3交易數量之間的比較。如果Web3繼續沿著圖中描繪的軌跡發展，那么當今大多數Web3數據基礎設施解決方案將無法應對增長。

圖1：推文與Web3排名前10的鏈早期寫流量QPS對比。

數據：7月ENS域名注冊量逾3萬個，環比下降13.9%:8月1日消息，Dune數據顯示，7月ENS新增注冊域名30,863個，較6月（35,884個）減少13.9%，新增參與數量達24,915個，其中主域名24,275個。截止發文時ENS總活躍域名數達2,678,997個，獨立參與地址總量735,822個。[2023/8/1 16:10:33]

在這篇博文中，我們將重點介紹Web3可以從Twitter的擴展解決方案中學到什么。具體來說，我們討論以下內容:

?我們概述了Twitter的時間線基礎設施之旅，認為他們當前的架構確實對特定用例有意義，并得出結論，一些批評可能是錯誤的，例如ElonMusk最近的推文為渲染主頁時間線的大量RPC道歉。

?我們深入研究Twitter和Web3之間的技術相似性，并探索前者的解決方案如何使后者的解決方案受益。

?我們分析了當前的Web3增長趨勢，以及缺乏現有的高性能數據基礎設施解決方案，并得出結論，如果我們想要支持實時Web3數據訪問，則需要進行重大升級，以及ZettaBlock解決方案如何幫助開發人員減少70%的開發時間，并將性能提高10倍，演示可以在這里找到

Twitter的數據基礎架構之旅

一開始，Twitter使用VanillaMySQL。這很快成為了一個問題，因為在最初的幾年里，推文的數量每年增長10倍。從2007年到2012年，Twitter的月活躍用戶從幾千人增長到超過1.38億。已知的水平和垂直切分的知識無法為Twitter處理高流量的性能，尤其是在渲染主頁時間線方面。

Nexo用戶起訴該平臺：“欺詐誘導”貸款造成資產損失:金色財經報道，一加州Nexo用戶起訴該加密借貸平臺，稱該平臺“欺詐誘導”貸款造成損害。據加利福尼亞北區美國地方法院提交的訴狀，用戶John Cress表示，Nexo做出虛假斷言，讓他以他存入的數字資產為抵押借款，并投資于復雜的金融產品，而不僅僅是從他自己的資產中賺取利息，導致“因Nexo的虛假陳述而遭受了數百萬美元的損失，他的大部分數字資產遭清算”。

此外，Cress還提到了針對Nexo的監管法律行動，包括美國證券交易委員會(SEC)在1月份指控Nexo未能注冊其賺取利息產品的發行和銷售。Nexo同意向SEC和州監管機構總共支付4500萬美元。

Nexo及其聯合創始人Antoni Trenchev否認了Cress的說法，稱這些說法毫無根據。[2023/3/2 12:37:30]

時間線是Twitter的主要平臺功能之一。一般來說，Twitter的時間線主要有兩個操作，具體如下:

1.寫入路徑：該路徑用于用戶發布推文。2012年，Twitter平均每秒處理4.6萬個寫入請求，在高峰時段處理1.2萬個RPS。

2.讀取路徑：此路徑用于用戶請求他們的時間線。2012年，Twitter每秒處理大約30萬次讀取請求。

為了更好地理解Twitter如何呈現時間線，讓我們更深入地研究呈現流程，如圖2所示。當Twitter用戶今天發布一條推文時，Twitter首先將其寫入Manhattan，一個分布式鍵值數據庫，用于存儲用戶推文、直接消息、帳戶詳細信息等。該推文在時間線緩存中向該用戶的所有關注者展開。雖然這將寫入放大從每秒4.6k請求增加到每秒345k請求，但它也大大降低了用戶的讀取延遲。因此，時間線渲染不是在關注者和推文之間做一個連接表，而是從緩存中的單個表中獲取推文。這些操作通常在不到5秒的時間內完成。通過分布正在寫入的數據，系統可以通過刪除表連接來避免過度增長。因此，讀取延遲被改進到幾百毫秒。

ZenGo：從Polygon官方跨鏈橋轉至以太坊的ERC-20代幣中有價值超2700萬美元的資產并未被申領:11月29日消息，加密貨幣錢包ZenGo發布文章稱，在研究對Polygon的支持時，發現Polygon官方跨鏈橋合約在以太坊端相較Polygon端多出了價值約2700萬美元的資產。

ZenGo稱，此舉或由于從Polygon上通過官方跨鏈橋跨鏈至以太坊后需要手動申領跨鏈的代幣，但很多用戶并未執行申領操作。其中，0x0076開頭的地址從Polygon上向以太坊跨鏈轉賬超812枚WETH和超54枚WBTC（總價值超200萬美元）但均未在以太坊端進行申領。[2022/11/29 21:08:25]

圖2：Twitter的時間線渲染流程。請注意，時間線中的每條推文都需要至少一個RPC。

前面提到的渲染流程對于絕大多數用戶來說可能已經足夠了，但是“超級中心用戶”呢？超級中心用戶是指擁有眾多粉絲的用戶。所描述的扇出模式，在超級中心用戶的情況下，可以放大1.2億倍！這就是為什么在Twitter的早期，有專門為賈斯汀·比伯(JustinBieber)提供的專用服務器機架。為了容納超級中心用戶，使用了一種稱為Earlybird的特殊服務。在Earlybird中，超級中心用戶和普通用戶分別獲取不同的推文。這個過程如下面的圖3所示。

數據：粉絲Token累計成交額突破1100億美元:11月19日消息，據cryptoslam最新數據顯示，粉絲Token累計成交額已突破1100億美元，截止目前為111,396,980,748.00美元。按照市值排名，當前市值前三的粉絲Token分別是：拉齊奧足球俱樂部的LAZIO（約65,436,212.00美元）、波爾圖足球俱樂部的PORTO（約45,673,740.00美元）、以及桑托斯足球俱樂部的SANTOS（約44,497,380.00美元）。歷史數據顯示，粉絲Token累計成交額于9月底突破1000億美元，這意味著在不到兩個月時間里成交額增長超100億美元。[2022/11/20 22:07:37]

圖3：左側描繪了Twitter用戶混合時間線的抽象說明，右側描繪了相應的讀取SQL。

既然我們已經描述了提供實時推文時間線背后的復雜性，那么為什么單個時間線渲染需要許多RPC就很清楚了。例如，對于只有100條推文的時間線，RPC調用很容易超過1000次，因為僅僅獲取一條推文就需要多次RPC調用。該解決方案乍一看可能并不直觀，但它是一種經過深思熟慮的權衡，旨在為最終用戶提供優化且可預測的讀取性能。

Twitter實現的最終結果非常積極：99%的延遲只有幾百毫秒左右。在過去的10年里，這種基礎架構已經被證明是可靠的，可以在沒有重大變化的情況下處理Twitter流量的高速增長。

礪算科技完成過億元PreA輪融資，將發力元宇宙等應用:金色財經報道，10月9日，高性能圖形GPU（圖像處理器）公司礪算科技宣布完成過億元PreA輪融資，君桐資本、活水資本、達泰資本、哲方資本共同領投。此外，公司近期還將啟動新一輪融資。

本輪資金將用于高性能圖形渲染GPU產品研發及相關商務拓展，完成兼容國際標準的圖形GPU功能，以及針對元宇宙、數字孿生、云渲染、新能源車應用的定制開發。

礪算科技聯合創始人孔德海表示，“數字孿生、元宇宙等數字世界都必須建立在高性能渲染GPU的基礎之上。礪算高性能渲染GPU，將持續為從數字孿生、AR/VR、云游戲到未來元宇宙提供驅動力。”（新京報）[2022/10/9 12:50:19]

請注意，我們忽略了Twitter時間線的其他方面，包括評分、排名等。有關這方面的更多詳細信息，請參閱本文末尾列出的參考資料。

Web3和Twitter數據的相似之處

圖4：Twitter和Web3數據的相似之處

Twitter和Web3生態系統有很多相似之處：

1.Web3是一個社交圖譜，推文類似于交易，回復類似于日志。圖4描述了這一點，其中比較了順序時間線渲染和順序區塊鏈的塊。

2.Web3協議和Twitter存在超級中心效應。最受歡迎的NFT平臺的交易量是第10個平臺的1000倍。

3.Web3和twitter都是開放平臺，對所有用戶可見，并允許某些API訪問。

如果我們放大一點，Twitter和Web3之間的數據訪問模式有更多相似之處：

1.讀取量大，但每條記錄很小。在EVM鏈上，日志和交易的平均大小只有幾KB。

2.最新數據將被更頻繁地查看，其中大部分查看來自發布后的前幾個小時。

3.數據在短時間是不可變的。鏈上數據可以通過reorg恢復最新的區塊。同樣，現在用戶可以在發布后的一段時間內編輯推文。

Web3可以從Twitter的架構中學到什么

與2020年初相比，前10大鏈的交易量已經增長了近100倍。Web3數據基礎設施的現狀類似于2008年前后的Twitter早期，當時大部分流量依賴于來自不同提供商的水平分片數據庫。因此，隨著Web3的持續增長，現有的Web3數據基礎設施將很難提供對數據的高性能訪問。

來自Twitter的扇出服務是將相關數據同時放在同一位置。這樣，當一個請求到來時，系統可以很容易地在一個地方找到相關數據，這導致數據已經被預處理并可以使用。這使得系統具有可擴展性，和可預測的性能。

遵循當前現狀的Web3應用程序缺少一個重要的組件來有效地聚合相關數據。具體來說，開發者必須一個一個地調用API來獲取數據。即使對于最簡單的用例，例如獲取用戶的交易歷史記錄，這也會導致性能不可靠且不可預測。

圖5：當前的Web3應用程序需要如何連續調用許多不同的API，即使是簡單的事務聚合。

由于所有Web3數據都是公開可用的，ZettaBlock構建了最先進的數據基礎設施來處理所有Web3開發人員的扇出部分。應用程序開發人員只需通過一個API指定他們想要查詢哪些相關數據，然后讓ZettaBlock聚合所有相關數據。如圖6所示。通過使用ZettaBlock，開發時間和API延遲分別減少了70%和90%。在https://demo.zettablock.dev/查看我們的演示。更多的技術細節將在未來分享。

圖6：與圖5相比，ZettaBlock將多個Web3數據集抽象為一個簡單、用戶友好且高效的API。

結論

在這篇博文中，我們剖析了Twitter的架構，并將其數據模型與Web3進行了比較，發現了許多相似之處。如果我們能得到一個信息，那就是許多現有的Web3數據基礎設施解決方案，就像早期的Twitter一樣，將無法跟上即將到來的數據需求。

這就是我們構建ZettaBlock的原因。ZettaBlock是一個全棧式Web3數據基礎設施平臺，可提供實時、可靠的API和分析，在幾分鐘內為您的應用程序提供支持。前面提到的扇出過程，這只是ZettaBlock上開發人員和企業可用的眾多功能之一。我們受到領先的web3公司的信任，如Polygon,Crypto.com,Circle等。我們的愿景是成為web3數據基礎設施的首選平臺。

請查看我們的演示/視頻了解詳細信息。

鳴謝

我想借此機會向所有在這篇文章中幫助過我的人表示衷心的感謝。特別感謝KevinRos、ChiZhang、MariaAdamjee、RaphaelSerrano、ZhenzhongXu、PaulTluczek、TianzhouChen、HemanthSoni、NitishSharma、RyanKim、AlexXu、VivekGopalan、NazihKalo、NirmalKrishnan、TimothyChen、MinHao、BoYang

參考

1.TimelinesatScale:

https://www.infoq.com/presentations/Twitter-Timeline-Scalability/

2.HowTwitterusesredistoscale105TBRAM:

http://highscalability.com/blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html

3.WhatDatabasedoesTwitteruse?

https://scaleyourapp.com/what-database-does-twitter-use-a-deep-dive/

4.TwitterDataStorageandProcessing:

https://ankush-chavan.medium.com/twitter-data-storage-and-processing-dd13fd0fdb30#:~:text=That%20equals%20to%20the%2084,time%20the%20request%20is%20made

?責任編輯：Kate

Tags：WITTERITTTWITWITTERXPTER幣BitTorrentTWIN幣

Uniswap