原文作者:Yang
引子
“數”中自有黃金屋,鏈上數據潛藏著無盡的Alpha。當我們跟隨smart money聞風而動,當我們夜以繼日地在NFT Paradise中尋找trending NFT,當我們查詢StepN每日新鞋鑄造數據時,你是否好奇這些數據如何而來?面對眾多鏈上數據分析平臺和紛繁復雜的功能,你是否還在尋找最適合自己的那個平臺?
隨著鏈上生態的日益蓬勃,如DeFi交易、借貸,NFT的鑄造、交易等,用戶的行為被直接透明地記錄在鏈上。這些鏈上行為的數據對應著鏈上價值的流動,對這些數據的分析和根據分析而得出的洞察和見解變得極為有價值。鏈上數據分析平臺,如Nansen,Token Terminal,Dune Analytics,Footprint Analytics,flipsidecrypto, glassnode,Skew等順應這些日益增長的需求,面向個人和機構用戶推出了側重點略有不同的產品。
本文先將簡述鏈上數據分析平臺背后的數據架構,意在告訴讀者那些鏈上數據分析結果從何而來,如何而來。隨后我們從數據豐富度(覆蓋區塊鏈數量)、數據粒度、數據延遲、平臺易用性和查詢自由度等維度為讀者梳理市場上主流的面向個人用戶的數據分析平臺。最后分享我們對Web3未來鏈上數據索引、查詢和分析的一點暢想。
雖然區塊鏈記錄著所有原始的交易數據,鏈上數據本身都是公開透明的,但當我們提出:過去24小時Uniswap的交易量是多少?當前百分之多少的BAYC持有者也同時持有至少一個Moonbirds?......等等問題時,鏈上原始數據并不能給我們答案,我們需要通過索引(indexing),處理(processing),存儲(storage)等等一系列數據攝取(ingestion)的處理過程,再根據所提問題來聚合運算對應的數據,才能得到問題的答案。直接查詢區塊鏈來求得問題答案是非常耗時耗力的,為了讓鏈上數據能夠被快速檢索,當前主流的鏈上數據分析平臺會將索引得到的原始鏈上數據,經過一系列處理后,存入由平臺負責更新和管理的數據倉庫(data warehouse)中。當用戶在Nansen追蹤smart money的交易動態,或在Dune Analytics上查看可視化分析時,用戶對所謂“鏈上數據”的查詢,實際上是在查詢由項目方中心化控制的數據庫而非區塊鏈本身。
鏈上數據顯示Arbitrum巨鯨正持續增持ARB:金色財經報道,鏈上數據分析表明,Arbitrum巨鯨繼續增持其治理代幣ARB。
其中,Mechanism Capital聯合創始人Andrew Kang以1.23美元的價格又購買了151萬枚ARB,其中包括大約185萬美元的USDC。鏈上分析師Lookonchain指出,Kang也是PleasrDAO的成員,他總共購買了230萬枚ARB,平均買入單價為1.24美元。
另一個Arbitrum巨鯨——該項目治理代幣的最大個人持有者——從中心化交易所Gate提取了585萬枚ARB(715萬美元)。該實體目前持有1762萬枚ARB,按當前價格計算價值約2150萬美元。
第三只鯨魚以大約100萬美元的USDC購買了795,381枚ARB,單價為1.26美元。目前其持有1060萬枚ARB,價值1294萬美元。
最后,第四個鯨魚地址收到了532012枚ARB轉賬,價值約661000美元,使其總持倉達到458萬枚ARB,價值約559萬美元。[2023/4/6 13:48:09]
鏈上數據分析平臺的數據倉庫架構大致如下:
數據采集層: 平臺從區塊鏈節點獲取原始鏈上數據,部分平臺會接受第三方提供的數據源,還有的平臺(如Footprint Analytics)支持用戶上傳鏈下數據來輔助最終的數據分析。
數據處理層: 各平臺將原始數據以流式處理或批次處理的方式進行數據抽取、轉換和加載。流式處理中,實時原始數據被源源不斷地輸入并被持續處理,通常意味著數據延遲低,分析結果時效性更高;而批次處理雖然數據延遲會稍高,分析結果時效性稍低,但更適用于大容量的數據處理。
鏈上數據分析網站DefiLlama推出DEX聚合器:1月3日消息,鏈上數據分析網站DefiLlama將推出DEX聚合器,該產品仍處于測試階段,可從8種不同的聚合器中獲得最優惠的價格,包括1inch、Matcha、Paraswap、Cowswap等,具體報價和Gas成本由DefiLlama獨立核實,并支持私有模式以防泄露IP,還包括Approval控制,支持22條區塊鏈網絡。[2023/1/3 22:22:18]
數據存儲層:經過處理后的數據會根據平臺方預先定義的格式存儲進數據集的各數據表中以待后續使用。
數據整合層:存儲的數據會被聚合運算。計算可以是根據預先設定好的指標來進行的(metrics computation),也可以階段性的(periodic)或是根據設定好的條件被觸發的(event-driven aggregation)等。
數據分析層:運算完成的結果被實時地報告、輸出。對于個人用戶而言,我們主要在數據分析層與鏈上數據分析平臺進行交互,比如Nansen提供的Business Intelligence報告界面,Dune Analytics和Footprint Analytics上眾多的的可視化圖表,以及部分平臺提供的API接口等。
各平臺采取了不同的方案來建設和維護自己的數據倉庫。比如Nansen借助第三方Google Cloud Platform完成數據倉庫的建設和維護。
(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)
紐約聯儲完成鏈上數字美元測試:金色財經報道,紐約聯邦儲備銀行的一個辦公室已經完成了對中央銀行數字貨幣進行批發、跨境交易的測試,在不同的區塊鏈上將美元數字美元與實驗性外幣交換。紐約聯儲表示,CBDC可以將外匯交易速度降低至10秒。[2022/11/5 12:18:37]
圖片來源:Google Cloud Nansen Case Study https://cloud.google.com/customers/nansen
而Dune Analytics,Footprint Analytics,Token Terminal等平臺則獨立建設和維護自己的數據倉庫。以Footprint Analytics為例,其數據倉庫架構如下圖所示。
本節以內容視角和用戶視角,從數據豐富度(覆蓋區塊鏈數量)、數據粒度、數據延遲、平臺易用性和查詢自由度等維度來對比幾家主流的鏈上數據分析平臺,包括Nansen,Token Terminal,Dune Analytics,Footprint Analytics。
部分平臺給用戶提供標準化的信息報告界面,比如Nansen,Token Terminal等。
Nansen應該是大家最為熟悉的鏈上數據分析平臺之一。相較于其他平臺,其最為出色的功能是錢包標記(wallet profiler/wallet labeling)。借助錢包標記并結合其他鏈上數據為用戶提煉出極具價值的信息,比如Smart Money,幫助用戶追蹤巨鯨、重度DeFi玩家的實時動向。其他熱門產品包括Hot Contract, 發現新興熱門的DeFi和NFT合約;NFT Paradise,一覽實時NFT鑄造數據等等。
鏈上數據顯示以太坊反彈才剛剛開始:鏈上數據提供商Santiment數據顯示,活躍的以太坊地址激增,而礦工余額一直在減少。到目前為止,以太坊每日活躍地址數量在2021年翻了一番,達到55萬個。來自Santiment的另一項數據顯示,以太坊價格飆升期間,一些頂級的非交易所錢包在上周持有的代幣數量增長了21%。引用Dune Analytics的數據,DTC Capital加密投資負責人Spencer Noon還指出,以太坊2.0存款合約余額已達257萬枚ETH(目前已超260萬),說明投資者對以太坊下一代升級懷抱信心。(CoinGape)[2021/1/20 16:35:37]
[覆蓋區塊鏈]Nansen現在支持Ethereum, Arbitrum, Avalanche, BSC, Celo, Fantom, Optimism, Polygon, Ronin, Terra, Solana共計11條區塊鏈的鏈上數據分析
[數據粒度]Nansen普通版僅為用戶提供精選數據(curated data)
[數據延遲]流式處理和批次處理。部分數據分析已實現近乎實時的報告
[平臺易用性]零門檻
[查詢自由度]Nansen普通版僅提供標準信息模板界面。針對機構客戶對自定義鏈上數據查詢和分析的需求,Nansen借助Google Cloud Platform的Blockchain Datasets發布了Nansen Institutions產品,讓專業/機構用戶能夠編寫滿足定制需求的SQL Queries。
值得一提的是,Nansen在Nansen Research頻道中發布了不少鏈上分析報告。研究報告會對重點事件進行抽絲剝繭般的鏈上追蹤和分析,讀者不妨偶爾閱讀這些報告(如Nansen針對上月stETH脫錨事件發布的報告https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg),對學習鏈上分析的方法大有裨益。
分析 | BTC鏈上數據穩步上升,期貨多空比上升至1.19:據TokenInsight數據顯示,反映區塊鏈行業整體表現的TI指數北京時間02月22日8時報376.07點,較昨日同期下跌7.38點,跌幅為1.92%。此外,在TokenInsight密切關注的28個細分行業中,24小時內漲幅最高的為娛樂與游戲平臺行業,漲幅為13.29%;24小時內跌幅最高的為其它技術或協議行業,跌幅為3.93%。
據監測顯示,BTC活躍地址數較前日下降8.67%至53.7萬,轉賬數較前日上升2.99%至32.1萬。目前,期貨多空比上升至1.19,BCtrend分析師Jefffrey認為,BTC鏈上數據穩步上升,同時市場總體流量復蘇,短期延續上升。[2019/2/22]
Token Terminal以提供準確的協議收入(protocol revenue)而著名。基于協議收入,Token Terminal計算了各協議的市銷率(P/S),市盈率(P/E)等數據。這些數據在一定程度上為各協議提供了估值基準。
[覆蓋區塊鏈]Token Terminal追蹤了超過130個協議的數據
[數據粒度]Token Terminal僅為用戶提供精選數據(curated data)
[數據延遲]批次處理。據IOSG團隊近期與Token Terminal的溝通,目前Token Terminal平臺上的數據大約有兩天時間的延遲
[查詢自由度]僅提供標準信息界面
Token Terminal協議收入數據圖例:過去365天收入前十的區塊鏈和協議的收入占比
另外一些主流鏈上數據分析平臺則向用戶開放數據表,用戶可自由編寫代碼進行查詢,在查詢內容上給予用戶一定的自由度,如Dune Analytics和Footprint Analytics。
Dune Analytics是最早開放用戶自主查詢的鏈上數據分析平臺,擁有最大的分析師團體和用戶社區。Dune Analytics提供了高度顆粒化的原始鏈上數據,分析師可以自由地利用這些數據寫出自定義的查詢。Dune Analytics也對項目方團隊開放Abstraction,項目方可以根據自己協議的數據內容創造更適合的數據表供分析師使用。但自主查詢具備一定的門檻,分析師需具備PostgreSQL的編寫能力才能創造滿足自己需求的數據查詢。而且查詢延遲與分析師SQL編寫水平和對Dune Analytics提供的數據表熟悉程度高度相關。
[覆蓋區塊鏈]Dune Analytics提供了Ethereum, BSC, Optimism, Polygon, Gnosis Chain, Solana共計6條區塊鏈的鏈上數據
[數據粒度]極細
[數據延遲]流式處理。數據延遲大約五分鐘
[平臺易用性]Dune Analytics對分析師提出了一定的SQL coding要求
[查詢自由度]高
有了高度顆粒化的原始數據,分析師便可以在Dune Analytics自由創建鏈上分析。如每日StepN新鞋鑄造及歷史積累數據 https://dune.com/queries/627689/1170627
Dune Analytics于2022年5月30日發布了Dune Engine v2。Dune Engine v2在將Dune Analytics的數據架構進行大改來為用戶提供更快查詢響應和更好查詢表現的同時,也將對用戶體驗的影響降至最低。
相較于Nansen低使用門檻但僅提供標準化信息界面,Dune Analytics提供了自由查詢但又要求分析師具備編寫PostgreSQL語言的能力,Footprint Analytics為用戶提供了兩全其美的解決方案,在給予極大的查詢自由度的同時降低了使用門檻。它是如何做到的?
“鏈上數據錯綜復雜,分析師可能需要寫成百上千行代碼才得以完成一個指標的計算。為了解決分析門檻高的問題,Footprint清理和集成鏈上數據,給數據賦予了業務意義,使得用戶無需SQL查詢和編碼也可以分析區塊鏈數據。任何人都可以通過豐富的圖表界面在幾分鐘內構建自己的自定義圖表,解密鏈上數據,發現項目背后的價值趨勢。”
Footprint Analytics不僅提供原始區塊鏈數據,更將鏈上數據進行分級。最原始的鏈上數據為銅級別(Bronze data),經過篩選、清洗和增強的數據為銀級別(Silver data),進一步整理出具備業務意義的數據為金級別(Gold data)。
已經整理完成的具有商業邏輯和業務意義的金銀級別數據可以直接用于分析。借助金銀級別數據,Footprint Analytics為用戶提供了通過簡單地拖拽數據表就能自主查詢鏈上數據的服務。不管讀者你是否會寫類SQL語言代碼,你都可以快速創建滿足自己定制化需求的數據分析信息界面,并將所需信息通過直觀且可互動的圖表可視化。
[覆蓋區塊鏈]Footprint Analytics目前提供了Ethereum,Arbitrum,Avalanche,Boba,BSC,Celo,Fantom,Harmony,IOTEX,Moonbeam,Moonriver,Polygon,Thundercore,Solana等共計17條區塊鏈的鏈上數據
[數據粒度]Footprint Analytics既為用戶提供粒度極細的原始數據,也為用戶提供精選數據(curated data)
[數據延遲]目前Footprint Analytics對采集到的原始數據進行每日一次的批次處理,數據延遲為一天
[平臺易用性]在Footprint Analytics平臺,用戶無需SQL查詢和編碼也可自由分析鏈上數據。對于具備SQL代碼能力的分析師,Footprint也提供原始數據供分析師發揮。
讀者不妨現在就前往Footprint Analytics,幾分鐘即可上手制作一個自己的鏈上分析界面
圖片來源:IOSG
鏈上數據分析如此重要,當今用戶卻只能依賴Nansen,Dune Analytics等中心化管理的“鏈上數據”分析平臺來輔助投資決策。在這些平臺上,用戶無法驗證所用數據是否未經篡改,不得不信任平臺所提供的數據集是確鑿真實的。“Don’t Trust. Verify.”在鏈上數據分析這里成了一句空話。
Web3浪潮滾滾而來,鏈上生態越發豐富,未來的智能合約和去中心化應用可能不僅僅需要原始鏈上數據和預言機所提供的數據作為輸入信息,還可能需要輸入基于鏈上原始數據計算得出的分析結果,那時候我們還能信任和使用這些中心化鏈上數據分析平臺作這類用途嗎?答案恐怕是否定的。
IOSG團隊近期看到已有項目團隊在實現去中心化鏈上數據查詢和分析的道路上邁出了第一步。由于篇幅受限,且聽下回分解——通向去中心化鏈上數據分析之路。
首先看一下行情,昨天行情再次出現大跌,行情跌一度跌破1萬9,以太就更慘啦,直接掉到了1000以下!那么這個地方再次能不能抄底呢? 這個問題很關鍵!個人認為,這個位置不應當過度看空啦!從情緒來說.
1900/1/1 0:00:00從09年成立時的3億美元,到今年超200億美元,a16z只用了13年。 作者:海腰 不久前,a16z官宣了其第三期文化領導力基金的募集2022年,a16z募集了其第四支加密貨幣基金和首支游戲基金.
1900/1/1 0:00:007月3日,港股上市公司美圖發布內幕消息及盈利警告公告,指出截至2022年6月30日,公司可能錄得約人民幣2.749億元至3.499億元之間的凈虧損.
1900/1/1 0:00:001.金色觀察|Uniswap V3的“漏洞”風云公鏈上是原始森林,對于錢包團隊以及defi等團隊無法提前識別是否有安全問題,只能提示會有安全風險,同時,也無法控制用戶行為.
1900/1/1 0:00:00自古以來,智人一直是群居動物,他們自然地自我組織成群體,最終促進了個體之間的交流和資源共享。語言和合作是智人崛起的驅動力,使智人征服了動物王國,以及我們的近親直立人、能人和尼安德特人.
1900/1/1 0:00:00近日一位自稱 @CryptoInsider23 的內部人士披露了所謂 Circle(USDC)的內幕。而 Circle CEO 對此的回復是“utter nonsense”(胡說八道).
1900/1/1 0:00:00