本文假設你是一個剛接觸web3的數據分析師,開始組建你的 web3 分析團隊,或者剛剛對 web3 數據產生興趣。無論采用哪種方式,你都應該已經大致熟悉了 APIs、數據庫、轉換和模型在 web2 中的工作方式。
在這本新指南中,我將盡量簡明扼要地闡述我的三個觀點:
思考:為什么開放的數據渠道會改變數據發揮效用的方式
工具:web3 數據棧中的工具概述,以及如何利用它們
團隊:web3 數據團隊的基本考慮和技能
讓我們先總結一下如何在 web2 中構建、查詢和訪問數據(即訪問 Twitter 的 API)。我們有四個步驟來簡化數據渠道:
觸發 API 事件(發送了一些推文)
更新到數據庫(連接到現有的用戶模型/狀態更改)
特定產品/分析用例的數據轉換
模型訓練和部署(用于管理你的 Twitter feed)
當數據是開源的時候,唯一需要的步驟是在轉換完成之后。Kaggle(1000個數據科學/特征工程競賽)和 hugs Face(26,000 個頂級 NLP 模型)等社區使用一些公開的數據子集來幫助企業構建更好的模型。有一些特定領域的情況,比如在前面的三個步驟中開放數據的開放街道地圖,但是它們仍然有寫權限的限制。
NEAR基金會通過DAO改進撥款流程方法:金色財經報道,NEAR基金會發布博客稱,作為關于資金狀況的一系列博客的一部分,NEAR基金會宣布將審查其不斷發展的資金戰略。目前,NEAR基金會正在積極致力于更去中心化的資本配置模型,最初將涉及DeveloperDAO、MarketingDAO、CreativesDAO以及一個將于 2023 年第一季度開始形成的額外 DAO。這將通過以下方式影響生態系統:
1.立即生效,NEAR 基金會將停止直接從我們的入站啟動贈款計劃中分配資金,但我們的時事贈款除外,這些贈款將在MarketingDAO設立管理時移交給它們。使用活動撥款申請請求活動資金。
2.在 1 月和 2 月,我們將直接與社區成員合作,以概述通過 DAO 申請資金的清晰申請流程。
3.任何已經收到部分資金并正在朝著商定的里程碑努力的項目將通過剩余的里程碑繼續得到支持。
4.任何尚未進入審批階段的申請都不會獲得資助。但是,我們會盡力將您重定向到適當的替代資金來源。[2023/1/4 9:50:41]
我想聲明的是,我只是在這里談論數據,我并不是說 web2 完全沒有開源。像大多數其他的工程角色一樣,web2 數據有大量的開源工具來構建他們的管道(dbt, apache, TensorFlow)。我們仍然在 web3 中使用所有這些工具。總之,他們的工具是開放的,但他們的數據是封閉的。
動態 | LiquidEOS提出兩個優化EOS BP投票的方法:據MEET.ONE消息,LiquidEOS今日發文提出兩個優化BP投票機制的方法,旨在于創造一個更加公平的EOS生態。兩個方法如下:1. 為出塊節點創造一個自由市場:允許每個BP有權選擇他們希望分配到的獎勵數量,可以借助自由市場的動力提高 BP 投票效率。沒有人認領的獎勵將會分配到eosio.savings賬戶中;2. 新增“投票上限”:出塊節點可獲得的票數是有限的,其票數與某些排名較低的節點(“reference BP”)獲得的票數具有相關性(系數相關),該系數與“reference BP”將由共識協議決定。此外,文中還提到創造一個“真正動態的通脹率”:每個BP能投票支持一種通脹率,整個EOS的通脹率則是由所有BP選出的通脹率的平均值,Token的供應量可基于經濟需求進行動態調整。[2019/7/30]
Web3 也將數據開源,這意味著不再只有數據科學家在開放環境下工作,分析工程師和數據工程師也在開放環境下工作!每個人都參與到一個更連續的工作流程中,而不是一個幾乎是黑盒的數據循環。
工作的形式已經從 web2 數據大壩到 web3 數據河流、三角洲和海洋。同樣重要的是需要注意,生態系統中的所有產品都會同時受到這個循環的影響。
現場 | Sweetbridge首席執行官:將數字世界連接到現實世界的方法是做真正的商業:CoinTime現場報道,今日在芝加哥舉辦的區塊鏈之聲大會上,Sweetbridge首席執行官Scott Nelson表示,將數字世界連接到現實世界的方法是做真正的商業,這樣就可以擁有大量的真正需要的流動性,因此區塊鏈將從早期采用者過渡到大規模的采用。這個被人們創造出的世界現在難以連接到現實世界的原因是其造成的損失遠遠超過預期。在談到金錢時,Nelson建議應該更多關注,財富積累需要隱私,但對于商業來說匿名是個壞主意,不得不放棄它。而且,數字世界需要現實世界的契約、法律等來與現有世界連接,并控制交易。[2018/8/25]
讓我們看一個 web3 分析師如何一起工作的例子。有幾十家交易所使用不同的交易機制和費用,允許你將代幣 A 交換為代幣 B。如果這些是典型的交易所,如納斯達克,每個交易所將報告自己的數據在 10k 或一些 API,然后其他一些服務,比如 capIQ,會把所有交換數據放在一起,然后收取費用,讓你訪問他們的 API。也許有時候,他們會舉辦一次創新競賽,這樣他們就可以在未來收取額外的數據/圖表功能。
在 web3 交易所中,我們有這樣的數據流:
dex.trades 是 Dune 上的一個表格(由許多社區分析工程師隨著時間的推移整理而成),所有的 DEX 交換數據都被聚合在一起,所以你可以很容易地在所有交易所中搜索單個代幣的交易量。
RSA首席技術官:不相信目前許多區塊鏈應用案例無法用傳統的方法解決:據ZDNet的報道,RSA首席技術官Zulfikar Ramzan在采訪中稱,不相信目前許多區塊鏈應用案例無法用傳統的方法解決,例如數據庫。他表示,在許多情況下,區塊鏈是一種“重型模式”,可解決缺乏信任的情況,但通常區塊鏈解決方案中存在許多信任假設。Ramzan同時稱,區塊鏈現在被視為魔術,人們認為它可以解決一切問題,但可以不代表應該。“你可以買一把大錘把圖釘插入墻上,你也可以用你的拇指,這是一個更便宜的解決方案,也可能因其他原因而更好,我認為這就是我們目前的問題所在。”[2018/5/3]
一名數據分析師通過社區開源查詢創建了一個儀表盤,所以現在我們對整個 DEX 行業有了一個公開的概述。即使所有的查詢看起來都是由一個人寫的,你可以猜測這是在discord上經過大量的爭論,才準確地將其拼湊在一起得。
DAO 科學家查看儀表板,并開始在他們自己的查詢中分割數據,查看特定的對,比如穩定幣。他們會觀察用戶行為和商業模式,然后開始建立假設。由于科學家可以看到哪個 DEX 在交易量中占據了更大的份額,他們將提出一個新的模型,并提議改變治理參數,以便在鏈上進行投票和執行。
之后,我們可以隨時查看公眾查詢/儀表板,看看提案如何創造出更具競爭力的產品。
在未來,如果另一個 DEX 出現(或升級到一個新版本),這個過程將重復。有人將創建插入查詢來更新這個表。這將反過來反映在所有的儀表板和模型(沒有任何人必須回去和手動修復/更改任何東西)。任何其他分析師/科學家都可以以別人已經完成的工作為基礎。
MIT發文提出三種方法“扳倒”比特幣:4月24日MIT(麻省理工學院)科技評論發表文章“讓我們摧毀比特幣”,指出有三種方法可以使比特幣變得無關緊要。
1.政府收購比特幣,并創建由美聯儲支持加密貨幣Fedcoin,這個區塊鏈將證明金融機構是授權節點而不是對等網絡。
2.Facebook隱性收購比特幣。該項目將要求Facebook為其所有用戶創建一個BTC錢包,并用比特幣對與廣告進行互動的用戶進行獎勵,如果用戶允許Facebook使用電腦權限進行開礦將會享受無廣告的獎勵。Facebook還可通過發行自己的加密貨幣來控制比特幣。
3.為以上兩種情況創建多個新的加密貨幣。文章指出,這種選擇已經在發生,如柯達ICO創建貨幣以用于許可照片。
但比特幣可利用其匿名性的優勢,防止以上情況的發生。然而根據斯諾登泄露的文件,美國國家安全局已經開始嘗試將人們的身份與比特幣地址聯系起來。文章結尾得出的結論是,如果加密國幣被廣泛應用,這將是大眾習慣使然而不是比特幣早期采用者造成的。[2018/4/24]
由于共享的生態系統,討論、協作和學習在一個更緊密的反饋循環中發生。我承認這有時會讓人難以承受,我認識的分析師基本上都在輪換數據耗盡。然而,只要我們中的一個人繼續推動數據向前(例如,某人創建了插入 DEX 查詢),那么其他人都會受益。
它并不總是必須是復雜的抽象視圖,有時它只是實用功能,如使它容易搜索 ENS 反向解析器或工具的改進,如自動生成大多數 graphQL 映射與一個 CLI 命令!所有這些都可以被每個人重用,并且可以在某些產品前端或您自己的個人交易模型中進行 API 的使用。
雖然這里開啟的可能性是驚人的,我確實承認,輪子還沒有平穩地運行。與數據工程相比,數據分析師/科學領域的生態系統仍然很不成熟。我認為有以下幾個原因:
數據工程是web3多年來的核心焦點,從客戶端 RPC API 的改進到基本的 SQL/graphQL 聚合。像 theGraph 和 Dune 這樣的產品就是他們在這方面所付出努力的例證。
對于分析師來說,要理解 web3 獨特的跨協議關系表是非常困難的。例如,分析人員可以理解如何只分析 Uniswap,但卻很難在混合中添加聚合器、其他 DEXs 和不同的代幣類型。最重要的是,實現這一切的工具直到去年才真正出現。數據科學家通常習慣于收集原始數據并獨自完成所有的工作(建立他們自己的管道)。我認為他們不習慣在開發初期與分析師和工程師進行如此密切和公開的合作。對我個人來說,這花了一段時間。
除了學習如何協同工作之外,web3 數據社區還在學習如何跨這個新的數據堆棧工作。你不再需要控制基礎設施,或者慢慢地從 excel 構建到數據池或數據倉庫,只要你的產品上線,你的數據就會到處上線。你的團隊基本上是被扔到了數據基礎設施的最深處。
以下是一些數據工具匯總:
下面我們看看每種類型以及用法:
交互+數據源:這主要用于前端、錢包和較低層次的數據攝取。1
客戶端:雖然以太坊的底層實現是相同的,但每個客戶端都有不同的額外特性。例如,Erigon 對數據存儲/同步進行了大量優化,Quorum 支持隱私鏈。
節點即服務:你不必選擇運行哪個客戶端,但使用這些服務將為你節省維護節點和 API 正常運行的麻煩。節點的復雜性取決于你想要捕獲多少數據(輕節點→全節點→歸檔節點)。
查詢+數據映射:這一層中的數據要么作為 URI 在合約中引用,要么來自使用合約 ABI 將交易數據從字節映射到表模式。合約 ABI 告訴我們合約中包含哪些函數和事件,否則,我們只能看到部署的字節碼(沒有這個 ABI,你無法反向工程/解碼合約交易)。
交易數據:這些是最常用的,主要用于儀表板和報告。theGraph 和 Flipside API 也在前端中使用。有些表是合約的 1:1 映射,有些表允許模式中額外的轉換。
元數據“協議”:這些并不是真正的數據產品,而是用于存儲 DIDs 或文件存儲的。大多數 NFT 將使用其中的一個或多個數據源,我認為今年我們將開始越來越多地使用這些數據源來增強我們的查詢。
專業提供商:其中一些是非常健壯的數據流產品,Blocknative 用于 mempool 數據,Parsec 用于鏈上交易數據。其他的聚合鏈上和鏈外數據,比如 DAO 治理或國庫數據。
高維度數據提供商:你不能查詢/轉換他們的數據,但是他們已經幫你完成了所有繁重的工作。
如果沒有強大的、杰出的社區來配合這些工具,web3 就不會出現!我們可以看到每種類型對應的杰出社區:
Flashbots:專注于 MEV 上,提供從保護交易的自定義 RPC 到專業白帽服務的所有事宜。MEV 主要指的是槍跑問題,當有人支付比你更多的 Gas(但直接給礦商),這樣他們就可以搶先執行他們的交易。
Dune 數據精英:專注于為 Dune 的數據生態做貢獻的數據分析精英。
Flipside 數據精英:專注于為 Web3 數據升天做貢獻的數據分析精英。
MetricsDAO:跨生態工作,處理多個鏈上的各種數據獎勵。
DiamondDAO:專注于 Stellar 的數據科學工作,主要在治理、財政庫以及代幣管理方面。
IndexCoop:專注于代幣等特定領域的分析,以制定加密貨幣行業最好的指數。
OurNetwork:每周對各類協議以及 ?Web3 的數據覆蓋。
注:以上 DAO 的參與聯系方式詳看原文。
每個社區都做了大量的工作來改善 web3 的生態系統。毫無疑問,擁有社區的產品將以 100 倍的速度增長。這仍然是一個被嚴重低估的競爭優勢,我認為除非人們在這些社區中建立了一些東西,否則他們不會獲得這個優勢。
不用說,你也應該在這些社區中尋找可以加入你的團隊的人。讓我們進一步分析重要的web3數據技能和經驗,這樣你就能真正知道你在搜索什么。如果你想被雇傭,把這看作是你追求的技能和經驗!
至少,分析師應該是 Etherscan 偵探,知道如何閱讀 Dune 儀表盤。這可能需要 1 個月的時間來適應悠閑的學習,如果你真的要瘋狂學習,則需要2周的時間。
除此之外,你還需要考慮更多的內容,特別是時間分配和技能轉移。
時間方面:在 web3 中,數據分析師大約有 30-40% 的時間將花在與生態系統中的其他分析師和協議保持同步上。請確保你不會氣暈他們,否則,這將成為對每個人的長期損害。與更大的數據社區一起學習、貢獻和構建是必要的。
可轉移性方面:在這個領域,技能和領域都是高度可轉移的。如果使用不同的協議,可能會減少上手時間,因為鏈上數據的表模式都是一樣的。
記住,知道如何使用這些工具并不重要,每個分析師或多或少都應該會寫 SQL 或創建數據儀表盤。這一切都是關于如何做出貢獻并與社區合作。如果你正在面試的人不是任何 web3 數據社區的一員(而且似乎對這一塊沒有任何興趣),你可能要問問自己這是否是一個危險信號。
原文鏈接:
https://ath.mirror.xyz/w2cxg5OP1OEcqvSgsEjSSyKRJhPmam0w-fXGogiG-8g
作者?|?Andrew Hong
譯者:GaryMa 吳說區塊鏈
來源:極客公園(ID:geekpark),作者鄭玥,轉載請聯系極客君微信 geekparker 或 zhuanzai@geekpark.net.
1900/1/1 0:00:00電子游戲改變了一代人的娛樂方式。自從雙人網球(Tennis for Two)在1958年面世以來,游戲行業席卷了全世界。英雄聯盟、堡壘之夜和我的世界等游戲獲得了全球幾百萬玩家的青睞.
1900/1/1 0:00:00在Arbitrum鏈上,除了Uniswap、Sushiswap等主流DeFi協議的部署外,還有哪些應用?本文將會盤點Arbitrum鏈上的應用現狀.
1900/1/1 0:00:00頭條 ▌俄羅斯監管機構:加密貨幣不能用于支付2月13日消息,俄羅斯中央銀行、財政部和政府已經就如何監管俄羅斯加密空間的問題進行了討論.
1900/1/1 0:00:00一年一度的報稅季又來啦,NFT的崛起催生了新一代投資者,對于當今的NFT投資者來說,牢記稅收影響很重要。否則,他們可能會陷入稅收噩夢.
1900/1/1 0:00:00在這篇文章中,我將談及 來自生態系統內部和外部的加密敘事品牌和金融機構在塑造主流解釋方面的作用這一切是如何聯系在一起的--以及敘述的重疊性 加密領域存在敘事問題 我認為這個問題對大多數人來說是非.
1900/1/1 0:00:00