作者:?IgorMandrigin
翻譯:?阿劍
來源:以太坊愛好者
什么是“無狀態以太坊”?
如果您已經了解什么是“無狀態以太坊”以及“區塊見證數據”,可以跳過這一段。
為執行交易及驗證區塊,以太坊網絡的節點需要了解整條區塊鏈的當前狀態——也就是所有賬戶和合約的余額和存儲數據。這些數據一般來說是存儲在DB里面的,在需要用于驗證時才會加載到一棵默克爾樹中。
無狀態以太坊客戶端的工作思路則稍有區別。顧名思義,無狀態客戶端就是不使用硬盤DB來執行區塊。相反,無狀態客戶端依賴于“區塊見證數據”——就是一段特殊的數據,它會跟相應的區塊一起傳播;擁有了這段數據,客戶端就可以重建出一個默克爾子樹,該分支足可用于執行該區塊中的所有交易。
你可以在這篇文章中讀到關于無狀態客戶端的更深入的描述:https://blog.ethereum.org/2019/12/30/eth1x-files-state-of-stateless-ethereum/
當然咯,需要傳播區塊見證數據就意味著無狀態客戶端的網絡要求要比普通節點更高。
-見證數據大小折線圖-
現在人們已經提出了很多降低見證數據規模的思路:使用有效性/計算完整性證明、加入更多的壓縮手段,等等。其中一種辦法是將以太坊的默克爾樹從十六進制轉為二進制。
這就是本文想要探討的問題。
觀點:加密貨幣在美國的未來很可能由國會而不是法院決定:6月10日消息,美國律師Mike Selig表示,SEC最近對幣安、Coinbase提起訴訟,對加密貨幣行業來說并不完全是壞事。Selig認為,加密貨幣在美國的未來很可能由國會而不是法院決定。如果SEC在對Coinbase、幣安、Ripple和其他公司的訴訟中獲勝(甚至一直打到最高法院),我們仍然有可能看到為加密資產建立合理監管市場結構的立法在國會獲得通過。Coinbase、幣安和其他加密生態系統的參與者最終將有一條合規之路。每個主要的外國司法管轄區都在朝著這個方向發展,美國不太可能成為唯一的抵制者。(CoinDesk)[2023/6/10 21:28:42]
為什么要使用二進制樹
默克爾樹的一大優良特性是,驗證樹根值正確與否并不要求你具有整棵樹所有的數據。只需把所有省略的非空路徑替代為相應的哈希值就可以可。
那么使用十六進制默克爾樹有什么不好呢?
設想整棵樹都已填滿數據。要驗證一個區塊,我們只需要一小部分默克爾樹節點的數據。那么,我們只需把其他路徑的數據替代為哈希值就可以了。
但是,每多加入一條哈希值,區塊見證數據就會大一些。
如果我們轉變為二進制默克爾樹,這個問題就可以得到緩解——因為默克爾樹上的每個節點都只有兩個子節點,所以至多只有一個字節點需要被替換為哈希值。
這樣做也許能大幅降低見證數據的規模。
我們再舉例說明一下。
假設執行某個區塊只會影響一個賬戶:3B路徑下的Acc1。整棵樹是全滿的。
觀點:絕大多數被迫拋售已經發生,市場似乎相對穩定:金色財經消息,圖表中的相對穩定助長了人們的希望,即在Terra事件后,危機可能已經結束,這場崩盤還導致對沖基金三箭資本和經紀公司Voyager Digital相繼宣布破產。Glassnode首席分析師James Check表示,盡管加密世界的很多杠桿都沒有記錄在區塊鏈上,因此不受審查,但可見的情況令人鼓舞。“我認為絕大多數被迫拋售已經發生,”Check在接受采訪時表示,“從本質上講,市場似乎相對穩定。”
Check同時警告稱,現在市場還剩下兩個重要的潛在賣方,其中一方是比特幣礦工,他們的礦機價值隨著代幣的價格暴跌——如果Celsius的挖礦子公司開始卸載其80850臺鉆機中的一部分來籌集資金,這種壓力可能會加劇。另一方是交易員,如果股市再次崩盤,他們會不加區分地拋售各種風險資產。(彭博社)[2022/7/17 2:18:15]
-二進制狀態樹與十六進制狀態樹的比較-
如果說二進制狀態樹看起來有點嚇人,那只是因為二進制樹我畫全了,但沒有把十六進制樹的所有代之以哈希值的節點都畫出來。
來數個數:
為創建出一棵二進制狀態樹,見證數據需要包含8個哈希值,7個分支節點和1個賬戶節點。也就是見證數據中有16個元素。
為創建出一棵十六進制狀態樹,我們只需1個分支節點,1個賬戶節點,但需要30個哈希值。也就是有32個元素。
所以,假設哈希值和分支節點在區塊見證數據中的所占的空間是一樣大的,在我們的例子中,使用二進制樹所需的見證數據大小只有十六進制下的一半。看起來不錯。
觀點:區塊鏈在集裝箱運輸產業鏈中必將不斷拓展應用場景:劍橋大學沃爾森學院教授級終身成員及中國政法大學客座教授綦曉光、上海海事大學學者林益松、財政部中國財政科學研究院副研究員蘇京春發文稱,從區塊鏈在航運物流業的分布看,其應用和開發主要集中在以下幾個方面。一是利用區塊鏈技術推出數據信息共享、加密創新。二是建立可追溯的區塊鏈運輸信息識別和交易系統。三是基于區塊鏈技術搭建數據平臺,推動數字化進程。四是利用區塊鏈技術發行代幣。區塊鏈技術的應用實踐和探索盡管仍在起步階段,其商業前景也尚不明朗,但是,作為一種新興技術,區塊鏈去中心化、分布式記賬、不可篡改、可追溯等顯著特點,決定了其在集裝箱運輸產業鏈中必將不斷拓展應用場景,實現技術與航運生態的有效融合。[2020/8/11]
那么,理論上就是這樣。
我們來看看實際情況是如何。我們直接拿以太坊主網的數據來看看吧。
開始實驗
先說最緊要的:我們怎么知道自己構建出來的區塊見證數據是有用的呢?
測試方法如下:我們使用區塊見證數據來生成一棵默克爾子樹,在這棵樹上運行相應區塊中的所有交易,然后校驗結果是否與我們所知的一致。只要交易都能成功執行,等等),我們就可以斷定這個見證是足夠充分的。
-測試方法:1.執行區塊;2.從狀態樹中抽取出見證數據;3.使用見證數據構造出一棵子樹;4.禁用DB訪問、使用子樹來執行區塊(具體可見
github)-
其次,我們需要一些基準數據。因此,我們也使用500萬到850萬高度的區塊、在十六進制默克爾樹模式下生成了見證數據,并將見證數據大小的統計數據存在一個超級大的csv文件中。
觀點:實現區塊鏈在法院執行工作中深度應用 需加大硬件與軟件投入:據中國法院網刊文《區塊鏈技術的應用對法院執行工作的影響》。文章中指出,區塊鏈技術及其應用對創新法院執行工作,做到“智慧執行”、“科技執行”提供了有力支撐。但是,當前區塊鏈技術應用的發展尚未成熟,與法院執行工作結合程度也還遠遠不夠。要想真正實現區塊鏈技術在法院執行工作中的深度應用,需要加大硬件與軟件兩方面的投入,是不可能一蹴即至的。應該認識到,區塊鏈技術為法院執行工作帶來便利的同時也必然會帶來挑戰,需要做好充足的準備。[2020/6/12]
我們嘗試的第一步是執行完一個區塊后就組裝出一棵十六進制樹,然后將它轉為二進制樹,再從這棵二進制樹中提取出見證數據。
這種方法有幾個好處:易于實現,而且驗證十六進制-二進制的轉換也很簡單。
不過,我們遇到了兩個問題,而且其中一個還不小。
第一個,正如我們上面證明的那樣,比起二進制樹,十六進制樹包含更多的賬戶節點,如果我們先生成十六進制樹再轉換,得到的結果就跟在二進制樹模式下直接生成所得到的見證數據不一樣。
為什么呢?
因為十六進制樹數據總是以1/2字節的速度增長,而二進制樹總是以1比特的速度增長,因此鍵的長度可以是奇數位。
實際上,見證數據中還包含一些額外的擴展節點,它們還要稍微大一點。不過即便對內容較多的區塊,體現在見證數據大小上的差別也非常之小。
關鍵的是性能。隨著樹的規模增長,轉換的速度會越來越慢。
用更具體的數字來說明一下:在我們的GoogleComputeEngine虛擬機上,處理速度約為每秒0.16個區塊,也就是每分鐘處理小于10個區塊,處理100萬個區塊要超過3個月!
聲音 | 觀點:在數字貨幣的挑戰下,央行需要擴大其職權范圍:開普敦大學經濟學院副教授Co-Pierre Georg、哥倫比亞大學法學院比較法教授Katharina Pistor聯合發文稱:數字貨幣帶來了巨大的挑戰。傳統意義上,貨幣體系的守護者——央行——只專注于貨幣政策和金融穩定。引導金融創新遠遠超出了它們現有的職責范圍。但考慮到改革的步伐,他們可能別無選擇,只能盡早擴大自己的職權范圍。(Project Syndicate)[2019/8/5]
所以,我們決定采取更復雜的辦法,開發出一個原生使用二進制默克爾樹的實驗性分支。也就是說,我們要把turbo-geth代碼庫例地所有十六進制狀態樹全部替換為二進制樹,然后區塊就是基于二進制樹來執行的了。
這種辦法的不利之處在于,部分哈希值的校驗只能被忽略掉。
但主要的驗證機制還是一樣的:我們需要能夠使用二進制樹來執行區塊、從見證數據中創建出默克爾子樹。
再來談談key。
為簡化起見,我們對key的編碼方式是非常低效的:1bytepernibble;一個key的每一比特就要占用1字節。這樣做大大簡化了代碼層面的改變,但區塊見證數據中的”key“部分會是我們使用bitset時候的8倍大。
因此,在進一步分析中,我會假設key的編碼方式是最優的。
Hexvs.Bin:結果
我的分析分為兩段,總共分析了以太坊主網上的200萬個區塊。
區塊高度500萬到650萬
我在這個github庫里面提供了使用python腳本來重復這一實驗的命令行:
https://github.com/mandrigin/ethereum-mainnet-bin-tries-data
首先我們來分析一下數據集。
pythonpercentile.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-
一個箱型圖,箱體顯示上四分位到下四分位之間的數據,左右延伸出去的線條顯示上1%到下1%之間的數據
-百分比分析-
現在我們可以生成一些很酷的圖表了!
pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-XY散點圖(橫軸為Hex下見證數據大小,縱軸為Bin下見證數據大小)-
可以看出,二進制見證數據的大小總是優于十六進制樹下的見證數據。
我們再加入另一個參數,用二進制見證數據大小除以十六進制見證數據大小,看看我們得到了怎樣的提升。
pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-二進制見證數據的大小/十六進制見證數據的大小-
為更好地理解這張圖標,我們也輸出了平均值和百分位值。
平均值=0.51
P95=0.58
P99=0.61
在實際場景中這意味著什么?
對于99%的區塊,見證數據的大小可以降低至少39%。
對于95%的區塊,見證數據的大小可以降低至少42%。
平均來說,見證數據可節省49%。
我們也要考慮見證數據大小的絕對值。為使數據變得可讀,我們每1024個區塊取滑動平均值。
pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-依時間順序繪制的見證數據大小折線圖,縱軸單位為MB-
再來看看最新區塊的情況。
區塊高度800萬到850萬
pythonpercentile.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-箱型圖,箱表示上下四分位以內的數據,線表示上下1%以內的數據-
-800萬號到850萬號區塊的百分位分析-
還有XY散點圖。
pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
還有規模上的節約。
pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-XY散點圖(橫軸為Hex下見證數據大小,縱軸為Bin下見證數據大小)-
平均值=0.53
P95=0.61
P99=0.66
最后,再來看看見證數據的絕對大小。
pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-依時間順序繪制的見證數據大小折線圖,縱軸單位為MB-
結論
在使用以太坊主網數據做過測試以后,我們可以看到,切換為二進制樹模式可以大幅提升生成見證數據的效率。
另一個結論是,這種提升并沒有理論上那么顯著。原因可能在于主網區塊的實際數據。
也許,通過分析一些例外情況,我們可以知道更多優化見證數據規模的辦法。
試著使用別的原始數據來跑跑GitHub中的腳本吧:https://github.com/mandrigin/ethereum-mainnet-bin-tries-data
PA周刊第九十期1.6-1.12文|周文怡編輯|畢彤彤?出品|?PANews概述:北京金融局局長稱本周內將公布監管沙箱第一批入箱項目.
1900/1/1 0:00:00深圳商報記者謝惠茜 來源:深圳商報 編者注:原標題為《?數字貨幣試點有望落地深圳》“深圳在兩個領域尤為突出,一是在跨境金融領域,有諸多先行先試政策.
1900/1/1 0:00:00文:中國證監會科技監管局姚前 來源:清華金融評論 怎么發展好區塊鏈是當前亟須回答的關鍵命題。本文認為,先從數據存證、共享入手是務實策略,考慮到技術前沿在公有鏈,我們應支持公有鏈的研究,為了防范風.
1900/1/1 0:00:00不管怎樣,實際情況證實了摩根大通策略師NikolaosPanigirtzoglou此前的預測:機構投資者對CME的期權交易躍躍欲試。對于2020年的加密貨幣市場來說,這算是一個好的開端.
1900/1/1 0:00:00編者注:原標題為《一文讀懂Uniswap》2019年是DeFi元年。MakerDAO、Synthetix、Uniswap、Compound以及Kyber等表現都不錯.
1900/1/1 0:00:00當前,我國金融科技發展步入快速成長階段,科技的進步正在極大地重塑包括證券在內的金融服務業,各家券商也分別加大信息技術投入、研發投入和人才儲備投入.
1900/1/1 0:00:00