Vitalik：分片 數據可用性采樣_ETH:SLOT

除了ProofofStake之外，eth2設計中的另外一個顯著改變就是分片(sharding)。本提案介紹了一種分片的有限形式，即“數據分片”(datasharding)，根據"以rollup為中心的路線圖"所述：分片會存儲數據，并且證明約250kB數據的可用性。數據可用性驗證為rollups之類的二層協議提供了安全和高吞吐量的數據層。

為了免去節點親自下載全部數據的負擔，可以將這兩種技術互相疊加起來對大量數據的可用性進行驗證：1)由隨機抽樣的委員會提出證明；2)數據可用性抽樣(dataavailabilitysampling,DAS)。

白話“隨機抽樣委員會”

假設你有大量數據，例如16MB，這是eth2鏈(至少在初期)每個slot能處理的數據量。我們將這些數據表現為64個blobs，每個大小為256kB。假設我們還有一個PoS系統，驗證者數量約為6400。我們如何在1)不需要任何人下載所有數據，2)?不給運行少量驗證者的攻擊者可乘之機的前提下驗證這些數據？

第一個問題，我們可以通過分工來解決：驗證者1-100需要下載并驗證第一個blob，驗證者101-200下載并驗證第二個blob，以此類推。每個子集合(委員會)里的驗證者只需簽名證明他們已經驗證了相應的blob，然后整個網絡接收到相應委員會中大多數驗證者的簽名之后，即可接受該blob。

但這會導致一個問題：萬一攻擊者控制了連續的驗證者集合怎么辦(例如1971-2070)？如果是這樣的話，即使攻擊者僅控制了整個驗證者集合的約1.5%，他們也能夠控制單個委員會(在上述情況下，他們可以掌控委員會20中70%的驗證者2001-2100)，因此攻擊者能夠將無效/不可用的blob添加到鏈上。

隨機采樣(Randomsampling)通過隨機洗牌算法組成委員會來解決這個問題。我們使用某個哈希值作為隨機數生成器的種子，然后我們使用該生成器來隨機混洗驗證者列表1-6400。混洗列表中的前100個值是第一個委員會，下100個值即為第二個委員會，依此類推。

RNG(隨機數生成器)的種子在驗證者存款之后選定，每個驗證者的索引都是固定的，因此攻擊者無法嘗試使其所有驗證者進入同一個委員會。攻擊者可能會走運，但前提是他們控制所有驗證者的1/3以上。

數據：Vitalik近日將999枚ETH轉至0x5567開頭地址，約164萬美元:9月4日消息，據PeckShieldAlert預警監測，以太坊聯合創始人Vitalik Buterin相關地址（0xD04d...8fd7）近日將約999枚ETH（約164萬美元）轉移至0x5567…31B1地址。

20天前，0x5567開頭地址之前曾收到來自Vitalik相關地址（0xD04d…8fd7）的約1701枚ETH，并在過去的20天內將這些資金轉移到Bitstamp存款地址。

Vitalik相關地址（0xD04d…8fd7）去年總共從鏈上標記為“Vb 3” 的地址收到了7萬枚ETH，其中包括2022年5月6日的約3萬枚ETH，以及2022年11月24日的約4萬枚ETH。該地址已將3.1萬枚ETH分發到4個地址：0xe692開頭地址、0x9e92開頭地址、0x5567開頭地址以及Bitstamp存款地址。[2023/9/4 13:16:08]

白話“數據可用性抽樣”

在某些方面，數據可用性采樣是隨機抽樣委員會的鏡像。仍然會進行采樣，這是因為每個節點最終只會下載所有數據的一小部分，但采樣發生在客戶端中，并且在每個blob中進行，而不是在blob之間進行。

每個節點(包括沒有參與質押的客戶端節點)對每個blob進行檢查，他們不需要下載整個blob，而是私密地從中選擇N個隨機索引，然后嘗試在這些位置下載數據。

這么做的目的在于驗證每個blob中至少一半以上的數據是可用的。如果低于一半的數據可用，那么幾乎可以認定任何給定客戶端進行采樣的索引中至少有一個不可用，那么客戶端會拒絕接受該blob。

這個機制是高效的，因為一個客戶端只需要下載每個blob中的小部分數據以驗證其可用性。這個機制同時也是高度安全的，原因在于即使是51%攻擊者都無法欺騙客戶端接受不可用的blob。

糾刪編碼

為了避免攻擊者提供了50-99%可用數據的情況(這可能使得某些客戶端拒絕某blob之后又被其他客戶端接受)，我們使用了一種叫作糾刪編碼(erasurecoding)的技術。糾刪編碼使得我們可以使用如下方式對blobs進行編碼：如果某blob中超過一半的數據已經發布，網絡中的任何人都可以對剩余數據進行重建和發布。

Vitalik Buterin將出鏡的以太坊紀錄片3天內超額募資1035.96枚ETH:7月19日消息，Vitalik Buterin將出鏡的一部以太坊的紀錄片“Ethereum:TheInfiniteGarden”在3天的時間內超額募資1035.96枚ETH（約197萬美元），該紀錄片的籌資目標為750枚ETH。募資金額的95%將用于電影的制作預算，約984.16枚ETH；2%通過捐贈至Carbonfund進行碳抵消，約20.72枚ETH；3%捐贈給GitcoinGrants用來支持開源以太坊項目，約31.08枚ETH。根據該紀錄片預計的時間表，該影片將于2023年冬季推出。[2021/7/19 1:02:38]

一旦重新發布的數據廣播完畢，起初拒絕該blob的客戶端會收斂為接受(注意，接受blob沒有時間限制，每當客戶端收到對其所有抽樣索引的響應時，它就會接受可用的blob)。

理解糾刪編碼最簡單的數學概念類比是“兩個點總是足以恢復一條線”：如果我以四個點的形式((1,4),(2,7),(3,10),(4,13))建立“文件”，每個點都在一條線上，那么只要有其中兩個點的坐標，你就能重構這條線，并且將??剩下的兩個點計算出來(我們假設x坐標1,2,3,4是系統的固定參數，而非文件創建者的選擇)。

使用高階多項式，我們可以擴展此思想，創建6個文件中的3個文件，8個文件中的4個文件，或者通常來說2n個文件中的n個文件，如果你有文件中的n個點，則可以計算出2n中剩余的點。

默認情況下，一個攻擊者也有可能使得沒有區塊是可用的，并且有選擇性地針對其收到的請求發布信息，但這種行為只能欺騙很小一部分客戶端，因為攻擊者會需要發布一半區塊以上來回應所有的請求(我們假設客戶端重新公開廣播他們收到的回應)。

我們使用多項式承諾(polynomialcommitments)，具體來說是Kate承諾而非默克爾根作為數據blobs的printers，因為多項式承諾能夠使我們輕易證明一個給定的值實際上是對特定次n多項式在所需坐標處的正確估值。不然的話，我們將不得不(例如使用SNARKs)證明默克爾根編碼一個低次多項式，或者依賴于欺詐證明在編碼不正確的情況下進行廣播(這增加了高復雜度以及更多的同步假設)。

Cosmos宣布將在24小時內對Gravity DEX流動性提供者分配2.88億美元獎勵:官方消息，Cosmos宣布，將在Gravity DEX資金池激勵流動性提供者。B-Harvest將在4個流動性池進行大量兌換交易，4個池為隨機選擇且每小時更換。對于每個選定的池，B-Harvest將將執行大約10億美元的交易量，提高選定池的兌換費用獎勵。從5月9日15:00（UTC）至5月10日15:00（UTC），共24小時，每小時將有約1200萬美元費用獎勵給選定池的LP，共約2.88億美元。[2021/5/9 21:41:05]

有了委員會機制還需要數據可用性抽樣嗎？

如果只借助委員會的，可能有以下幾個劣勢：

發生51%攻擊的時候防御力度較弱。在當前(不可擴容)的區塊鏈上，51%攻擊只能回滾交易或是進行審查，并不能向鏈上添加無效區塊。基于委員會的系統會丟失這個保障。

更甚者，要對51%攻擊者進行有效的懲罰難度會很大，因為他們只有極少量的存款(參與該特定委員會的存款)會被證明與惡意行為有關，并在此基礎上進行懲罰。

需要一定門檻(委員會中證明該blob的人數達到什么比例才足以將其添加到鏈上？)如果這個門檻很高，那么在只有非常少數驗證者在線的時候分片的功能會停滯。如果這個門檻過低(或是某種動態機制，例如按照最近在線驗證者數量的比例)，那么攻擊者可以嘗試迫使節點下線來提高他們自己所占的在線驗證者比例，從而進行攻擊行為。

在抗量子攻擊方面，DAS比委員會機制稍容易些(可能需要后量子聚合簽名)。

有了數據可用性抽樣還需要委員會機制嗎？

如果只借助DAS可能又會產生以下幾個問題：

DAS是一個尚未經過測試的新技術，其核心部分(參見此處)其實去年才開發完成。因此在DAS崩壞或是開發時間意外延長，使用委員會提供保障是可取的。

DAS的延遲比委員會高。

DAS的極端情況更多，委員會可以協助解決。一個例子就是在僅使用DAS機制的系統中，很難避免信標區塊提議者最早發起DAS請求以驗證blob的可用性。

Verofax完成Pre-Seed輪融資，Privity參投:Verofax Limited完成Pre-Seed輪融資，Privity FZ LLE參收購一部分股權。據悉，Verofax Limited是一家應用區塊鏈構建創新溯源服務的初創公司。Privity FZ LLE是阿聯酋專注于風險投資的獨立咨詢公司。（Scoop）[2020/7/6]

這會增加攻擊者發布不可用blob并僅對提議者的請求進行合響應的風險。這不會導致網絡的其他節點接受不可用的blob，但可能會使得其他攻擊更為容易，使誠實提議者構建的信標區塊被拒絕并從主鏈上被分叉出去。委員會可以對這一點進行補救。

委員會機制的向前兼容性更強，使得在將來能在分片中加入執行功能。

數據可用性的重要性？挑戰又何在？

這已經在別處討論過了，篇幅有限我就不貼到此處，但我建議閱讀：

Anoteondataavailabilityanderasurecoding(對數據可用性最初的介紹)

AlbertoSonnino、MustafaAl-Bassam和VitalikButerin聯合發表的論文對相關概念進行了擴展

TheDawnofHybridLayer2Protocols對數據可用性中的博弈論進行了論述

BaseLayersandFunctionalityEscapeVelocity，基于上述概念對數據擴容性部分進行了描述

TheDataAvailabilityProblem(EthereumSiliconValleyMeetup)，以視頻形式對數據可用性問題進行了討論

有一點需要明確，BitTorrent和IPFS以及類似的系統并沒有解決數據可用性問題。盡管BitTorrent是很好的可擴容的數據發布技術，但它不能就是否有可用的數據達成共識，這為一種“極端案例”攻擊提供了可能性，在某條數據發布時，節點之間可能發生分歧，使得混合型二層協議無法發揮效用。為了就數據可用性達成共識，需要使用本文檔中描述的更強大的技術。

聲音 | BM 評價 Vitalik 新共識算法：是對非 BFT 終結性的正式描述:據 IMEOS 報道，Vitalik 近期在其博客上發布了一篇名為《一個99%容錯共識的指南》的文章，文章認為這個算法只需要 1％ 的節點“誠實”。這意味著，從理論上講，攻擊者需要控制超過99％ 的區塊鏈節點才能進行攻擊。因此不再有 51％ 的攻擊。

EOS 社區成員詢問 BM 對這個文章的看法以及意見，BM 回復道：這篇文章沒有給出譬如什么時候開始實施的時間先，但可以安全地假設一下這個新算法將會在基于 POS 的共識生效后實施......所以相當于在宇宙熱寂之后實施......

“不過這個算法是關于 Steem 和 Bitshare 的非 BFT 終結性的正式描述，這就很有趣了。”[2018/8/16]

分片如何在P2P層上運作？

為了達到分片的擴容性目的，我們需要一個P2P系統，這樣就無需每個節點都下載所有數據。所幸我們在階段0已經有了一種P2P層分片形式。具體來說，有64個子集已經用于證明聚合。每個驗證者只需要存在于主要的“整體子網”(globalsubnet)和他們自己的證明聚合子網，而無需從其他63個聚合證明子集獲取任何數據。

在委員會DAS型分片中，我們將其擴展為“網格”架構，有2048個水平子集子網(horizontalsubnets)，即每epoch的每個分片-slot對中存在一個子集，以及2048個垂直子網(verticalsubnets)，即每個blob中的每個索引存在一個子集。

在每個slot中，我們每個分片都會選出一個提議者。每個提議者都有權提議一個blob：一個最大為512kB的任意數據塊(我們可以將其理解為約512字節的“樣本”集合)，以及糾刪編碼擴展和額外的證明，以便對blob中的每個部分進行獨立驗證。

Structureofablobblob的結構

一個blob的“主體”結構包括原始數據、擴展數據以及證明(如果需要的話，為了提高數據效率，可以省略擴展數據，因為接收blob的每個節點重建它的速度都相對較快)。

Blob的“頭部”包含其相應的Kate承諾，以及其他一些數據(slot、分片和長度證明)以及提議者的簽名。

Blob的廣播過程

當一個blob被廣播時，其頭部會被廣播到整體子網(globalsubnet)，主體部分則會被廣播到相應slot和分片ID的水平子網。

在實際情況中，會存在2048個水平子網，以使每個epoch中的每個分片-slot對存在對應的一個水平子網。這樣做是為了確保每個驗證者都可以加入一個水平子網，他們將僅接收到到其所處委員會的相應的blob(不包括他們參與抽樣的少量垂直子網)。

每個驗證者都需要加入以下子網：

整體子網(Globalsubnet)

水平子網(horizontalsubnet)，對應其所處的分片-slot對(即委員會)

垂直子網(verticalsubnet)，對應其分配到的索引(每個驗證者使用私密種子進行計算)

廣播區塊

Blob提議者可以將樣本分發到所有子網，但不必成為子網的一部分。此過程如下：

發布：提議者在正確的水平子網中發布blob，每個樣本附帶一個證明

直接樣本分發：水平子網中的其他參與者將區塊發布到他們所在的每個垂直子網中

間接樣本分發：提議者向對等節點公布幾個其所在的垂直子網。因此，水平子網中的每個參與者還可以查看其對等節點所在的垂直子網，并向這些對等節點廣播相應的區塊

假設數據塊大小為512字節，且數據blob最大為512kB(除去糾刪編碼)，在包含糾刪編碼時約為1MB，因此存在2048個垂直子網。如果每個節點存在于15個私密的垂直子網，5個公共垂直子網并且有50個對等節點，假設在最壞情況下每個水平子網(僅委員會)中有128個成員，則單單是子網成員將直接分發到128*20=2560個子網(除去冗余發布后約為1461)，如果加上對等節點，將增加到128*4*50=25600個子網。

請注意，從理論上講，惡意區塊提議者有可能在不發布完整區塊的情況下將樣本發布到垂直子網。為了解決這種情況，我們補充了一個過程，其中未完整發布的區塊(意味著50％及以上可用，但不是100％可用)能夠進行“自我修復”。該過程包括三個基本步驟：

1.反向分發：與上述分發過程相同，只是在這種情況下，垂直子網上的對等節點將樣本從該垂直子網上傳播到與該樣本所屬blob相對應的水平子網。

2.重構：如果水平子網中有1024及以上個樣本(或者通常來說樣本總量的一半)，任何人都可以重構整個blob，然后向水平子網發布其重構后的blob。

3.分發：重復上述的分發步驟

信標鏈如何工作？

在每個slot中，我們為64個分片中的每個分片隨機選擇一個提議者。提議者有權創建一個分片blob，并通過上述過程對其進行廣播，并且將該blob的ShardHeader廣播到全局子網。ShardHeader能夠被打包到信標鏈上的同個slot中，也可以包含在同個/下個epoch中的任何后續slot中。

信標鏈會跟蹤PendingShardHeader的對象列表。PendingShardHeader會存儲：1)ShardHeader中的關鍵信息(分片和slot，該blob的承諾及其長度)；2)追蹤隨機選擇的委員會中哪些驗證者在blob中簽名的位域(實際上就是階段0已經引進的委員會)。AttestationData結構擴展為包含一個shard_header_root，即選定驗證者進行投票的ShardHeader的根哈希。如果證明者看不到已分配給他們的分片-slot對的有效且可用的分片blob，則他們也可以對空的根哈希進行投票。

如果ShardHeader得到了委員會中2/3驗證者的證明，就會立即得到確認。如果在下一個epoch結束時，ShardHeader得到委員會的支持比其他任何ShardHeader更多的支持，則在該epoch結束時進行確認。

分叉選擇規則

分叉選擇規則發生了改變，以便僅在該區塊中確認所有blob或其祖先都通過了可用性檢查的情況下，該區塊才有效。這稱為緊密耦合(tightcoupling)：如果一條鏈指向(已確認)某個無效blob，則整條鏈都被視為無效。這是與“側鏈”結構的主要區別：在側鏈中，側鏈可能會失效，而主鏈仍然有效。

這里有對緊密耦合的進一步探索，以及為什么它是有價值。

驗證者數量較低的情況

如果驗證者少于262144個，那么我們不再為所有分片選擇一個提議者，而是為一個有限的子集選擇一個提議者，循環遍歷這些分片。比如說，如果有32*128*50個驗證者，在slotN的起始分片為0，則slotN將為分片0-49分配一個提議者，slotN1將為分片50-63和0-35分配一個提議者，slotN2將為分片36-63和0-21分配提議者，依此類推。這樣做是為了確保即使在參與度較低的情況下，委員會的規模仍然足夠。

分片數據的gas費

添加了一種類似于EIP-1559的機制，按字節計費分片數據，并對價格進行了調整：如果區塊的平均容量超過了50％，則提升費用，反之則降低。因此，指標是50％的平均區塊大小。

安全假設

僅支持數據blob的分片之所以強大，是因為與其他分片方案相比，它對安全性假設的依賴性很低。尤其是它避免了誠實的大多數假設(因為DAS可以檢測到由大多數發布的不可用blob)和時間假設(與早期的DAS機制不同，其使用的是Kate承諾而非欺詐證明，因此不依賴于欺詐證明需要極快被廣播的假設）。

惡意的51％聯盟可以對blob進行審查，但是在非分片鏈中也可以進行51％審查。

主要的新假設是“誠實的少數DAS假設”：存在足夠多的節點樣本，攻擊者必須要發布區塊中一半以上的內容。如果一個blob中有2048個樣本，則需要恢復1024個樣本(考慮到某些客戶端將對相同的點進行抽樣，因此2048*ln~=1419)，并且每個客戶端都進行20個采樣，則如果每個分片有約超過70個客戶端在進行抽樣的話就可以認定系統是安全的。

向前兼容性

僅支持數據blob的分片設計與以后在分片中添加執行的許多方案具有向前兼容性。特別是我們可以對該方案進行修改以使blob包含前狀態和后狀態根，我們還可以使用欺詐證明或ZK-SNARK來驗證blob中的狀態轉換是否正確。注意，無論選擇哪種方法，確保分片執行的正確性都不依賴于任何誠實大多數假設。

GithubPR鏈接

https://github.com/ethereum/eth2.0-specs/pull/2146

Tags：BLOETHLOTSLOTBlockVoiceeth化學縮寫METACLOTH幣SLOT幣

狗狗幣