共識算法,可以理解為是為了實現分布式一致性協議而產生的一系列流程與規則。當分布在不同地域的節點都按照這套規則進行協商交互之后,最終總能就某個/某些問題得到一致的決策,從而實現分布式系統中不同節點的一致性。
起源
早期的計算機應用大都是單體架構,即單個處理器就能夠承接所有的計算任務、讀寫任務等,那時候的計算機只需要負責將自己收到的任務按序執行、提交并返回即可,因此在那個時期,研究人員的主要研究內容是如何將單核處理器的性能優化到極致。然而,隨著互聯網的出現與發展,數據量呈現爆發式增長,單靠一個處理器已經無法滿足常規的業務需求,分布式系統架構橫空出世。
分布式系統簡單來說就是一系列處理器/節點通過消息交互的形式協同處理一系列的事務,從而達到橫向擴展性能、提升災備屬性的效果。為了能夠達到橫向擴展,需要所有節點共享相同的數據副本,自然而然地也就解決了單點故障的問題。分布式系統極大提升了單體架構的性能上限,但也不可避免地引入了分布式一致性問題。分布式一致性問題指的是:
在分布式系統中,當某些節點出現異常時,如何保證整個系統對外的表現仍然一致。
這里需要關注3個詞語,即“某些”、“異常”以及“一致”。
一致:分布式一致性大致分為強一致性、弱一致性、最終一致性,由于各個分類涉及的細節較多,本文不做過多贅述。異常:在分布式系統中,不同節點通常分布在不同的地域,因此同一時間不同節點的狀態可能不受控。節點可能出現一些良性錯誤,例如宕機、網絡延遲/斷開等;也可能出現一些惡意錯誤,例如偽造消息、向不同節點發送不同的投票等。良性錯誤通常是由于機器/網絡故障導致的節點暫時不在線,通過人為介入是可以恢復到宕機之前的狀態的,因此不會對整個系統的安全性造成威脅;而惡意錯誤也就是我們通常所說的拜占庭錯誤,則可能由于某些節點的惡意攻擊導致整個集群出現不可預估的崩潰。某些:為了應對上述兩種不同類型的錯誤,我們需要設計不同的協議來解決/容忍有限量的錯誤。通常來說,非拜占庭容錯的共識算法能夠容忍不超過1/2的節點出現良性錯誤;拜占庭容錯的共識算法能夠容忍不超過1/3的節點出現良性/惡意錯誤。分布式系統的一致性問題早在上世紀七八十年代就開始了研究,奠定了非常扎實的理論基礎,不過在后來相當長的一段時間內理論研究幾乎停滯。直到近年來,區塊鏈系統的出現又促進了分布式一致性問題研究的蓬勃發展。本文將分別介紹分布式領域內一些非常重要的模型假設/定理/理論等。隨后,將從傳統分布式一致性算法與典型區塊鏈共識算法的角度剖析共識算法的發展歷程。
歐易OKEx將于3月18日推出DeFi系列科普視頻:據歐易OKEx官方消息顯示,歐易OKEx將正式推出DeFi系列科普視頻《歐易DeFi20講》,本系列節目由歐易OKEx亞太區CEO馬克金主講。該視頻首期將于3月18日11:00(HKT)推出,用戶可以在歐易OKEx官方學院、金色財經觀看。
《歐易DeFi20講》主要包含DeFi入門指南、全景解讀DeFi生態及如何參與DeFi三個篇章,可以輕松使用戶了解DeFi原理,洞察DeFi價值,掌握DeFi熱點,更多詳情請關注歐易OKEx官方學院。[2021/3/18 18:55:59]
網絡模型
分布式系統建立在許多通過網絡連接或者其他方式進行消息通信的節點之上,而網絡通信的不確定性會限制共識算法的設計。通信模型定義了不同消息延遲對于分布式系統的限制能力。總的來說,一共存在三種類型的通信模型,分別是同步模型、異步模型與部分同步模型。
同步模型
在同步模型中,所有節點之間的消息通信都存在一個已知的延遲上界,并且不同節點處理事務的相對速度差值有一個已知上界。同步模型是一個非常理想的通信模型,在現實生活中幾乎不可見,但是在分布式系統的理論研究中卻發揮著及其重要的作用,許多早期的分布式一致性算法都是在同步網絡假設下設計的。
異步模型
TRON數字錢包科普資料《波場錢包的現在過去與未來》已上線:據最新消息顯示,由TokenPocket聯合波場TRON官方,以及 TokenPocket 社區志愿者共同撰寫的《波場錢包的現在過去與未來》已正式上線。《波場錢包的現在過去與未來》又稱為波場錢包小白書,詳細介紹了當前TRON錢包與TRON生態密切結合的實例,是目前市面上最為詳細的TRON數字錢包科普資料。波場錢包作為波場公鏈生態中極為重要的入口,是波場生態的重要構成要素。波場錢包從一開始只提供權限管理、轉賬收款、節點投票等基礎功能,到如今不僅可以為用戶提供法幣交易、閃兌和去中心化交易所等方便快捷的交易服務,還能讓用戶直接在錢包上體驗波場上DApp,挖礦、DeFi、Staking等資產增值服務。詳情見原文鏈接。[2020/8/20]
在異步模型中,上述的假設上界都不存在,因此異步模型比較符合現實的互聯網環境。異步與同步相比,是一種更通用的情況。一個適用于異步系統的算法,也能被用于同步系統,但是反過來并不成立。在異步模型中設計一個正確的共識算法已經被證明是不可能的。
部分同步模型
部分同步模型是界于同步模型與異步模型之間的一種通信模型,于1988年由Dwork,Lynch等人在論文中提出。該模型中假設存在一個全局穩定時鐘GST,在GST之前整個系統可能處于異步狀態,但是在GST之后,整個系統可以恢復到同步狀態。部分同步模型的時序假設比較貼合現實世界中對共識算法的需求,即共識總是可以在同步狀態下完成,然而一旦網絡出現問題,共識可能會進入一段時間的阻塞,直至網絡恢復正常。
聲音 | 浪潮集團云南分公司總經理:云南區塊鏈產業發展需從“科普”到“專精”不斷深化:據昆明日報消息,浪潮集團云南分公司總經理鄭昕表示,云南區塊鏈產業發展需從“科普”到“專精”不斷深化。下一步,浪潮將繼續加大云南農業產業高質量發展體系建設力度,重點以普洱茶等云南優勢產業為切入點,打造云南“綠色、有機農產品高地”的品牌形象,并在此基礎上,開展基于區塊鏈的供應鏈金融服務,解決中小企業貸款難、貸款貴問題。[2019/11/11]
拜占庭將軍問題
1982年,LeslieLamport、RobertShostak和MarshallPease三位科學家發表了一篇論文,提出了著名的拜占庭將軍問題。拜占庭將軍問題首次假設了分布式系統中存在惡意節點的情況,并給出了在同步網絡模型下的解法。在拜占庭將軍問題中,節點不止會出現宕機或者斷網等良性錯誤,還有可能出現任意情況的拜占庭錯誤,例如硬件或者軟件故障導致的節點不按程序邏輯運行,甚至于節點程序被人惡意操縱等等。總之,拜占庭錯誤更加貼近于實際生活中面臨的故障模型,同時它也是分布式系統中最難解決的故障模型。
根據是否容忍拜占庭錯誤,我們可以將共識算法分為兩類:
CFT類共識算法:僅能夠容忍宕機、網絡延遲/斷開等良性錯誤的共識算法BFT類共識算法:除了能夠容忍上述錯誤,還能夠容忍任意類型的惡意攻擊的共識算法
動態 | 人民日報官方微博科普區塊鏈 強調區塊鏈不等于比特幣:人民日報官方微博今早發表9圖科普區塊鏈。其中涉及區塊鏈的特點有:1、安全;2、不可篡改;3、可訪問;4、無第三方。區塊鏈對未來的影響:1、不需繁瑣個人證明;2、看病避免反復檢查;3、旅行消費更加便捷;4、交易無需第三方。同時強調,區塊鏈不等于比特幣。比特幣只是區塊鏈技術的一種應用,區塊鏈還有醫療衛生、食品安全、版權保護等諸多應用領域。[2019/10/28]
FLP不可能定理
1985年,Fischer、Lynch和Patterson三位科學家發表了論文,提出了著名的FLP不可能定理。作為分布式系統領域內最重要的定理之一,它給出了一個非常重要結論:在一個異步通信網絡中,只要存在一個故障節點,那么就不存在一種完美的共識算法可以正確的終止。
FLP的出現,從理論的角度告訴人們可以不用再想方設法地去設計一個異步網絡中始終能夠達成一致的共識算法。因此,后續的共識算法設計中通常會在某些方面做出妥協,例如網絡假設不再是異步模型而是選擇部分同步模型,即允許存在一定時間的異步網絡狀態,該期間無法達成共識,但是只要網絡恢復到同步狀態,就可以立即完成共識,這樣雖然對于系統的活性有一定的影響,但是只要能夠保證系統的安全性,依然是一個可接受的共識算法。
CAP理論
聲音 | 火星人朋友圈科普RAM:火星人在朋友圈發文稱,“什么是RAM?簡單來說就是EOS這個國家的土地,所有的經濟行為都離不開土地。只要EOS的BP們能投票形成一個穩定的供給預期,并且不改變目前的Bancor算法,那么RAM后續的價格有可能會像北上廣深的房價走勢。房價下跌不行,房價過快上漲也不行,EOS的生態越來越像某國了,真有意思。”[2018/7/6]
2000年,加州大學伯克利分校的EricBrewer教授在ACMPODC會議上提出CAP猜想。2年后,麻省理工學院的SethGilbert和NancyLynch從理論上證明了CAP。此后,CAP理論正式成為分布式領域的公認定理:一個分布式系統最多只能同時滿足如下三種特性中的兩種:
一致性可用性分區容錯性在分布式系統尤其是區塊鏈系統中,營造一個高可用甚至永遠不會出錯的網絡環境需要付出高昂的代價。因此一般來說,區塊鏈系統必須滿足分區容錯性這一特質。那么對于區塊鏈系統來說,就只能在一致性與可用性之間做出權衡與讓步。例如大型公鏈系統中有成千上萬的節點運行在世界的各個角落中,因此幾乎不可能設計出一個強一致的共識算法保證所有節點同時對外提供一致的讀寫服務。PoW算法是通過犧牲強一致性,退而求其次地滿足最終一致性、可用性與分區容錯性。盡管PoW網絡隨時有分叉的可能性,即已經上鏈的區塊有可能被回退掉,但是隨著時間的推移,靠前的區塊得到越來越多的確認,那么其被回退的可能性就越來越低,以至于達到一種幾乎不可能被回退的最終一致性。在此期間,每一個節點都可以正常的對外提供讀寫服務。
總結
通過前人的研究,我們已經能夠大致理解了一個共識算法能夠正確運轉的條件:即在一個傳統的分布式系統中,一個實用的共識算法需要能夠安全地運行在部分同步網絡模型中。其實,早期分布式一致性算法的研究大都集中在非拜占庭的部分同步網絡模型環境下,例如經典的Paxos、ViewStampedReplication、ZAB等。直到PBFT算法的提出,才出現了第一個可實用的拜占庭容錯共識算法原型。上述這些算法本身已經能夠非常好地解決一致性的問題,因此在相當長的一段時間內,都沒有新型共識算法被提出。但是近年來,隨著人們對于共識算法可理解性、易實現性、吞吐量等要求的不斷提高,涌現出了非常多優秀的共識算法,例如CFT類的RAFT、BFT類的HotStuff等。
在區塊鏈系統或者說比特幣出現之前,已經有非常多的應用從單數據中心單數據庫模式轉變成了多地多中心的分布式數據庫模式,然而此類的應用通常還是部署在同一個機構/公司內部服務器上。與此不同的是,在區塊鏈這樣一個承載著價值傳輸的分布式系統上,節點可能分布在全球各地,并且不受任何單一的機構/組織控制,因此區塊鏈共識算法必須要考慮到惡意節點的存在,保證區塊鏈上的價值不會被惡意節點操縱,即區塊鏈共識算法是需要容忍拜占庭錯誤的。而為了能夠應對拜占庭攻擊,不同的區塊鏈系統走上了不同的道路。
在公有鏈中,常見的選擇是通過工作量證明算法來防止拜占庭攻擊,由于每次競爭出塊權都需要解決一個非常復雜的數學難題,因此在這第一步就已經阻擋了絕大多數的攻擊者;其次,每一個新構造出來的區塊都必須經過其他礦工節點的驗證,因此不可能在區塊中包含非法/重復的交易;而如果想要偽造一條包含非法交易的鏈,除非攻擊者掌握全世界范圍內超過50%的算力,這顯然是不可能的,即便存在這樣一條鏈,一旦被發現有非法交易存在必然會導致該鏈信譽的下降從而導致巨量的損失,這對于攻擊者來說顯然也是不合算的。最終,上述的規則會引導所有嘗試出塊的節點都到一條“正確的最長鏈”上競爭,因為這樣做才是利益最大化的選擇。
在聯盟鏈中,常見的選擇是通過理論完備的BFT共識算法來防止拜占庭攻擊。由于聯盟鏈的共識節點通常由參與方機構管理,因此準入門檻本身就比較高;其次,聯盟鏈中的共識缺乏經濟激勵,因此需要通過更強的理論來進行約束。然而完全按照一個共識算法的原型來實現的話,依舊會存在一些問題。例如,傳統PBFT算法中主節點是固定的,如果能夠控制主節點,即便不讓它打包非法交易,也可以控制它偏向性地打包某些賬戶的交易,從而導致其他賬戶的交易被阻塞而無法上鏈。因此,在應用BFT共識算法的過程中,還需要為區塊鏈特性加上一些特殊的功能,例如選擇不可預測的主節點,為節點加上信譽值從而通過信譽值來選擇主節點等。
敬請期待下篇《什么是共識》
作者簡介
端豪
趣鏈科技基礎平臺部共識算法研究小組
參考文獻
DworkC,LynchN,StockmeyerL.Consensusinthepresenceofpartialsynchrony.JournaloftheACM(JACM),1988,35(2):288-323.
LamportL,ShostakR,PeaseM.TheByzantinegeneralsproblem//Concurrency:theWorksofLeslieLamport.2019:203-226.
FischerM?J,LynchNA,PatersonMS.Impossibilityofdistributedconsensuswithonefaultyprocess.JournaloftheACM(JACM),1985,32(2):374-382.
Tags:區塊鏈DEFIEFIDEF區塊鏈dapp開發一個多少錢DeFinomicsdefi幣多少錢一個PeakDeFi
原標題:《空手套白狼——Popsicle被黑分析》2021年08月04日,據慢霧區消息,跨鏈收益率平臺PopsicleFinance的SorbettoFragola產品遭受黑客攻擊.
1900/1/1 0:00:00為了方便開發者們完成從以太坊網絡到Solana網絡的轉換,2021年7月20日,NeonLabs宣布將在Solana測試網部署其跨鏈EVM解決方案.
1900/1/1 0:00:00撰文:AnthonySassano&Nader 編輯:南風 自以太坊EIP-1559提案于2019年4月首次被提出以來,以太坊社區對其進行了大量宣傳.
1900/1/1 0:00:00據U.Today8月5日消息,ConsenSys創始人、以太坊聯合創始人JosephLubin在接受BloombergTV采訪時表示,“下一代經濟”(以太坊)將比“狹義貨幣體系”大幾個數量級.
1900/1/1 0:00:001.新澤西州延長BlockFi停止在該州提供計息賬戶的最后期限2.加納副總統:非洲應接受數字貨幣,以促進整個非洲大陸的貿易3.PayPal將推出擁有加密貨幣功能的超級應用錢包.
1900/1/1 0:00:00原標題:《金色前哨|騰訊上線NFT交易App首期發售300枚NFT》繼支付寶之后,國內互聯網巨頭騰訊也進軍NFT了.
1900/1/1 0:00:00