a16z：如何通過零知識證明驗證鏈上機器學習算法？_NAR:ARK

原文標題：Checksandbalances：Machinelearningandzero-knowledgeproofs

原文作者：ElenaBurger，a16z

原文編譯：DeFi?之道

在過去的幾年里，區塊鏈上的零知識證明主要用于兩個關鍵目的：(?1)通過在鏈下處理交易并在主網上驗證結果來擴展計算受限網絡的規模；(?2)通過實現屏蔽交易來保護用戶隱私，只有擁有解密密鑰的人才能查看。在區塊鏈背景下，這些特性顯然是可取的：去中心化網絡不能在不對驗證者處理能力、帶寬和延遲提出無法承受的要求的情況下提高吞吐量或區塊大小，所有交易都對任何人可見。

但零知識證明對于第三類功能也是有用的：高效地驗證任何類型的計算已經正確運行。這對區塊鏈之外的領域也有很大影響。

現在，利用零知識證明簡潔地驗證計算能力的系統的進步使用戶能夠從每一個數字產品中要求與區塊鏈所保證的相同程度的無信任和可驗證性，尤其是從機器學習模型中。區塊鏈計算的高需求激勵了零知識證明研究，創造了具有較小內存占用和更快證明和驗證時間的現代證明系統——使得現在可以在鏈上驗證某些小型機器學習算法。

到目前為止，我們都可能已經體驗到了與一個非常強大的機器學習產品互動的潛力。幾天前，我用?GPT-4?幫助我創建了一個能連續擊敗我下棋的?AI。這感覺像是過去幾十年里機器學習取得的所有進步的一個詩意的縮影：IBM?的開發人員花了十二年時間制作出?DeepBlue，一個運行在?32?節點?IBMRS/6000SP?計算機上、能每秒評估近?2?億個棋步的模型，該模型在?1997?年擊敗了國際象棋冠軍加里·卡斯帕羅夫。相比之下，我花了幾個小時——在我這邊只進行了最少的編碼——就創建了一個能戰勝我的程序。

鏈游開發商CCP Games完成4000萬美元融資，a16z領投:金色財經報道，鏈游開發商 CCP Games 完成 4000 萬美元融資，a16z 領投，Makers Fund、Bitkraft、Kingsway Capital、Nexon、Hashed 等參投。

據悉，CCP Games 本輪融資用于制作一款以 Eve Online 宇宙為背景的新的 3A 區塊鏈游戲。[2023/3/21 13:17:43]

誠然，我懷疑我創建的?AI?是否能在國際象棋上擊敗加里·卡斯帕羅夫，但這并不是重點。重點是任何玩弄?GPT-4?的人都可能在獲得超能力方面有類似的經歷：你只需要付出很小的努力，就可以創造出接近或超越你自己能力的東西。我們都是?IBM?的研究員；我們都是加里·卡斯帕羅夫。

顯然，這讓人興奮又有些畏懼。對于任何在加密貨幣行業工作的人來說，自然的反應是考慮潛在的集中化途徑以及如何將這些途徑去中心化，形成一個人們可以透明審計和擁有的網絡。現在的模型是通過吞噬大量公開可用的文本和數據制作的，但目前只有少數人控制和擁有這些模型。更具體地說，問題不是“人工智能是否具有巨大價值”，而是“我們如何構建這些系統，使得與之互動的任何人都能獲得其經濟利益，并在他們希望的情況下，確保他們的數據以尊重隱私權的方式使用”。

最近，有人呼吁暫停或減緩類似?Chat-GPT?這樣的重大人工智能項目的發展。阻止進步可能不是解決方案：更好的方法是推動開源模型，并在模型提供商希望保護其權重或數據私密性的情況下，使用保護隱私的零知識證明對它們進行保護，這些證明在鏈上并且可以完全審計。如今，關于私有模型權重和數據的后一種用例尚無法在鏈上實現，但零知識證明系統的進步將在未來實現這一目標。

Web3游戲發行商Carry1st完成2000萬美元融資，a16z領投:1月19日消息，Web3 和社交游戲發行商 Carry1st 在 A 輪融資中籌集了 2000 萬美元，以進一步擴大在非洲的產品開發，本輪投資由硅谷風險投資公司 Andreessen Horowitz （A16z）領頭， Avenir 和谷歌母公司 Alphabet 參投，Carry1st 的現有支持者，包括 Riot Games、Konvoy Ventures、Raine Ventures 和 TTV Capital 繼續支持，一些著名的個人投資者也參與其中，包括Nas和Chipper Cash、Sky Mavis 和Yield Guild Games的創始人。

Carry1st 將利用這筆現金注入來擴大其內容組合，壯大內部開發團隊，并引領新的增長戰略以吸引數千萬新用戶。Carry1st 表示，它提供了一個全棧發布解決方案，為其合作伙伴處理用戶獲取、現場運營、社區管理和貨幣化。其增長戰略的一個關鍵支柱是開發基礎設施以支持“玩賺”（P2E）游戲，這使用戶可以通過他們的游戲體驗獲利。（Cointelegraph）[2022/1/20 9:00:06]

可驗證和可擁有的機器學習

我使用?Chat-GPT?構建的國際象棋?AI?在目前看來相對無害：輸出相對一致的程序，不使用侵犯有價值知識產權或侵犯隱私的數據。但當我們想確保我們被告知的在?API?后面運行的模型確實是運行過的模型時會怎么樣？或者，如果我想將認證過的數據輸入到鏈上的模型中，并確保數據確實來自合法方？如果我想確保提交數據的“人”實際上是人而不是試圖對我的網絡發起拜占庭攻擊的機器人呢？零知識證明及其簡潔地表示和驗證任意程序的能力是一種解決方法。

a16z領投Mainframe Industries 2300萬美元B輪融資，用于構建元宇宙:11月30日消息，a16z宣布領投云游戲初創公司Mainframe Industries B輪融資。根據Mainframe Industries新聞稿，該輪融資總額為20.3萬歐元（約合2300萬美元），其他投資者包括 Riot Games 等所有先前投資者、Twitch 聯合創始人 Kevin Lin、Huuuge Games 創始人兼首席執行官 Aton Gauffin和Dreamhaven等。

Mainframe成立于2019年4月，為一家泛歐游戲開發商，目前正在利用云和云流媒體服務，構建一個完全云原生的 MMO游戲（大型多人在線游戲）。a16z曾參與其A輪融資。[2021/11/30 12:40:57]

需要注意的是，目前在鏈上機器學習背景下，零知識證明的主要用途是驗證正確的計算。換句話說，在機器學習背景下，零知識證明和更具體的?SNARK最有用的地方在于它們的簡潔性特性。這是因為零知識證明保護了證明者免受窺視者的侵犯。完全同態加密、功能加密或可信執行環境等增強隱私的技術更適用于讓不受信任的證明者在私有輸入數據上運行計算。

讓我們退后一步，從高層次了解可以用零知識表示的機器學習應用類型。零知識證明通常將程序表示為算術電路：使用這些電路，證明者從公共和私有輸入生成證明，驗證者通過數學計算來確保此語句的輸出是正確的——而不獲取關于私有輸入的任何信息。

我們仍處于使用鏈上零知識證明驗證計算的非常早期階段，但算法的改進正在擴大可行的范圍。以下是五種在機器學習中應用零知識證明的方法。

1.模型真實性：您希望確保某個實體聲稱已經運行的機器學習模型確實是運行過的模型。例如，在某個模型位于?API?后面的情況下，提供特定模型的實體可能有多個版本，例如一個較便宜、準確度較低的版本，以及一個較貴、性能更高的版本。沒有證明，您無法知道當您實際支付了更昂貴的版本時，提供商是否為您提供了更便宜的模型。

a16z將“開源”其DeFi委托計劃:金色財經報道，風險投資巨頭Andreessen Horowitz (a16z) 周四在一篇博客文章中表示，將“開源”其去中心化金融 (DeFi)委托計劃，并首次揭示了Kiva和Mercy Corps等新受益者。據悉，A16z此前曾透露，已將代幣委托給學生經營的組織，包括斯坦福區塊鏈俱樂部、哈佛法律區塊鏈和金融科技計劃、加州大學洛杉磯分校的區塊鏈組織和伯克利的區塊鏈組織。然而，該做法是存在爭議的。DeFi Watch創始人Chris Blec聲稱，該計劃的提案主要是由a16z委托人決定的。他向a16z發布了一封公開信，呼吁提高該委托計劃運作方式的透明度。在周四的博文中，a16z分享了有關其代幣委托流程的更多細節，包括最佳實踐列表、如何評估代表、法律機制、公司現有代表網絡的構成和未來改進的想法。a16z表示，委托是一種鼓勵“長期發展一個更高質量的管理機構”的有效方法。a16z鼓勵社區自由使用這個框架、修改并提出批評，并最終提供反饋以對其進行改進。[2021/8/27 22:40:08]

為此，您需要為每個模型實例提供單獨的證明。一個實際的方法是通過?DanBoneh、WilsonNguyen?和?AlexOzdemir?的功能承諾框架，這是一個基于?SNARK?的零知識承諾方案，允許模型所有者承諾一個模型，用戶可以將他們的數據輸入到該模型中，并接收到已經運行的承諾模型的驗證。一些基于?RiscZero的應用程序也實現了這一點。DanielKang、TatsunoriHashimoto、IonStoica?和?YiSun?進行的其他研究表明，可以在?ImageNet?數據集上驗證有效的推斷，準確率為?92%?。

但僅僅接收到已提交模型已運行的證明并不一定足夠。一個模型可能無法準確地表示給定的程序，因此您會希望第三方審核已提交的模型。功能承諾允許證明者證明其使用了已承諾的模型，但不能保證已承諾模型的任何信息。如果我們能讓零知識證明在證明訓練方面表現得足夠好，我們將來也可能開始獲得這些保證。

A16Z支持的工資支付平臺Deel宣布支持比特幣、以太坊和瑞波幣:在新冠病疫情期間，工資支付平臺Deel獲得了4400萬美元風險投資，最近該平臺宣布推出一款新工具，允許遠程工作的職員拿到以加密貨幣形式支付的工資。據Deel公司透露，通過與Coinbase合作，這款工資支付工具支持比特幣、以太坊和瑞波幣三種加密貨幣，而且可以“實時提現”，但前提是員工必須要有一個Coinbase賬戶。Deel公司成立于2018年，今年五月獲得硅谷知名投資公司Andreesen Horowitz（A16Z）領投1400萬美元A輪融資，五個月后又完成了一筆3000萬美元B輪融資，投資方是Spark Capital。（The Block）[2020/11/12 14:07:17]

2.模型完整性：您希望確保相同的機器學習算法以相同的方式在不同用戶的數據上運行。這在您不希望應用任意偏見的領域非常有用，如信用評分決策和貸款申請。您也可以使用功能承諾來實現這一點。為此，您需要承諾一個模型及其參數，并允許人們提交數據。輸出將驗證該模型是否針對每個用戶的數據運行已承諾的參數。或者，可以公開模型及其參數，并讓用戶自己證明他們將適當的模型和參數應用于自己的數據。這在醫療領域可能尤其有用，因為法律要求某些關于患者的信息必須保密。將來，這可以實現一個醫學診斷系統，它能夠從完全私密的實時用戶數據中學習和改進。

3.認證：您希望將來自外部經過驗證的方的認證整合到鏈上運行的模型或任何其他類型的智能合約中。要做到這一點，您將使用零知識證明驗證簽名，并將證明作為程序的輸入。AnnaRose?和?TarunChitra?最近主持了一期零知識播客節目，嘉賓是?DanielKang?和?YiSun，他們探討了這一領域的最新進展。

具體來說，Daniel?和?Yi?最近發布了一項研究，探討了如何驗證由具有經過認證的傳感器的攝像機拍攝的圖像是否經過了如裁剪、縮放或有限遮蓋等變換，這在您希望證明圖像沒有經過深度偽造但確實經過了某種合法編輯的情況下很有用。DanBoneh?和?TrishaDatta?也做過類似的研究，使用零知識證明驗證圖像的出處。

但更廣泛地說，任何經過數字認證的信息都是這種驗證形式的候選對象：JasonMorton?正在開發?EZKL?庫，他稱這種方法為“賦予區塊鏈視力”。任何已簽名的端點都會產生可以驗證的數字簽名，這可能對于證明來自可信任方的出處和真實性非常有用。

4.分布式推理或訓練：您希望以分布式的方式執行機器學習推理或訓練，并允許人們向公共模型提交數據。為此，您可以將已有的模型部署到鏈上，或者設計一個全新的網絡，并使用零知識證明來壓縮模型。JasonMorton?的?EZKL?庫正在創建一種用于攝取?ONXX?和?JSON?文件并將它們轉換為?ZK-SNARK?電路的方法。最近在?ETHDenver?的一個演示表明，這種技術可用于創建基于圖像識別的鏈上尋寶游戲，游戲創作者可以上傳照片，生成圖像的證明，玩家可以上傳圖像；驗證器檢查用戶上傳的圖像是否與創作者生成的證明足夠匹配。EZKL?現在可以驗證多達?1?億個參數的模型，這意味著它可以用于在鏈上驗證?ImageNet?大小的模型。

其他團隊，如?ModulusLabs，正在為鏈上推理對不同證明系統進行基準測試。Modulus?的基準測試涵蓋了多達?1800?萬個參數。在訓練方面，Gensyn?正在構建一個分布式計算系統，用戶可以輸入公共數據，并通過分布式節點網絡進行模型訓練，同時驗證訓練的正確性。

5.人證明：您希望驗證某人是一個獨特的個體，而不損害其隱私。為此，您將創建一種驗證方法，例如生物識別掃描或以加密方式提交政府?ID?的方法。然后，您將使用零知識證明來檢查某人是否已經過驗證，而不會泄露關于該人身份的任何信息，無論該身份是完全可識別的，還是像公鑰那樣的偽名。

Worldcoin?通過他們的人證明協議來實現這一點，該協議通過為用戶生成獨特的虹膜代碼來確保抗攻擊性。關鍵的是，為?WorldID?創建的私鑰與項目的眼球掃描器本地生成的虹膜代碼完全分離。這種分離完全將生物識別標識符與可能歸因于某人的任何形式的用戶密鑰分離。Worldcoin?還允許應用程序嵌入一個?SDK，使用戶可以使用?WorldID?登錄，并通過允許應用程序檢查人是否擁有?WorldID?來利用零知識證明來保護隱私，但不允許跟蹤個別用戶。

這個例子是用零知識證明的隱私保護特性來對抗較弱且惡意的人工智能的形式，因此它與上述其他示例有很大不同。

模型架構和挑戰

在實現?SNARKs的證明系統方面的突破已經成為將許多機器學習模型上鏈的關鍵驅動力。一些團隊正在現有的架構中制作定制電路。在定制電路方面，Halo2?已成為?DanielKang?等人的工作和?JasonMorton?的?EZKL?項目中廣泛使用的后端。Halo2?的證明者時間近似線性，證明大小通常只有幾千字節，驗證者時間恒定。或許更重要的是，Halo2?擁有強大的開發者工具，使其成為開發者喜歡使用的?SNARK?后端。其他團隊，如?RiscZero，正在尋求通用?VM?策略。還有些團隊正使用基于求和檢查協議的?JustinThaler?的超高效證明系統創建定制框架。

證明生成和驗證器時間絕對取決于生成和檢查證明的硬件以及生成證明的電路大小。但這里需要注意的關鍵點是，無論代表的程序是什么，證明的大小總是相對較小，因此驗證證明的驗證者的負擔是受限的。然而，在這里有一些細微之處：對于像?Plonky?2?這樣使用基于?FRI?的承諾方案的證明系統，證明大小可能會增加。

對于機器學習模型的啟示是，一旦設計了一個準確表示模型的證明系統，實際驗證輸出的成本將非常便宜。開發者需要考慮的最重要的是證明者時間和內存：以一種可以相對快速證明的方式表示模型，并且證明大小理想地在幾千字節左右。要證明機器學習模型在零知識情況下的正確執行，你需要將模型架構、參數、約束和矩陣乘法運算編碼并表示為電路。這涉及將這些屬性分解為可以在有限域上執行的算術運算。

這個領域還處于起步階段。在將模型轉換為電路的過程中，準確性和保真度可能會受到影響。當模型表示為算術電路時，前面提到的模型參數、約束和矩陣乘法運算可能需要近似和簡化。當將算術運算編碼為證明的有限域中的元素時，可能會丟失一些精度。此外，機器學習模型的參數和激活通常以?32?位進行編碼以提高精度，但是今天的零知識證明無法在必要的算術電路格式中表示?32?位浮點運算，而不產生巨大的開銷。因此，開發者可能會選擇使用量化的機器學習模型，其中?32?位整數已經轉換為?8?位精度。這些類型的模型有利于表示為零知識證明，但是被驗證的模型可能是較高質量初始模型的粗略近似。

在這個階段，這確實是一場迎頭趕上的游戲。隨著零知識證明變得更加優化，機器學習模型變得越來越復雜。已經有一些優化的有前景的領域：證明遞歸可以通過允許證明用作下一個證明的輸入來減小整體證明大小，從而實現證明壓縮。還有一些新興的框架，比如?LinearA?的?ApacheTensor?虛擬機分支，該框架推出了一種轉換器，可以將浮點數轉換為零知識友好的整數表示。最后，我們在a16zcrypto?對未來的工作感到樂觀，它將使在?SNARKs?中表示?32?位整數變得更加合理。

“規模”的兩種定義零知識證明通過壓縮實現規模化：SNARKs?允許你將一個極其復雜的系統數學表示，使得驗證它的成本低于運行它的成本。另一方面，機器學習是通過擴展實現規模化的：如今的模型隨著更多數據、參數以及參與訓練和推理過程的?GPU/TPU?而變得更好。中心化公司可以以幾乎無限制的規模運行服務器：收取?API?調用的月費，并支付運營成本。

區塊鏈網絡的經濟現實幾乎正好相反：開發者被鼓勵優化他們的代碼，使其在鏈上運行既可行又便宜。這種不對稱具有巨大的優勢：它創造了一個需要提高證明系統效率的環境。我們應該尋求在機器學習中要求與區塊鏈提供的相同好處，即可驗證的所有權和共享的真實觀念。

盡管區塊鏈激勵了優化?zk-SNARKs，但計算相關的每個領域都將受益。

致謝：JustinThaler,DanBoneh,GuyWuollet,SamRagsdale,AliYahya,ChrisDixon,EddyLazzarin,TimRoughgarden,RobertHackett,TimSullivan,JasonMorton,PeiyuanLiao,TarunChitra,BrianRetford,DanielKang,YiSun,AnnaRose,ModulusLabs,DCBuilder。

Tags：區塊鏈AMENARARK區塊鏈技術的特點CAMELMercenaryquark

世界幣