IPFS技術系列 | 揭秘IPFS數據交換模塊Bitswap_BLOCK:BLO

導?讀

本文為IPFS系列文第4篇，詳解IPFS的核心模塊——Bitswap。

星際文件系統是一個旨在創建持久且分布式存儲和共享文件的網絡傳輸協議。

與傳統的文件系統不同，它是一種基于內容尋址的點對點超媒體分發協議。

IPFS網絡中的節點構成一個分布式文件系統網絡，其中Bitswap是IPFS的核心模塊，負責與網絡中其他節點之間請求和發送數據塊。

圖1

IPFS將文件分解為稱為block的數據塊，這些塊由內容標識符標識。?

IPFS文件內容存儲在不同的節點上，每個節點存儲rootblock，少量節點存儲完整文件數據，大部分節點存儲部分文件block。因為block分散存儲在不同節點，Bitswap協議解決了從多個節點高效獲取全部數據塊的問題。

圖2?多節點文件存儲示意圖

總體架構

本文基于Bitswapv0.3.3版本進行分析。

星際聯盟董事長：IPFS分布式存儲擁有巨大的未來市場潛力:3月10日，2021年IPFS分布式存儲高峰論壇在南京香格里拉大酒店隆重召開。星際聯盟董事長房俊在會上發表了精彩的主題演講。他回顧了自己投身區塊鏈的創業經歷，他表示IPFS分布式存儲是一條萬億級別的賽道，擁有巨大的未來市場潛力。

?房俊介紹了星際聯盟的發展概況，包括公司“達摩五指”的戰略方針以及江西大數據中心的發展情況，以及正在籌建的星際聯盟江西大數據產業園，該園建成后將成為國內規模最大的IPFS分布式存儲產業園。此外，房俊向大家隆重介紹了星際聯盟最新發布的飛馳瀏覽器。作為用戶群體最廣泛、支持語言版本最多，得到官方Devgrant資助的瀏覽器，一經推出就受到了市場的一致好評。

“客戶第一，員工第二，股東第三”，房俊表示，星際聯盟將秉承這一核心價值觀，致力于成為IPFS分布式存儲領域的引領者。[2021/3/10 18:32:30]

IPFS向Bitswap獲取block，Bitswap是IPFSexchange接口的具體實現，負責完成IPFS網絡數據交換功能。

圖3?Bitswap組件架構圖

Bitswap協議內容比較繁瑣，為了降低實現復雜度協議劃分為block請求模塊、block發送模塊、會話管理模塊、block提供者發現模塊、網絡模塊等。

EXX交易所上線首期IPFS云算力 5分鐘即售罄:據EXX交易所消息，香港時間7月13日15:30開啟的“IPFS-Filecoin-01”云算力專區首期搶購活動，上線5分鐘即售罄。為滿足用戶挖礦需求，EXX交易所表示將在7月13日16:30繼續上線“IPFS-Filecoin-02”第2期云算力產品。

此次EXX交易所上線的“IPFS云算力”產品，旨在助力平臺用戶更安全高效獲得FIL代幣收益，共享IPFS發展紅利，同時助力IPFS生態良性發展。

據悉，EXX交易所已于香港時間2020年7月6日16：00上線并開放FIL/USDT期貨交易對，正式進軍IPFS和Filecoin生態賽道。EXX交易所致力于數字資產在全球的普及與發展，使用多重安全防護技術打造，為數字資產愛好者提供安全、穩定、快捷的交易渠道，讓用戶交易更放心。[2020/7/13]

Bitswap模塊負責接收新的消息并且提供對外數據交換接口。

session管理模塊用來管理多個session，每個session管理一組文件的下載，來提高下載效率。

block發送模塊負責管理向其它節點發送數據塊。block請求模塊負責管理數據塊的請求。block提供者發現模塊負責通過DHT網絡發現網絡中的數據塊，通常session找不到已擁有所需block的節點時會調用此模塊進行數據塊發現。

協議概述

WBF交易所正式開啟第一期“瓦特IPFS云算力”已售罄:據官方消息，2020年7月9日15:00，WBF交易所正式開啟第一期“瓦特IPFS云算力”認購活動僅用時12分16秒售罄。第二期“瓦特IPFS云算力”的認購活動將于2020年7月10日15:00開始，請提前登錄確保WBF幣幣賬戶中有足額的USDT。

IPFS構想由Juan Benet于2014年5月提出，目前受到眾多投資機構的關注。此次WBF上線“I瓦特IPFS云算力”產品，旨在助力平臺用戶更安全高效獲得FIL代幣收益，共享IPFS發展紅利，同時助力IPFS生態良性發展。

WBF交易所集團于2019年上線FIL6，全面切入IPFS和Filecoin生態賽道。截至2020年6月27日，WBF交易所全球真實注冊用戶已突破500萬，最高日活達24萬。[2020/7/9]

為了完成節點間block交換，Bitswap定義了通信消息及通信協議。

圖4

Bitswap消息處理流程：

1、IPFS請求文件區塊，Bitswap發送want-have消息攜帶CID1信息到連接的所有節點。節點根據自己是否有CID1文件塊返回have或dont-have消息。

幣碼翁研究院凌發明：IPFS領域的創業有交易所、商業應用和咨詢機構等幾大方向:2020年6月22日，由金色財經主辦，節點咨詢、IPFS100.com承辦，IPFS星際特工等聯合主辦的“星際漫游指南——IPFS技術與應用研討論壇”在深圳拉開帷幕。論壇上幣碼翁凌發明，在題為《如何正確認識IPFS生態 創業機會在哪里》的主題演講中指出，IPFS&Filecoin領域的創業有三個方向：首先，泛IPFS項目后來居上，用戶數量會呈幾何倍數增量，為交易所帶來大量的用戶；其次商業應用會呈現線性增長，價值不斷涌現；最后，咨詢機構包括媒體、投資、孵化等，作為行業生態必不可少的角色，有很大發展空間。[2020/6/22]

2、client向擁有CID1的節點發送want-block消息，節點返回相應的block消息。

3、當沒有節點有請求的block，Bitswap廣播want-have到所有的連接節點，或者通過DHT查找擁有文件區塊的節點。

模塊詳解

▲?Bitswap模塊

Bitswap模塊負責接收新消息并且實現對外的數據交換接口。

當接收到新消息后，Bitswap處理流程：

1、記錄有關消息的一些統計信息

2、通知發送模塊wants消息，這樣數據發送模塊可以根據實際情況向需求節點發送響應消息。

動態 | 基于IPFS的分布式搜索引擎IPSE獲金沙江數字基金投資:分布式搜索引擎項目IPSE獲得金沙江數字基金投資，該輪投資金額未披露。IPSE是基于IPFS的搜索引擎系統，旨在實現文件安全存儲，經過智能索引讓用戶快速而高效地訪問到星際文件系統上的文件。（IPSE中文社區）[2020/2/13]

3、通知發送模塊任何收到的blocks，發送模塊根據節點的需求列表可以將接收到的塊發送給任何需要它們的節點

4、向SessionManager通知接收到的blocks，HAVEs和DONT_HAVEs消息，這樣SessionManager可以通知消息相關的session。

Bitswap通過FacadePattern提高了模塊使用的便利性，使得Bitswap子系統的用法變得簡單，避免了IPFS和Bitswap的高度耦合。

▲?Session管理模塊

session管理模塊用來管理多個數據塊下載session，每個session管理一組文件的下載。

當SessionManager收到新消息時，它將

1、通知BlockPresenceManager組件跟蹤每個block。

2、通知對接收到的block感興趣并想要的Sessions。

3、通知PeerManager組件收到的block，PeerManager檢查是否有任何wants被發送到節點以接收已經收到的塊。?如果是這樣，它將向那些節點發送“CANCEL”消息，防止其它節點重復發送消息。

Session管理模塊通過協調多個session的數據需求來提高數據交互的效率，避免數據塊的重復請求、發送。

▲?Session模塊

Session管理一組文件的下載，用來提高一組文件塊，比如單個文件下載效率。當IPFS調用Bitswap時，Bitswap會創建一個新的Session并調用Session的相應方法，比如GetBlocks()獲取blocks。Session會管理一個節點列表，數據獲取過程只會向session中的節點獲取數據，而不是所有的連接節點。當Session中的節點都沒有某個block時，Bitswap才會通過DHT獲取具有block的節點并加入session。

由于session剛開始沒有任何節點，處于“discovery”模式。當IPFS最初從session請求block時，該session處理流程如下：

1、通知SessionInterestManager組件它感興趣的block。

2、通知sessionWantManager組件需要的block。

3、通知PeerManager組件向連接節點發送“want-have”消息，以發現哪些節點有需要的block。

4、查詢ProviderQueryManager組件以發現哪些節點具有該block。

當session收到帶有“HAVE”或“block”的消息時，它將通知SessionPeerManager組件。

當session收到帶有“block”的消息時，它將通知SessionInterestManager組件。

一旦session具有節點，就不再處于“discovery”模式。當IPFS請求后續block時，session將通知sessionWantSender組件。sessionWantSender組件通知PeerManager組件向會話中的節點發送“want-have”和“want-block”消息。

對于session所需的每個block，sessionWantSender組件通過與BlockPresenceManager組件核對哪些節點已為該block發送了“HAVE”，來確定哪個節點最有可能擁有該block。如果多個節點發送過“HAVE”，則會根據先前請求回復速度來選擇節點。

由于DHT內容發現速度慢并且網絡帶寬消耗大，session通過向一組含有目標數據塊可能性大的節點獲取數據，從而大大提高了數據塊獲取的效率。

▲?Block發送模塊

block發送模塊負責管理向其它節點發送數據塊，包含節點需求管理組件和消息發送任務隊列。

Engine是block發送模塊的處理類，當Engine被告知有新的wants時

1、將want添加到Ledger，Ledger會存儲每個節點的需求列表。

2、檢查blockstore中的相應block，并將任務添加到PeerTaskQueue組件。如果block庫沒有想要的block，則添加“DONT_HAVE”任務；如果blockstore有block，對于“want-have”添加了“HAVE”任務，對于“want-block”添加了“block”任務。

3、當Engine收到新block的消息時，它會檢查Ledger以查看是否有節點需要此block。對于發送“want-have”的每個節點向PeerTaskQueue組件添加一個?“HAVE”任務，對于為發送了“want-block”的每個節點，向PeerTaskQueue組件添加一個“block”任務。

4、Engine會定期從PeerTaskQueue組件中取出任務，并創建帶有“blocks”，“HAVEs”和“DONT_HAVEs”的消息。

PeerTaskQueue組件通過對任務進行優先級排序，發送隊列中數據量最少的節點方具有最高優先級，通過這種流控措施，提高數據塊發送處理效率。

▲?數據塊請求模塊

Block請求模塊負責管理數據塊的請求。PeerManager組件為連接到Bitswap的每個節點創建一個MessageQueue組件，記錄了“want-have”?、“want-block”已發送到哪個節點，并將任何新的wants定向到正確的節點。并且MessageQueue組件通過合并多個want為一條消息，然后將該消息發送給節點，從而提高了消息發送效率。

▲?內容發現模塊

當Bitswap找不到已擁有所需block的節點時，它會使用DHT進行內容發現。Bitswap通過ProviderQueryManager組件管理這些請求，ProviderQueryManager組件對請求進行速率限制，并對進行中的請求進行重復刪除處理。

總結

Bitswap作為IPFS網絡數據交換接口的具體實現，設計并實現了一套高效的節點間交換數據的協議。

協議主要關注點是如何快速、高效獲取需要的block，其中包括節點選擇策略，如何最大化利用每個節點的能力。

Bitswap通過FacadePattern提高了模塊使用的便利性，在具體實現上解耦復雜依賴到各功能模塊，從而降低系統實現的復雜度。

作者簡介

馬耀耀來自數據網格實驗室BitXMesh團隊研究方向：P2P網絡、數據安全傳輸

參考資料

https://github.com/ipfs/go-bitswap/blob/master/docs/how-bitswap-works.md

https://github.com/ipfs/specs/blob/master/BITSWAP.md

Tags：BLOLOCKBLOCKLOCblockchainresearchandapplicationBlockgameChainBlockSwap Networkblockchain安全嗎

酷幣