以太坊交易所 以太坊交易所
Ctrl+D 以太坊交易所
ads
首頁 > 火必APP > Info

微眾銀行區塊鏈開源數據治理通用組件 釋放數據價值_DATA:data幣暴漲

Author:

Time:1900/1/1 0:00:00

隨著信息化、數字化、智能化的進程加速,特別是后疫情時代,數據在全球經濟運轉中的價值日益凸顯。今年三月底,數據更是被作為一種新型的生產要素寫入中央文件,與土地、勞動力、資本、技術等經典生產要素并列。

數據最終的價值來源于治理。只有經過采集、清洗、分析和處理后的數據,才能在流通中更順暢地使用,其價值才能得到更充分地挖掘。同時,隨著區塊鏈技術的蓬勃發展,區塊鏈漸趨規模化應用,鏈上數據總量呈指數級增長,其中蘊藏的巨大價值,也需要通過高效、規范的數據治理,才能得到充分彰顯。

微眾銀行區塊鏈在多年技術研究和應用實踐的基礎上,積極分析、總結行業需求,研發了一套數據治理通用組件解決區塊鏈數據治理的技術難題,多維提升開發、運營、運維效率。

目前,WeBankBlockchain-Data已在金融、公益、農牧產品溯源、司法存證、零售等多個行業落地和使用,歷經多個內外部生產環境項目的打磨,不斷以“輕量化、模塊化、通用化”的設計哲學進化,具備處理海量數據、高可用、可審計等能力。

為助力全行業伙伴提升區塊鏈數據治理的效率,實現數據從要素到資源的轉化,我們秉持一貫開源開放的理念,將WeBankBlockchain-Data面向社區和公眾完全開源,誠邀各行業伙伴攜手共建區塊鏈數據治理體系,為數據價值的全面釋放提供有效路徑。

數據治理通用組件解決什么問題?

在區塊鏈底層和區塊鏈應用之間,橫亙著一條區塊鏈技術、業務和產品的鴻溝,存在著區塊鏈數據擴容難度大、鏈上數據難以查詢和分析、典型場景缺乏通用化產品或組件支持等多種挑戰。

香港虛擬銀行富融Fusion Bank裁員,部分職位由微眾銀行員工取代:金色財經報道,騰訊參股的香港虛擬銀行富融銀行(Fusion Bank)上月更換行政總裁后傳出裁員消息,傳目前已裁員約20人,部分職位由騰訊的微眾銀行員工取代,部分 IT 員工被要求轉為合約工,富融銀行回應稱,為配合銀行戰略升級,銀行優化了現有商業計劃,并得到股東們的一致支持。在銀行戰略升級和業務發展中,需要優秀的金融和科技人才加入團隊,會根據正常程序在市場上招聘。數據顯示去年富融銀行虧損續擴大,經營支出增加25.1%至5.25億元,虧損由前年4.35億元擴大至去年的5.34億元。[2023/8/17 18:05:33]

社區也經常會有朋友問到:

區塊鏈節點服務器的磁盤快滿了,該怎么辦?

如何批量查詢智能合約里的數據?

我想查詢某個賬號發過的所有交易怎么查?

微眾銀行區塊鏈對賬方案是怎么做的,有沒有通用的解決方案?

……

為什么強大的區塊鏈還有這些問題呢?

首先,隨著區塊鏈數據的“爆炸式”增長,鏈上已經積累了億計的交易、幾T的數據,節點服務器逐漸無法滿足交易數據的存儲需求,單純對節點存儲空間進行擴容不僅開發成本高、硬件成本高,而且在數據擴容過程中因技術要求較高,易引發系統性風險,且不能一勞永逸地解決問題。另一方面,大量交易冷數據不僅浪費空間,而且會影響區塊鏈節點出塊和執行交易的性能。

聲音 | 張龍:微眾銀行近期將發布一款業界真正可用的跨鏈解決方案:12月7日,在以“從技術開源到產業連接”為主題的區塊鏈公開課。微眾銀行區塊鏈高級架構師張龍指出,當前的區塊鏈面臨節點多、數據量大、隱私保護以及賬戶治理等方面的挑戰。對此,微眾銀行采取同構跨鏈、多鏈平行擴容以及群組模式構建分層分組的縱深協作關系,采取分布式存儲方案應對性能和容量問題,采用分層設計和賬本加密解決隱私保護問題,在治理方面,管理者、使用者和建設者系統分離,各司其職。基于以上解決方案,微眾銀行聯合金鏈盟打造了開源區塊鏈底層平臺FISCO BCOS,自主研發并開源中間件平臺WeBASE、實體身份標識及可信數據交換解決方案WeIdentity、消息協作解決方案WeEvent,據張龍透露,微眾銀行近期還會發布一款業界真正可用的跨鏈解決方案。[2019/12/7]

其次,區塊鏈由于特定的鏈式存儲結構,鏈上數據只能通過智能合約接口的方式獲取和調用,不僅執行效率低下,且隨著鏈上數據的增加,其查詢和計算性能逐級衰減,無法滿足大數據分析和復雜查詢的訴求,比如需要檢索已經部署在鏈上的所有合約。基于特定場景的數據導出解決方案,由于智能合約存在較大差異,需要針對智能合約做特定開發,成本很高,不能復用。

最后,基于區塊鏈的可信數據缺乏通用的產品和可復用的組件,部分場景之間存在類似的需求,比如業務對賬、區塊鏈瀏覽器、業務分析、監管審計等。不同項目之間存在著大量重復的開發,費時費力,同時區塊鏈應用的開發者完成工作目標需要經歷陡峭的學習曲線,還可能在開發、測試中引入各類風險。

動態 | 微眾銀行聯合精友科技發布國內首款區塊鏈汽車數據庫:10月18日,由精友科技舉辦的第一屆保險科技創新精英大會在江蘇無錫舉辦。在大會上,微眾銀行與精友科技達成戰略合作,雙方將依托區塊鏈技術,整合多方資源打造國內首款區塊鏈汽車數據庫,進一步推動汽車行業無障礙合作與數據共享。[2019/10/18]

WeBankBlockchain-Data從底層數據存儲層、智能合約數據解析層和應用層等多個層次入手,提供區塊鏈數據挖掘、裁剪、擴容、可信存儲、抽取、分析、審計、對賬、監管等數據治理方面的關鍵能力,滿足數據治理全流程開發場景的需求,如下圖所示:

區塊鏈數據經過區塊鏈共識節點的多方共識,一旦生成就不會被修改。

在運維層,區塊鏈的歷史區塊數據可被數據倉庫組件完整或部分導出到本地。作為可信存儲鏡像,導出的數據僅在本地有效,被修改不會影響鏈上共識。我們建議使用方建立管理方法,限制對本地數據的修改。

在應用數據層,數據導出組件支持導出源數據、初步解析和基于合約解析的多維數據。所有參與者均可部署自己的導出服務,作為本地查詢或分析的可信數據源。

在業務層,業務對賬組件支持機構內外部對鏈上鏈下業務數據進行對賬。

數據治理通用組件包含哪些子組件?

目前,WeBankBlockchain-Data由數據倉庫組件(?src="https://img.jinse.com/4426052_image3.png"?>

動態 | 華中科技大學與微眾銀行合作打造區塊鏈課程:據洞察網報道,近日,在華中科技大學主辦的中南地區計算機學術論壇上,計算機學院領導透露正在與微眾銀行聯合進行區塊鏈課程建設,希望通過對計算機前沿技術的探索,拓寬學生的知識范疇,積極與社會接軌。微眾銀行也充分考慮到當前區塊鏈培訓較為混亂的狀況,借鑒標桿CISCO認證課程體系,希望能打造區塊鏈領域的專業認證課程:提供區塊鏈工程師、區塊鏈資深工程師,以及區塊鏈技術專家三類專業等級,以滿足不同知識層級學習者的需要。[2018/10/17]

數據導出組件?src="https://img.jinse.com/4426053_image3.png"?>

數據對賬組件?src="https://img.jinse.com/4426054_image3.png"?>

數據治理通用組件能怎么用??

企業級區塊鏈應用存在多元化角色參與,諸如業務角色、運營人員、開發角色、運維角色等。針對區塊鏈數據,每一個特定的角色都有著不同的數據治理訴求。WeBankBlockchain-Data分別從區塊鏈底層節點數據維護、應用數據處理和業務數據應用三個維度,抽象、設計了對應的組件來滿足不同角色的對數據治理的需求。

場景1:節點數據維護

數據倉庫組件Data-Stash是一款針對區塊鏈節點數據處理的輕量化、高安全、高可用組件,主要面向運維人員和開發人員。

現場 | 微眾銀行副行長馬智濤:聯盟鏈并非只服務于聯盟成員 也能服務于公眾:金色財經現場報道,在今日萬向區塊鏈實驗室舉辦的2018區塊鏈·新經濟第四屆區塊鏈全球峰會上,微眾銀行副行長兼首席信息官馬智濤稱,已由真實社會檢驗的多維度信任機制包括政府信用、法律體系、標準技術協議、可信牌照資質等。算法可以建立信用,但并不是唯一建立信用的機制,因此,不必將原來的信用系統推倒重來。他認為,聯盟鏈并非只能服務于聯盟成員,同樣也能服務于公眾。他還認為,公眾聯盟鏈=服務公眾+聯盟治理+分布式商業。公眾聯盟鏈對底層技術的要求是:需要開源和開放,實現聯盟成員之間的充分信任;需要支持快速、低成本的組建聯盟與建鏈能力、需要具備多鏈、跨鏈、處理海量交易能力。[2018/9/11]

數據備份:Data-Stash可以通過Binlog協議對區塊鏈節點數據進行準實時全量備份,區塊鏈節點可以根據實際情況進行冷熱數據裁剪和分離,在確保數據安全可信的基礎上,解決節點擴容問題,降低開發和硬件成本。在解決節點擴容問題的同時,可以使得節點“輕裝上陣”,不僅能夠減少節點空間的開銷,而且能夠有效提升節點執行交易的性能。

數據同步:對于加入區塊鏈網絡的新節點,可以通過Data-Stash,在FiscoSync工具的配合下,快速同步區塊鏈網絡的數據,確保節點以最快的速度參與到區塊鏈網絡的“工作”中,降低新節點因等待數據同步而造成的時間浪費。

場景2:應用數據處理

數據導出組件Data-Export提供了導出的區塊鏈標準數據、自動基于智能合約代碼智能分析而生成的定制數據,存儲到MySQL和ElasticSearch等存儲介質中,主要面向開發人員。

復雜查詢與分析:現有區塊鏈對查詢功能不太友好,且鏈上計算非常寶貴,Data-Export支持將鏈上存儲的區塊鏈數據導出到鏈下的分布式存儲系統中。開發者可以基于已導出的區塊鏈系統基礎數據,智能合約部署合約賬戶、事件和函數等數據,進行二次開發,定制復雜查詢和數據分析的邏輯,快速實現業務需求。例如,開發者可對交易明細根據業務邏輯進行統計和關聯查詢分析,開發各類反洗錢和審計監管報表等等。

區塊鏈數據可視化:Data-Export會自動生成Grafana的配置文件,無需開發,即可實現區塊鏈數據可視化。區塊鏈數據可視化不僅能夠作為區塊鏈數據大盤、數據查看、運營分析的工具,同時也可以運用在應用開發、調試、測試階段,以可見即可得的方式提升研發體驗和效率。此外,Data-Export還提供了RestfulAPI供外部系統集成。運維人員可以通過Grafana實時監控業務系統的狀態,業務人員可以在集成后的業務后臺系統上獲得該業務的實時進展。

區塊鏈中間件平臺WeBASE的數據導出子系統已經整合了Data-Export,同時,Data-Export也可以獨立與區塊鏈底層集成,以靈活地支持業務需求,迄今已在數十個生產系統中穩定、安全運行。

如今,Data-Export作為區塊鏈數據治理的關鍵組件,以開源形式發布,由社區伙伴通力完善,以適應更多的使用場景、打造更多的功能。

場景3:業務數據應用

在業務層,數據對賬是區塊鏈交易系統中最常見的場景之一。基于數個區塊鏈DAPP應用的開發和實踐經驗,我們封裝和開發了數據對賬組件Data-Reconcile,提供基于區塊鏈智能合約賬本的通用化數據對賬解決方案,并提供了一套可動態延展的對賬框架,支持定制化開發,主要面向開發人員,為業務人員提供服務。

企業內部對賬:Data-Reconcile支持企業內部系統之間的對賬,例如區塊鏈鏈上數據與鏈下業務系統之間的對賬。開發人員可以利用Data-Reconcile快速進行二次開發,將業務系統數據和鏈上數據進行核算比對,保證了企業內部業務系統數據的可靠和運行安全。

企業間對賬:Data-Reconcile可以幫助開發者快速構建跨機構間的對賬應用系統。例如,在結算時,A企業定期將自身業務系統交易數據導出為對賬文件,發送至與文件存儲中心。B企業可借助Data-Reconcile定期拉取A企業對賬文件,配合Data-Export,與企業內部的鏈上數據進行對賬處理。Data-Reconcile在保證對賬結果可信的同時提升了對賬的效率,可實現準實時對賬。

綜上所述,WeBankBlockchain-Data是一套穩定、高效、安全的立體化區塊鏈數據治理解決方案,旨在通過提供一系列相互獨立、可插拔、可靈活組裝的組件,應對和處理區塊鏈海量數據的問題,為用戶帶來更加便捷、簡單、低成本和輕量化的用戶體驗,從而推動區塊鏈數據治理的發展。

開源地址

github代碼庫地址:

Data-Stash數據倉庫組件

https://github.com/WeBankBlockchain/Data-Stash

Data-Export數據導出組件

https://github.com/WeBankBlockchain/Data-Export

Data-Reconcile數據對賬組件

https://github.com/WeBankBlockchain/Data-Reconcile

gitee代碼庫地址:

Data-Stash數據倉庫組件

https://gitee.com/WeBankBlockchain/Data-Stash

Data-Export數據導出組件

https://gitee.com/WeBankBlockchain/Data-Export

Data-Reconcile數據對賬組件

https://gitee.com/WeBankBlockchain/Data-Reconcile

文檔地址:

Data-Stash數據倉庫組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Stash/index.html

Data-Export數據導出組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html

Data-Reconcile數據對賬組件

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Reconcile/index.html

歡迎參與WeBankBlockchain的社區建設:

如項目對您有幫助,歡迎點亮我們的小星星(點擊項目左上方Star按鈕)。

歡迎提交代碼(Pullrequests)。

提問和提交BUG。

如果發現代碼存在安全漏洞,可通過https://security.webank.com/上報。

Tags:區塊鏈DATATADATA區塊鏈工程專業學什么女生比較好data幣暴漲Transdata Chain

火必APP
對不起,我是一名虧成傻逼的韭菜_區塊鏈:WOR

1大劉是一所中學的老師,這個故事的主角不是大劉,是閑賦在家的大劉媽媽。就在半年前,還完全不知道“區塊鏈”、“比特幣”為何物的大劉媽媽,經小區一位阿姨的介紹,認識了從馬來西亞轉戰中國的跨國傳銷.

1900/1/1 0:00:00
留給filecoin礦工紅利時間不多了,你的IPFS礦機布局了嗎?_COI:BUZZcoin

IPFS是2020年分布式存儲領域熱度最高的一個項目,這樣一個明星級去中心化存儲項目,咱們什么時候布局filecoin礦機才是最佳時機呢?以下是小編整理的一些思考.

1900/1/1 0:00:00
為什么說IPFS/Filecoin是當前幣圈領域最火熱的項目?_COI:COIN

2020年還有20多天的時間就要結束了,這一年包括5G、人工智能、大數據、芯片計算在內的數字經濟產業在國內外資本市場聯動下迅速崛起——IPFS更加不例外隨著IPFS的激勵層Filecoin于14.

1900/1/1 0:00:00
某機構繼續增持,比特幣能否繼續拉升?18600依舊是關鍵位_TER:RIGHT WING價格

2020年12月10日周四農歷十月廿六大家好,我是你們的老朋友易天說。專注從K線形態角度摸索市場動向分析行情走勢,觀點明確,一針見血,爭取為廣大幣友傳遞最有價值的幣市信息.

1900/1/1 0:00:00
席幕楓:12.9ETH行情分析及操作思路_ATM:以太坊官網app下載注冊

多言不可與謀,多動不可與久處,交易與其沖動,還不如一動不動!大家好,我是席幕楓。心存陽光必有詩與遠方,認識老席何懼再遇荒涼?席幕楓:12.9ETH行情分析以太坊,日線大陰結尾,完全符合老席的唱空.

1900/1/1 0:00:00
摩根大通表示比特幣在主流投資圈興起 黃金將成為犧牲品_穩定幣:比特幣實時行情比特范

摩根大通表示,加密貨幣在主流金融圈中的興起是以黃金的犧牲為代價。NikolaosPanigirtzoglou等摩根大通量化策略師表示,自從10月份以來,資金從黃金中流出,大量流入比特幣基金,隨著.

1900/1/1 0:00:00
ads