在數據泄露“成癮”的時代, 聯邦學習如何實現AI在機器學習過程中的數據保護？_人工智能:區塊鏈

AI作為一種通用技術，在各個領域賦予了我們生活極大的便利。進入元宇宙，數據的開放共享必成為一種趨勢，在數據生產力的時代中，數據價值創造的效率提升將帶來質的突破。AI技術帶來巨大機遇和效益的同時，也面臨著數據孤島和數據隱私泄露的問題。

首先，數據和AI是一種共生的發展模式。我們收集數據，然后通過AI對其進一步解釋和細化數據，數據需要精心管理、高質量且易于獲取，成功做到這幾點并不是非常容易的。

對于收集用戶數據，必須保持公開、透明的原則。毫無疑問，在這種情況下，數據孤島會逐漸顯現。AI作為一項企業技術，構建能夠打破數據孤島并使信息可操作的IT基礎設施，同時確保安全性，這已經是企業面臨的主要挑戰。

同時由于競爭關系、安全問題、審批流程等因素，數據之間的流通存在著難以打破的壁壘，事情就變得更具挑戰性了，在5G時代更是如此。

而在數據的世界里，最了解你的是你常用的軟件和平臺，將這些大大小小的信息整合，就是一個完整、精確的數據畫像。這些數據一旦泄露，將使你完全暴露在數據的世界中，被陌生人窺視，甚至被用于非法商業交易。

如今AI的工作優化模式是基于數據的，也就是所謂的數據驅動。隨著AI落地場景越來越豐富，社會對于數據隱私的關注也越來越重。同時市場數據AI的商業化應用，讓人們在享受便利的同時也在承擔著數據泄露的風險。

如今，數據孤島、數據隱私已是傳統行業應用AI技術所面臨的共性問題。在這種情況下，有人就提出了聯邦遷移學習的方法來解決問題。

HDFC銀行：已與超過10萬客戶和17萬商家簽署了使用CBDC的試點計劃:金色財經報道，印度最大的私人貸款機構HDFC銀行周四表示，已與超過10萬客戶和17萬商家簽署了使用CBDC的試點計劃。HDFC銀行在一份聲明中表示，該銀行還為商家和客戶將CBDC（稱為電子盧比）與聯合支付接口（UPI）連接起來，這將允許使用單一快速響應代碼通過CBDC和UPI進行支付。印度儲備銀行使用區塊鏈分布式賬本技術設計了電子盧比作為實物現金的數字替代品。[2023/7/13 10:52:50]

什么是聯邦學習？

聯邦學習實際上是一種加密的分布式機器學習技術，參與各方可以在不披露底層數據和其加密形態的前提下共建模型。

聯邦學習旨在實現企業的私有數據不出本地，通過加密機制下的參數交換，即在不違反數據隱私法規情況下，建立一個虛擬的共有模型。

用更通俗的語言來講，各個企業的數據之前就像不同的小國家，它們自成體系，無法很好地完成統一建模。聯邦學習則將它們管轄在一個大國家之下，將不同的企業看作是這個國家里的“州”，就算彼此之前不互通數據，它們之間都可以獲得模型效果的提升。

聯邦學習有三大構成要素：數據源、聯邦學習系統、用戶，并且具有數據隔離，保證模型無損，公平合作，保持獨立四大顯著優勢。由于數據本身不移動，因此也不會涉及數據合規和泄露問題。

完成的模型將在各自的領域為本地的目標服務，在這樣一個機制下，參與各方的身份和地位相同，成功實現了“共同富裕”的目標。

Reddit和Stack Overflow將向AI開發者收取網站內容訪問費用:4月22日消息，Reddit和Stack Overflow將向AI開發者收取網站內容訪問費用，前者是全球最大的社群站點之一，后者則作為以技術為中心的社區問答論壇而聞名，目前尚不清楚具體收費標準。

Stack Overflow首席執行官Prashanth Chandrasekar表示，收取的費用將會重新投資回我們的社區，為社區做貢獻的用戶提供激勵。（Cryptoslate）[2023/4/22 14:20:22]

我們知道，推薦系統中算法的目標是挖掘用戶和內容、商品之間的聯系，根據不同特點，聯邦學習可總結成三類：橫向聯邦學習、縱向聯邦學習和遷移聯邦學習。

在橫向聯邦學習中，主要用于解決參與方擁有大量相同的商品或服務，但用戶群體不同時的系統協作問題。

縱向聯邦學習是在參與方數據集的用戶重疊較多而用戶特征重疊較少的情況下，把數據集縱向切分，并取出雙方用戶相同而用戶特征不完全相同的那部分數據進行訓練。

而遷移聯邦學習指在兩個數據集的用戶與用戶特征重疊都較少的情況下，利用遷移學習來克服數據不足的情況。

聯邦學習有哪些應用場景？

聯邦學習技術能夠實現多個機構間構建統一的數據安全、高效、合規的多源數據應用生態系統，實現跨機構的數據共享融合，具備隱私保護、打破數據孤島等優勢，因此該技術逐漸成為了互聯網巨頭、金融機構以及人工智能企業等的關鍵技術支撐。

Animoca Brands旗下NFT系列Mocaverse宣布推遲鑄造:金色財經報道，Animoca Brands 旗下 NFT 系列 Mocaverse 宣布，由于 OpenSea 近期調整了版稅政策，現行政策下 Mocaverse 的鏈上版稅不會得到充分執行和兌現，因此 Mocaverse 將推遲公開鑄造時間。

此外，團隊正在重新設計、重新審核和測試新合約，以允許在 NFT 許可結構之上為收藏強制執行創作者版稅，并將很快宣布新的鑄造日期。[2023/2/20 12:17:22]

而隨著隱私計算技術的成熟，聯邦學習的商業化落地正在引來爆發，其在醫療、金融、政務等領域的應用也日漸豐富，為行業發展創造出更大的價值。

金融

近年來，越來越多的金融機構相繼開展聯邦學習應用，主要集中在風控、營銷以及反洗錢方面。金融行業需要各個行業維度的數據去覆蓋各類業務產品與風控需求，而目前惡意欺詐、過度消費、重復授信等亂象層出不窮，傳統的風控手段并不能滿足復雜場景的應用需求。

盡管大數據的發展給予了風控手段有力的支持，但是數據的濫用又帶來了數據隱私安全的問題，因此隱私計算便成為了這些問題的有效解決方案。

聯邦學習技術能夠保證在用戶信息不泄露的前提下將更多維度、多元的數據納入聯合風控模型中，以構建更精準的風控模型。除此之外，隱私計算的技術在金融機構反洗錢偵測問題上同樣有著較好的效果。

彭博：比特幣和以太坊可能重新占據優勢:金色財經報道，根據彭博高級商品策略師Mike McGlone在11月3日分享的新彭博情報報告，報告顯示，比特幣和以太坊可能會繼續增長，甚至“重新獲得優勢”，因為它們的波動性和風險與股市相比非常低。與大多數其他資產相比，BTC和ETH以及彭博銀河加密指數 (BGCI) 的波動性已降至較低水平，根據該報告，可能使風險偏向于那些未積累部分加密敞口的人。

此外，該報告指出，美聯儲的“大錘”方法可能正在形成比特幣的基礎，因為“其 11 月 2 日的價格約為 20,500 美元，一年期聯邦基金期貨 (FF13) 信號利率接近 4.75%，大約是和 6 月份一樣，當時 FF13 接近 3.5%。DeFi資產的供應量都在逐年下降，并得出結論認為，這種趨勢的持續支持其價格的增長。[2022/11/4 12:17:46]

通過橫向聯邦學習，能夠在不共享用戶數據的前提下，聯合大型金融機構或聯合多家金融機構，可以共同建立橫向聯邦反洗錢模型，提高偵測能力。

醫療

現代醫學研究主要依賴于大數據技術的支持，具有樣本數量規模大、特征維度多、信息價值含量高的醫療領域數據，才能滿足醫療數據分析結果的適用性和模型預測的準確性。

比如結構化電子病歷、非結構化電子病歷、基因數據和圖像數據等，這些數據包括個人生物信息、藥物使用情況、化驗測試結果、門診住院信息等。然而，這些數據涉及到個人隱私信息，要求在數據存儲和數據使用方面能夠保證保密性與敏感性。

a16z宣布向WeWork創始人新公司Flow投資3.5億美元:金色財經報道，a16z宣布向WeWork創始人新公司Flow投資3.5億美元，該公司旨在通過連接人們在他們的住宅周圍建立社區來顛覆當前的住宅房地產市場。[2022/8/15 12:26:45]

因此聯邦學習技術不僅能夠滿足在醫學研究過程中用戶隱私數據得以保護的條件，還能在醫療數據參與方在不共享原始數據的基礎上，實現多方機構數據融合和機器學習聯合建模，進而達到了數據價值共享的目標。

政務

數據作為數字經濟發展的重要生產要素，一系列政策的頒布與執行，都對加快數據要素市場化流通、形成數據要素市場體系等提出要求。在政務領域，政務大數據、智慧城市、公共數據開放平臺成為了推動數字經濟發展的重要課題。

然而，政務大數據涉及稅務、司法、交通、社保等多個方面，由于數據資產權利尚未獲得有效的解決方案，導致政府部門共享數據意愿較低。除此之外，一些公共數據開放平臺存在開放數據數量不多、質量不高、更新不及時等問題。

因此聯邦學習相關技術呢能夠與大數據開發組件集成，實現跨部門、與社會數據等安全共享。同時可以實現數據資源的定向使用，防止數據濫用所導致的隱私泄露問題。

聯邦學習為何成為熱門的新技術？

聯邦學習為人工智能開了一扇窗

在隱私計算技術里，聯邦學習算得上是發展最快、落地性最強的一個分支，而它的重要應用便是AI人工智能的機器學習。

為了更好地服務智能應用發展，人工智能技術正在不斷演進。但若想要讓人工智能真正做到接近人類的水平，需要海量且真實的數據支撐，對機器進行深層次訓練，而數據安全、個人信息隱私等風險問題勢必會成為影響人工智能贏得用戶信任，從而實現大規模落地的重要因素。

然而事實上，人工智能市場一直由谷歌、微軟、亞馬遜等科技巨頭主導，并且為了訓練機器學習模型，傳統機器學習通常采用集中式方法，需要將訓練數據聚合在單臺機器或數據中心中。而這種幾近壟斷化的機器學習方式可能會導致嚴重的數據安全問題。

尤其是對于手機用戶而言，為了在這種集中式方法下訓練或構建出更好的機器學習模型，手機用戶必須通過將存儲的個人數據發送到AI科技公司云端來交換所獲得的個性化服務。但誰也無法保證，這些AI科技公司會不會未經用戶允許而違法收集并利用用戶的個人數據。

在這樣的大環境下，可以實現數據保護以及數據邊緣化的“聯邦學習”應運而生。

與集中式訓練方法相比，聯邦學習在人工智能領域開辟了一個全新的研究領域，它使位于不同地理位置的移動設備能夠協同學習、構建機器學習模型，同時保證用戶的個人數據依舊保留在原始設備上。

在聯邦學習的幫助下，機器學習能夠獲得更真實、有價值的用戶數據，為用戶提供更貼近需求的個性化服務，提升用戶體驗。但更重要的是，用戶的個人數據不需要發送到云端集中處理，而是依舊保存在用戶的移動設備中，保證用戶數據不受侵害。

除此之外，聯邦學習所實現的利用分布式計算資源來訓練機器學習模型正在為AI人工智能開辟一種全新的計算范式。

隨著手機等終端設備內部的計算資源變得越來越強大，特別是隨著人工智能芯片組的出現，人工智能正在從云和數據中心轉移到終端設備。考慮到全球有數十億臺移動設備，這些移動設備積累的計算資源遠遠超出了世界上最大的數據中心的能力范圍。

從這個意義上說，聯邦學習開辟了一種解決大規模人工智能的機器學習問題的新思維方式，成就了新的云計算范式。

聯邦學習與區塊鏈強強聯合

2019年，人工智能發展迎來了春天，也是從那時開始，我們看到了去中心化人工智能市場的可能。

聯邦學習對于人工智能的機器學習提出了重要的分布式概念，而區塊鏈也是憑借透明化、分布式等優勢獲得了廣泛關注和討論。可以說，在分布式這點上，聯邦學習與區塊鏈有著異曲同工之妙，而融合發展似乎也是水到渠成的事情。

首先，聯邦學習的應用不可能阻隔兩個或多個機構共同協作，參與者間要有一定交流，并且參與方越多，越能體現數據結果的準確性。

而結合區塊鏈技術，讓更多數據上鏈，通過區塊鏈的授權機制、身份管理等，將互不可信的用戶作為參與方整合到一起，建立一個安全可信的合作機制，最后通過聯邦學習模型，將計算的數據結果加密安全地傳遞出去。

并且，聯邦學習的所有模型參數都可以存儲在鏈上，區塊鏈的不可篡改特性保證了模型參數的一致性與可靠性，也能保證模型數據同步與共享是安全、可信的。同時，區塊鏈的經濟模型也能幫助實現資源分配。

在模型訓練完成后，可以根據訓練過程中各參與者提供的訓練數據數量和質量發放獎勵資源，并將獎勵資源寫入區塊鏈中，利用區塊鏈的公開透明特性，引入更多的參與方加入、同時提升參與方的配合程度。

就上面列出的機會而言，聯邦學習似乎是最能響應市場需求的應用，也是最貼近目前科技發展方向的一項熱門的新技術。

不過，聯邦學習目前依舊處于探索發展階段，未來在技術升級及商業落地上還有很長的路要走，也許5年、也許10年，聯邦學習仍面對著諸多可以改進的地方與挑戰，但相信在這些改變來臨之前，人們已經做好了迎接的準備。

聯邦學習發展前景與趨勢

根據信通院發布的《2020隱私保護計算技術研究報告》顯示，2020年隱私計算平臺和產品迎來了巨大的增長，而通過評測的聯邦學習產品多達18款。

盡管國內2018年才興起聯邦學習，但從“隱私計算聯盟”的成員單位來看，擁有聯邦學習平臺和產品的企業已經超過60多家，增幅喜人。

除了前文我們提到的聯邦學習應用方向之外，廣告領域在未來或許也會成為繼續引領聯邦學習發展的方向。我們知道，廣告主和流量平臺擁有各自的數據，但兩者往往又不會交集，所以需要整合，而在此前提下，通過聯邦學習可以很好地將廣告主和流量平臺的數據撮合在一起，從而實現最大效益化，這也是聯邦學習應用的重要實踐。

但這也引申出一些發展趨勢，即聯邦學習需要更好的安全監管，畢竟數據的融合可以讓原本模糊的分析變得更加精準，這意味著能否既使用好數據，又能保護好原始數據，所以這也是為什么聯邦學習常常會與其他隱私計算方式相結合，借助互相的優勢達到數據使用的最好效果，或許這在未來一段時間會繼續保持下去。

另外，由于不同聯邦學習平臺都有自己的一套規則，如果未來需要更大發展，還需要監管機構或者權威第三方介入，以建立比較主流的規則或者監管，以讓聯邦學習落到更多數據使用場景中。

總體來說，聯邦學習作為隱私計算應用較廣的一種方式，受到了前所未有的關注，但由于起步較晚，目前依然需要更多關注和組織互相協作起來，如此才能迎來大步前進。

本文為論道隱私計算團隊原創，未經允許嚴禁轉載，如需轉載請聯系我們。

來源：金色財經

Tags：人工智能區塊鏈VERMOC人工智能技術應用學什么區塊鏈幣排名Safe UniverseMocha Media Center

FTX