OpenAI用GPT-4解讀GPT-2，看來能打敗魔法的，只有魔法_OPEN:NFT

來源丨元宇宙簡史

作者丨元宇宙簡史編輯Eco

OpenAI最新研究利用GPT-4自動進行大語言模型中神經元行為的解釋和評分，并將其應用于另一種語言模型GPT-2，公開了這些GPT-2神經元解釋和分數的數據集。這項技術讓人們能夠利用GPT-4來定義和自動測量AI模型的可解釋性，從而更好地理解智能是如何工作的。

大語言模型是基于大量文本數據訓練，包含數千億或更多參數的語言模型。

在大數據時代，這類AI機器學習模型可以在提升產品銷售、輔助人類決策過程中起到很大的作用。

但是計算機通常不會解釋它們的預測結果，而語言模型想要變得更強大、部署更廣泛，就需要研究可解釋性，因為人類對模型內部工作原理的理解仍然非常有限，例如可能很難從中檢測到有偏見、欺騙性內容輸出。

Slope回應：未在集中式服務器上存儲個人數據，仍在調查具體原因:8月4日消息，針對Solana生態錢包大規模攻擊事件，Slope發布公告稱，根據目前了解的情況，很多Slope錢包遭到入侵，Slope許多員工和創始人的錢包也被盜了。Slope關于攻擊事件起因有一些假設，但尚未確定。Slope正在積極開展內部調查和審計，與頂級外部安全和審計團隊合作；正與整個生態系統中的開發人員、安全專家和協議合作，努力識別和糾正這些問題。

Slope建議所有用戶采取以下措施：創建一個新的、獨立的種子短語錢包，并將所有資產轉移到新錢包。同樣，不建議在新錢包上使用與Slope上相同的種子短語。硬件錢包仍然是安全的。

此外，Slope的公告沒有說明是否可能與私鑰存儲問題有關。一位Slope代表告訴CoinDesk，“我們不會在集中式服務器上存儲任何個人數據。”

據此前報道，Solana?Labs首席執行官Anatoly Yakovenko最初在推特上表示，他懷疑該漏洞可能與Apple iOS供應鏈攻擊有關，但后來將源頭縮小到對Slope集中式服務器的黑客攻擊，其中私鑰似乎以純文本形式存儲。Twitter 上的其他開發人員也推測，Slope將私鑰以明文形式存儲在集中式服務器上，而攻擊者已將其破壞。（CoinDesk）[2022/8/4 2:57:58]

可解釋性就是將模型能用通俗易懂的語言進行表達，把模型的預測過程轉化成具備邏輯關系的規則的能力，從而通過查看模型內部來發現更多信息。

Dope Ape Club第一個BAYC持有者正式授權的NFT即將發行:7月3日消息，Dope Ape Club將成為第一個BAYC持有者通過Sigroll正式授權發行的NFT。Sigroll為第一個P2P鏈上授權平臺，通過平臺可直接對接藍籌NFT持有者，獲得藍籌NFT版權授權，而藍籌NFT持有者將獲得相應的授權費。Dope Ape: BAYC #1769號在太空旅行中發現了新的星球，以及星球上10000只獨特著裝與造型的猴子。Dope Ape Club項目將于近期發售，發行方式為免費領取，除了生成必要的Gas費用外，無須支付其他費用。Sigroll是首個專注于做NFT IP授權與版權分發的平臺，通過P2P的鏈上授權為NFT持有者賦能其資產在Collection之外的商業化應用場景。通過Sigroll，NFT持有者、授權使用者以及社區能夠更高效的匹配需求，進而完成輕量級的IP授權合作。同時，Sigroll也將幫助合作雙方管理其授權費用與分成等事宜。[2022/7/3 1:47:40]

例如，如果有一個針對“漫威超級英雄”的神經元，當用戶向模型提問“哪個超級英雄的能力最強”時，這個神經元就會提高模型在回答中說出漫威英雄的概率。

“Adidas Originals into the Metaverse”7日交易額在OpenSea排名第二:12月21日消息，由Adidas Originals，gmoney，Bored Ape Yache Club，PUNKS Comic合作推出的NFT項目“Adidas Originals into the Metaverse”，自推出之日起銷售額達到11770.99個ETH，在OpenSea 7日銷售額中排名第二。

據悉，“Adidas Originals into the Metaverse”總計銷售30000份，這是一種權益憑證，持有者可以獲得訪問Sandbox游戲元宇宙中虛擬穿戴裝備和在2022年贖回對應實物產品的權利。持有者也可以獲得PUNKS Comic Issue 2：X Marks the Drop的實物版本，這是一個關于集合中所有角色的（漫畫）故事。[2021/12/21 7:53:39]

SumSwap再次在opensea隨機收購二枚會員定制NFT作品:據官方消息，7月3日，SumSwap再次在opensea以4000USDC一枚隨機收購2枚會員定制NFT作品，截至目前SumSwap已花費1.6萬USDC共收購4枚會員定制NFT。SumSwap共定制3000枚NFT作品，成功認購會員即免費贈送一枚NFT作品，SumSwap還將不定期用手續費回購NFT。當前SumSwap會員預售剩4000多區塊，預計18小時左右結束會員預售。

?[2021/7/4 0:25:32]

站在OpenAI的角度看，大模型未來將和人腦一樣擁有“神經元”，這些神經元會觀察文本中的特定規律，進而影響到模型本身生產的文本。

所以可解釋性就是將模型能用通俗易懂的語言進行表達，把模型的預測過程轉化成具備邏輯關系的規則的能力，從而通過查看模型內部來發現更多信息。

加拿大歌手的數字收藏品將在NFT市場OpenSea拍賣:加拿大歌手Shawn Mendes同意與虛擬形象品牌Genies合作發行數字可穿戴設備，該收藏品將于周五在NFT交易平臺OpenSea上首次拍賣。（CoinDesk）[2021/2/27 17:57:26]

為了實現這個目標，OpenAI最近發布了一個關于GPT-4語言模型解析神經元的對齊性研究成果，利用自研基于GPT-4技術的開源工具，來嘗試計算其他架構、更簡單語言模型上神經元的行為并對其進行評分。

而且，還可以將其應用于另一種語言模型中的神經元——本次選擇4年前發布、包含307200個神經元的大模型GPT-2為實驗樣本，公開了這些GPT-2神經元解釋和分數的數據集。

“我們邁出了使用AI進行自動化對齊研究的重要一步。”OpenAI聯合創始人GregBrockman表示。

具體來說，OpenAI開發了一套包含自動化工具和測試方法的評估流程：

首先，研究人員讓GPT-2運行文本序列，等待某個特定神經元被頻繁“激活”；

然后，讓GPT-4針對一段文本生成解釋，例如通過GPT-4接收到文本和激活情況判斷漫威是否與電影、角色和娛樂有關；

隨后用GPT-4模擬GPT-2的神經元接下來會做什么，預測行為；

最后評估打分，對比GPT-4模擬神經元和GPT-2真實神經元的結果的準確度，在下圖這個例子中，GPT-4的得分為0.34。

使用上述評分方法，OpenAI開始衡量他們的技術對網絡不同部分的效果，并嘗試針對目前解釋不清楚的部分改進技術。例如，他們發現以下方式有助于提高分數：

-迭代解釋。他們可以通過讓GPT-4想出可能的反例，在根據其激活情況修改解釋來提高分數；

-使用更大的模型來進行解釋。隨著解釋模型能力的提升，平均得分也會上升。然而，即使是GPT-4給出的解釋也比人類差，這表明還有改進的余地；

-改變被解釋模型的架構。用不同的激活函數訓練模型提高了解釋分數。

OpenAI表示，他們正在將GPT-4編寫的對GPT-2中的所有307,200個神經元的解釋的數據集和可視化工具開源，同時還提供了OpenAIAPI公開可用的模型進行解釋和評分的代碼，從而希望學術界能開發出新的技術來提升GPT模型解釋分數。

OpenAI還發現，有超過1000個神經元的解釋得分至少為0.8分，這意味著GPT-4模型可以解釋大部分人類神經元，同時目前GPT理解的概念似乎和人類不太一樣。例如，他們發現了一些有趣但GPT-4并不理解的神經元。

這些神經元似乎對文本中的某些特征或模式有敏感度，但是GPT-4無法用簡單的語言描述它們。OpenAI希望隨著技術和研究方法的改進，進一步提高AI模型可解釋性能力，從而更好地理解這些神經元的行為和意義。

對于本研究局限性，OpenAI表示，目前GPT-4生成的解釋還不完美，尤其要解釋比GPT-2更大的模型時，表現效果很差。

神經元復雜行為無法用簡短的自然語言描述，OpenAI解釋了神經元的這種行為，卻沒有試圖解釋產生這種行為的機制，而且整個過程算力消耗極大等。

OpenAI希望在未來的工作中可以解決上述這些問題，最終OpenAI希望使用模型來形成、測試和迭代完全一般的假設，從而比肩人類大腦的想法和行為，以及將其大模型解釋為一種在部署前后檢測對齊和安全問題的方法。

然而在這之前，OpenAI還有很長的路要走。

“我們希望這將開辟一條有前途的途徑。”JeffWu表示，這一技術可以讓其他人可以在此基礎上構建并做出貢獻的自動化方案，從而解決AI模型可解釋性問題，很好地解釋這些模型行為，比如AI如何影響人類大腦中的神經元等。

嚴正聲明：本文為元宇宙簡史原創，未經授權禁止轉載！內容僅供參考交流，不構成任何投資建議。任何讀者若據此進行投資決策，風險自擔。

Tags：GPTPENOPENNFTGPTGSpendcoinOpenLive NFTNFTG

幣安幣