來源:FounderPark
就算在新產品滿天飛,商業文明正在被AI重建的當下,我們仍然不知道,這些令人驚嘆的技術是如何運作的。
AI,語言模型,它是個黑箱,人類無法理解,我們甚至不知道怎樣研究才能夠理解。
但如果,研究這個黑箱的不是人類,而是AI自己呢?
這是一個令人好奇但又非常危險的想法。因為你甚至不知道,這一研究方法產生的結果,是否會徹底顛覆多年來人類對人腦和AI的理解。
但是有人這樣做了。幾小時前,OpenAI發布了最新的研究成果,他們用GPT-4解釋GPT-2的行為,獲得了初步的成果。
毫不夸張地說,人們震驚極了:「求求你們讓它離覺醒遠點吧!」
「AI理解AI,然后很快,AI訓練AI,然后再過幾年,AI創造新的AI。」
但客觀來說,學術界為之感到興奮:「瘋了,OpenAI剛剛搞定了可解釋性問題。」
人與機器之間是GPT-4
OpenAI剛剛在官網發布博客文章《語言模型可以解釋語言模型中的神經元》。
Opendao(SOS$)團隊宣布即將發布新項目AI Dao Network,代幣(AOS$):據官方消息,Opendao團隊宣布即將發布新項目AI Dao Network,代幣AOS$,總量100億枚,SOS持有者可在2023年3月28日世界標準世界00:00后的第一個區塊快照后10000:1領取AOS空投。
AI DAO Network是一個基于Openai (Chatgpt)創建的去中心化金融協議,致力于打通人工智能AI和加密世界的橋梁。[2023/3/18 13:12:19]
簡單來說,他們開發了一個工具,調用GPT-4來計算出其他架構更簡單的語言模型上神經元的行為,這次針對的是GPT-2,發布于4年前的開源大模型。
大模型和人腦一樣,由「神經元」組成,這些神經元會觀察文本中的特定規律,進而影響到模型本身生產的文本。
舉例來說,如果有一個針對「漫威超級英雄」的神經元,當用戶向模型提問「哪個超級英雄的能力最強」時,這個神經元就會提高模型在回答中說出漫威英雄的概率。
OpenAI開發的工具利用這種規則制定了一套評估流程。
OpenAI創始人旗下加密公司Worldcoin正在進行新一輪融資:2月10日消息,OpenAI首席執行官Sam Altman創立的加密公司Worldcoin正在為其最新一輪融資尋找主要投資者。據知情人士透露,其正在與包括主權財富基金在內的資金雄厚的投資者商議,希望以30億美元估值籌集至多1.2億美元——這一估值與去年相同。此輪融資結構將是股權加代幣認股權證。
據悉,此輪融資是在ChatGPT取得巨大成功之際進行的。金色財經此前報道,OpenAI已與投資者就價值290億美元的股票出售進行了談判。微軟正考慮向該公司投資100億美元。[2023/2/10 11:58:08]
開始之前,先讓GPT-2運行文本序列,等待某個特定神經元被頻繁「激活」的情況。
然后有三個評估步驟:
第一步,讓GPT-4針對這段文本,生成解釋。比如在下面的案例中,神經元主要針對漫威內容。GPT-4接收到文本和激活情況后,判斷這與電影、角色和娛樂有關。
昨日OpenSea交易量為1.46億美元:金色財經消息,據DuneAnalytics數據顯示,昨日OpenSea交易量為1.46億美元,昨日活躍用戶59061,昨日共有67757枚NFT售出。[2022/4/26 5:13:29]
第二步,用GPT-4模擬這個GPT-2的神經元接下來會做什么。下圖就是GPT-4生成的模擬內容。
最后一步,對比評估打分。對比4代模擬神經元和2代真實神經元的結果,看GPT-4猜的有多準。
通過這樣的方法,OpenAI對每個神經元的行為作出了初步的自然語言解釋,并對這種解釋和實際行為的匹配程度進行了評分。
最終他們對GPT-2中307200個神經元全部進行了解釋,這些解釋匯編成數據集,與工具代碼一起在GitHub上發布。
昨日OpenSea交易量為1.83億美元:金色財經消息,據Dune Analytics數據顯示,昨日OpenSea交易量為1.83億美元,昨日活躍用戶58960,昨日共有66438枚NFT售出。[2022/4/24 14:45:47]
超越語言的機器,人類無法理解的機器
據OpenAI在博客文章中表示,目前GPT-4生成的解釋還不完美,尤其要解釋比GPT-2更大的模型時,表現效果很差,「可能是因為后面的layer更難解釋」。
對于GPT-2解釋的評分大多也非常低,僅有1000個左右的解釋獲得了較高的評分。
OpenAI可拓展對齊團隊的JeffWu表示,「大多數解釋的得分很低,或者無法解釋實際神經元那么多的行為。比如,許多神經元以一種難以判斷的方式保持活躍,它們在五六件事上保持激活,但卻沒有可以辨別的模式。有時候存在明顯的模式,但GPT-4有無法找到它。」
雖然現階段成績不好,但是OpenAI卻比較有信心,他們認為可以使用機器學習的方式提高GPT-4產出解釋的能力。
比如通過反復產出解釋,并根據激活情況修改解釋;或者使用更大的模型作出解釋;以及調整解釋模型的結構等等。
OpenSea月交易量突破2000萬美元,創歷史新高:Dune Analytics數據顯示,OpenSea月交易量突破2000萬美元,再創歷史新高。
此前的記錄在上月創造,不到1000萬美元,本月剛過10天,已經實現交易量翻倍。[2021/2/11 19:31:30]
OpenAI還提到,這一方法目前還有很多局限性。
使用簡短的自然語言進行解釋,也許并不匹配神經元可能非常復雜的行為,不能簡潔地進行描述。神經元可能會具備多個不同概念,也可能,會具備一個人類沒有語言描述甚至無法理解的概念。
最終OpenAI希望能夠自動化找到并解釋能夠實現復雜行為的整個神經回路,而目前的方法只解釋了神經元的行為,并沒有涉及下游影響。
解釋了神經元的行為,但沒有解釋產生這種行為的機制。這意味著即使是拿了高分的解釋,也只能描述相關性。
整個過程是計算密集型的。
在論文中,OpenAI表示:「語言模型可能代表了人類無法用語言表達的陌生概念。這可能是因為語言模型關心不同的事情,比如統計結構對下一個token預測任務有用,或者因為模型已經發現了人類尚未發現的自然的抽象,例如在不同領域的類似概念家族。」
它把LLM的這種屬性,稱為AlienFeature,在生物領域翻譯為「異類特征」。
FounderPark微信后臺回復「解釋神經元論文」,獲取論文鏈接和中英對照PDF鏈接。
把對齊問題也交給AI
「我們正試圖開發預測『AI系統會出現什么問題』的方法,」OpenAI可解釋性團隊負責人WilliamSaunders對媒體說,「我們希望能夠真正做到,讓這些模型的行為和生產的回答是可以被信任的。」
SamAltman也轉發博客文章稱:GPT-4對GPT-2做了一些可解釋性工作。
可解釋性是機器學習的研究子領域,指的是對模型的行為有清晰的理解和對模型結果的理解能力。
簡單來說,目的就是解釋機器學習模型「如何做到」。
2019年開始,可解釋性成為機器學習的重要領域,相關研究有助于開發人員對模型進行優化和調整。針對當下AI模型大規模應用時,亟需解決的可信度、安全性和決策參考等問題。
如果我們不知道AI是如何作出決策的,始終把它當做一個黑箱,那么就算AI在各種場景下表現得再完美,也無法解決部分人類的信任問題。
OpenAI這次使用GPT-4來解決可解釋性的問題,就是希望能夠使用自動化的方式,讓機器完成AI研究。
「這是我們對齊研究的第三支柱的一部分:我們希望自動化對齊研究。令人期待的是,這一方向能讓它與AI發展的步伐相匹配。」
在2022年夏天,OpenAI曾發布文章《我們做對齊研究的方法》。
文中提到,宏觀來看,OpenAI的對齊研究將由三大支柱支撐:
1、利用人工反饋訓練AI
2、訓練AI系統協助人類評估
3、訓練AI系統進行對齊研究
「語言模型非常適合自動化對齊研究,因為它們通過閱讀互聯網『預裝』了大量有關人類價值觀的知識和信息。開箱即用,它們不是獨立代理,因此不會在世界上追求自己的目標。」
太快了,連認知都范式革命了
雖然OpenAI本意很好,但是這樣的研究成果著實嚇壞了網友。
OpenAI的推文下梗圖橫飛,有不少人在認真地建議OpenAI搞慢點。
「用我們不理解的東西,解釋另一個我們不理解的東西,這合理嗎?」
「護欄都被你撤了」
「這太迷人了,但也讓我感到極度不適。」
「自然創造了人類來理解自然。我們創造了GPT-4來理解自己。」
「我們要怎么判斷解釋者是好的?這就像...誰監督著監督者?」(whowatchesthewatchers)
還有人看到了更深的一層:
「大模型很快就能比人類更好地解釋他們自己的思維過程,我想知道我們未來要創造多少新的詞匯,來描述那些AI發現的概念?我們還沒有一個合適的詞描述它們。或者,我們是否會覺得這些概念有意義?它們又能教會我們如何認識自己呢?」
另一網友回應道:「人類本身對自己行為的解釋,大多是謊言、捏造、幻覺、錯誤的記憶、事后推理,就像AI一樣。」
|合規聯盟原創出品| 案情簡介 2017年7月3日,原告蘭拓科技與支付寶網絡技術有限公司簽約,開通支付寶企業賬戶.
1900/1/1 0:00:00巴比特訊,7月22日,NFT資產瀏覽器NFTSCAN發推宣布發布公開測試版。據悉,NFTSCAN是基于以太坊網絡的NFT資產瀏覽器產品,測試階段已收錄40個熱門NFT項目,例如OpenSea、R.
1900/1/1 0:00:00作者|哈希派分析團隊 金色財經合約行情分析 | BTC震蕩反彈,價格或有反復:據火幣BTC永續合約行情顯示,截至今日16:00(GMT+8),BTC價格暫報8840美元(-1.24%).
1900/1/1 0:00:00Ordinals問世后,其實經歷了兩個月的蟄伏期,除了YugaLabs親自造勢的Twelvefold外,并沒有太多討論.
1900/1/1 0:00:00Inscription和BRC-20的火熱所導致的比特幣網絡擁堵手續費高昂這一事宜已經在比特幣開發者社區中有所討論.
1900/1/1 0:00:00為什么我們需要去中心化的?prover當前,以太坊主網上已經有多個?ZK-Rollups?在運行了。然而?ZK-Rollup?的去中心化設計仍然處于早期階段.
1900/1/1 0:00:00