以太坊交易所 以太坊交易所
Ctrl+D 以太坊交易所
ads

AIGC:新世界正在到來_RAN:FRANC

Author:

Time:1900/1/1 0:00:00

你知道《太空歌劇院》嗎?

它是一幅AI作的畫,并拿到了藝術比賽的一等獎。在2022年,AI作畫已經變得如此簡單,你只要會打字就行。在一片高斯噪聲中逐漸顯露出精彩絕倫的顏色和圖案,AI是怎么畫畫的?為什么能畫得這么好?會不會取代人類設計師?

更令人費解的在于,AI有沒有自己的邏輯思辨能力?

其實,我們還處在人工智能的早期,AI對真正的邏輯和某個垂直領域的理解還不深,但不斷強化它的邏輯思維能力一定會是接下來研發的重點。

書接上回,這次真格投資副總裁林惠文將帶領我們,從上次ChatGPT的AI文字跳到AI圖片,繼續探索AI世界。從AIGC圖片背后的模型,到模型之間的關系以及發展歷程。除此之外,我們還準備了對AI領域相關問題的解惑和一些好用的工具推薦,請一定不要錯過~

非常榮幸今天能跟大家分享一些AIGC圖片相關的梳理,在漫漫的熊市之中,近期我們看到了很多驚人的生成效果。

首先我們來看一下AI生成的圖片。

這是最近非常火的AI生成圖片平臺Midjourney產生的一些圖片效果,可以看到非常真實,也有很強的創意效果。它是如何做到的?

通俗易懂地來講有三個步驟。首先,把人類的文字轉換成計算機能夠理解的表達,然后把計算機能理解的文本表達轉換成計算機能理解的視覺描述,再接下來,把計算機能理解的視覺描述生成人類能夠看懂的圖片。

DigiDaigaku將啟動“DRAGON ESSENCE”免費空投:2月12日消息,DigiDaigaku母公司Limit Break首席執行官Gabriel Leydon在社交媒體發文稱,該生態系統NFT持有者(包括Genesis、Heroes和Super Villains)將獲得免費空投的“Dragon Essence”,“Dragon Essence”可以幫助嬰兒龍成長進化,但Gabriel Leydon表示用于空投“Dragon Essence”的快照日期目前待定。

此前,Gabriel Leydon曾透露Limit Break將在北京時間2月13日舉行的第57屆超級碗中投放廣告并開啟新NFT免費鑄造。[2023/2/12 12:02:12]

以DALLE2為例,它訓練了3個模型來做這件事情。接下來,我會分別講述。

CLIP模型

第一個模型是CLIP模型,負責將文本和視覺圖像聯系起來。

過去的很多算法就像是拿1萬張人類已經標注了類別的照片,讓計算機去尋找不同類別照片的差異化特征。最大的缺點是,它無法標注世間萬物,只能分類有限的集合,同時人力標注會成為學習的上限。

CLIP模型帶來的新思路是什么?它很像是真實生活中教小朋友認識物體。看到一個東西就直接告訴小朋友,這是一只游泳的鴨子,而不是一次性拿20張鴨子的圖片告訴他,這是鴨子,你記住它的所有特征。CLIP模型的算法實現了這樣一個特點,只要我們有充足的算力,就能學會世間的萬物。

CLIP模型的數據集從哪來?它來自于互聯網上圖文的匹配對,總共收集了4億張的圖文匹配對,再經過一個圖文編碼器,把人類能看懂的文字和圖片轉換成計算機能懂的數據結構。

澳本聰Craig S. Wright注冊新Twitter賬號,此前老帳號已注銷3年:2月11日消息,澳本聰CraigS. Wright于2月4日注冊新Twitter帳號,其Twitter簡介為比特幣的創造者。此前報道,CraigS. Wright在2019年3月主動注銷Twitter賬號,其自證中本聰的推文被刪除。[2022/2/11 9:45:34]

CLIP模型用到了兩個編碼器,視覺編碼器叫VisionTransformer,文字編碼器叫Transformer。下圖是VisionTransformer編碼器產生的效果圖,可以看到兩張圖片里背景部分的顏色被大幅弱化,強調了網球和黑狗的輪廓。這就是優秀的編碼器能實現的效果:用人類的視角找重點,進行數據降維。

CLIP模型做的事是什么?把來自互聯網的4億張圖片和4億條文本進行編碼,并兩兩配對,形成一個4億*4億的矩陣。

CLIP模型的訓練目標是什么?通過各種各樣的復雜計算,讓原本匹配的圖片和文本產生正相關。將蘋果的照片和蘋果的文字進行匹配,而不是摩托車或其他。

CLIP模型實現的功能是什么?給定任何一個文本,能返回相關性最高的圖片;給定任何一張圖片,能返回相關性最高的文本描述。實現海量的圖像和文字特征的mapping。

GLIDE模型

有了mapping以后,接下來重要的是如何從視覺的描述中產生圖像,這是GLIDE擴散模型。

聲音 | Ira Kleiman方律師:Craig Wright僅提供了1.6萬多個BTC地址清單,但無中間人信息:在由Coindesk上傳的一份新文件中,Ira Kleiman的律師稱,Craig Wright只提供了16,404個比特幣地址清單,但沒有關于“保稅快遞”中間人的信息。原告要求Craig Wright在10天之內回應7條關于中間人的質詢,之后原告將利用這些答復來獲取有關“保稅快遞”中間人的信息。在此期間,原告正在請專家審查和分析這份清單。據此前CoinDesk報道,根據1月14日向美國佛羅里達州南部地區法院提交的一份法庭文件,第三方“提供了解鎖加密文件所需的信息和密鑰片段”,似乎是指此前提及的備受期待的“保稅快遞員”中間人,表示CSW擁有解鎖96億美元比特幣所需的私鑰。Bloom法官對保稅快遞公司的存在和比特幣爭議的數量表示懷疑。CSW此前因未能出示其所持比特幣的完整清單而被判藐視法庭。[2020/1/15]

它就像是教小朋友學畫畫,先給小朋友看一張簡筆畫,逐漸把它擦掉,讓小朋友在大人的引導之下,試著從白紙開始恢復這張簡筆畫。

從計算機的視角來看,擦除的過程就是給圖片不斷增加噪聲的過程,這種噪聲是一種正態分布的噪聲,叫高斯噪聲,直到最后變成一張純噪聲的圖片。恢復的過程就是通過概率除去噪聲的過程,這中間往往會加一些指引,叫Guidance,以確保恢復的過程朝著對的方向。

左圖為增加噪聲的過程,右圖為除去噪聲的過程

GLIDE擴散模型帶來最大的創新就是在訓練的過程中融入了文本的信息。在CLIP模型的基礎上,在恢復的過程中嵌入文本的信息,這就導致了難度的快速疊加,因為它既要學會恢復的算法,又需要學會識別的算法。然而,在恢復的過程中,它并沒有把知識完全融入其中,如何才能把知識徹底地融入到圖像生成里?

動態 | 黑客Paige A. Thompson因竊取機構數據和非法挖礦而被起訴:據databreachtoday報道,黑客Paige A. Thompson因涉嫌竊取至少30家機構數據,并利用被入侵的服務器挖礦,目前已被起訴。[2019/8/29]

GLIDE模型的抽象理解,就像是爸爸教小朋友騎車,目標是希望在有爸爸扶和沒有爸爸扶的時候,小朋友都能騎出同樣的曲線。這往往通過一種中間形態來實現,從一直扶到偶爾扶,偶爾撒手,最終的訓練目標就是不斷在這種狀態里達成。

GLIDE擴散模型的目標也是如此,在它的原理中,爸爸扶著小朋友就是分類器,能幫助分類或目標識別,撒手就意味著無分類器指引,有時會將一些文本的信息替換成空的字符串,隨機替換掉一些信息。當有分類器產生的曲線和沒有分類器指引產生的曲線一致時,整個文本的信息就融入到了生成過程中。

有了GLIDE擴散模型以后,還可以制定不同的引導目標,因此會產生不同的效果,如果你想生成與某張圖片一樣效果的圖片,你可以輸入這張圖片,接著就會得到一張類似風格的圖片。這就像是一個小朋友的爸爸告訴他,自行車的前輪其實是個裝飾品,他最終在不斷的強調之下,就會學會這樣騎車的方式。

PRIOR模型

當CLIP模型將文本和視覺相連,GLIDE模型通過概率恢復一張隨機的模糊照片,并把文本信息融入其中,我們還缺少了這兩者之間的聯結,如何把文本描述映射到視覺描述中,這就是PRIOR模型的核心。

有了CLIP模型,雖然能夠實現文本和視覺之間相關性的描述,但還缺少一個轉換器,那就是面對一個新的描述,如何產生一張新的圖片。就像你教會了小朋友畫帽子,也教會了畫兔子,現在如何讓他畫一張戴帽子的兔子。PRIOR模型其實是在CLIP模型之后產生一個新的效果,在CLIP模型中用到的文本和圖片編碼器,給編碼后的東西再增加一個特征,這就使得文本和圖片的信息都融合在同個維度,便于我們去操作。

Craig Wrigh:擁有比盧旺達整個國家更多的財富:據bitcoinist.com消息,在盧旺達首都基加利舉行的2018年非洲變革峰會上,自稱中本聰的NChain 首席技術官 Craig Wright發表了關于他利用區塊鏈技術改造非洲的各種主張。Wright表示,比特幣是非洲加密貨幣和區塊鏈的一部分,會議期間他表示他自身比盧旺達國家有更多的財富。此前,Wright自稱他是比特幣創造者,從而引發了加密貨幣行業的憤怒。Twitter分析師Dennis Parker認為Wright是一個騙子,假冒的中本聰。[2018/5/25]

三個模型的關系

CLIP模型理解了圖片與文字的關系,PRIOR模型就是在理解圖片與文字的關系之上,從文字中產生一個腦海中的構圖,GLIDE擴散模型就是要把腦海中的構圖畫出來,畫出人類能懂的視覺圖片。

我們再從下圖論文的原理來理解一下。圖中有一條虛線,虛線的上方是預訓練的過程。左邊的TextEncoder,就是之前提到的文字轉換器Transformer,它把一段文字轉換成計算機能理解的表達。右邊的ImageEncoder,也就是視覺轉換器VisionTransformer,把人類理解的視覺圖片轉換成計算機的數據結構。

在經過大量的訓練之后,這兩者之間產生了具有相關性的連接,也就是文字和圖片之間的關系產生了非常強的理解。

虛線之下是生成的過程,把文本放進PRIOR模型里面,從這段文本中生成計算機能理解的視覺表達結構,再用GLIDE模型生成人類能看懂的圖片。雖然上下兩只小狗的圖片看起來不一樣,但它們本質上包含了同樣的文本語義,這樣就實現了任何一段文本都能生成出一張人類能看懂的圖片。

發展歷程

整個夢開始的地方,始于2017年Google發布的一篇論文《Attentionisallyouneed》。它讓算法學會了人類的注意力機制,就是當我們去看一張圖片時,會看到重點,同時忽略背景的信息。

這篇論文發表之后,帶來一個NLP的模型,叫Transformer,一經發布便快速屠榜,接著很快有了BERT模型,有了OpenAI的GPT-3模型。在視覺領域,有DERT模型,iGPT模型,以及上面提到的VisionTransformer。

Transformer模型的重要性在于,它是我們剛才提到的三個模型的底座,學會找出圖片和文字的重點,才能夠搭建CLIP模型,才可能有之上的PRIOR和GLIDE擴散模型。

夢想的實現還有另一半,圖像生成。

從2005年開始的求解特定概率密度函數,通俗理解就是通過最快的方法去估算正態分布,再到2008年的去噪自編碼器的研發,加入高斯噪聲,一種正態分布的噪聲,再將它去除,我們用到的很多拍照中的去噪、降噪功能就是從這里來的。到了2011年,有人嘗試將這兩種算法結合在一起,2015年,開始嘗試用這種思想還原照片。但這時候還原照片的質量還不是很高。

時間撥轉到2019年,中國的宋飏博士把朗之萬動力學引入到數據分布的估算中,產生了非常好的效果。2020年,Google發布名叫DDPM的論文,這篇論文核心就是結合朗之萬動力學和擴散模型,產生了非常高的圖片生成質量。

2014年引起軒然大波的GANnetwork對抗生成網絡,已經能生成出效果不錯的圖片,但它的訓練難度很高,擴散模型降低了圖像生成模型的訓練難度,還能生成比GAN更多元的圖像。

在夢想實現的2021和2022年,OpenAI和Google都開始嘗試把文本信息加入到擴散生成的過程中,產生了今天的GLIDE模型。OpenAI在思想上的突破,用Transformer去海量地理解圖片和文本,產生了CLIP模型,再用擴散模型在圖像生成中融入海量的圖文信息,優質的AIGC圖片終于誕生。

接下來,我們將圍繞一些問題進行討論。

1、從產品化、商業化的角度出發思考,目前AIGC的技術層面的發展會產生影響?

有兩個維度。第一個維度是在海量數據中尋找我們最想要的內容,第二個維度是在海量數據中得出新的內容,反向給予我們創造的靈感。

從AI本身的能力再進行泛化的話,一方面很多現有產品的使用體驗能得到巨大的提升,例如在筆記類的軟件中加入AI后,在寫作過程中能得到更好的體驗;另一方面,未來創意不強,生成能力較弱的人可能會被AI替代。

2、回到基本邏輯,我想確認下自己的理解是否正確:相較于Transformer,ChatGPT并不是在AI領域出現了一個顛覆性的技術創新,而只是在一個模式上加了人類的feedback,設置了不斷迭代的參數,它自己越搞越聰明了。

過去的所有模型的進化,其實圍繞兩個方向在進化。第一個是DNA,第二個是方法論。DNA很像真實世界中材料的研發,方法論更像是真實世界中材料的使用。

Transformer是DNA的進化,是更核心的突破。ChatGPT是方法論,但它就更簡單了嗎?并不是的,它在探索的過程中經歷了很長的時間,同時要滿足很多先決條件,這個方法論才能得以運用。不論方法論突破還是DNA突破,都很有意義。

3、未來的生意模式會怎么樣?會不會更集中?圍繞這樣ChatGPT的模型,它會產生哪些創業方向?

可能有兩種商業模式,一種是ToB的,就跟阿里云一樣,另外一種就是讓開發者在這種大模型上去ToC。不論是DNA還是在方法論上的突破,它都可能讓一個企業產生壟斷,產生巨頭效應。

ChatGPT和用戶不斷互動,會得到源源不斷的反饋數據,數據也是一種資產,一種生產要素。這種生產要素產生的產品會是人類更高頻使用的東西,它的頻率越高,這種生產要素就越來越重要,反饋能夠創造的要素提升就越來越重要,同時帶來的經濟價值就越來越大。

4、會不會有規模效應或雙邊網絡效應?

我覺得背后既有這種網絡效應,又有一些規模效應。如果設想一下,第一個研發出來的這種中文大模型,它會快速地獲取市場上有限量的開發者,開發者在用它的產品去面向ToC去獲取C端用戶,它的數據會源源不斷反饋回來,去優化它的效果,其實就會產生更強的壟斷效應。

5、從投資的角度,在AIGC,我們應該投什么樣的團隊?

我覺得傳奇的團隊是有創造DNA能力的團隊,黃金的團隊是有能力把應用層和AI完美結合的能力,白銀的團隊就是打造AI領域的基礎設施的團隊。

Tags:AIGMERRANFORAIGPT幣xFarmerFRANCformosa

幣安app官方下載最新版
了解一種為活躍 DAO 的財庫執行設計的框架_比特幣:DAO

本文主要分析DAO財庫治理和執行中的痛點,并嘗試提出一種解決方案:非托管和主動資金執行。 DAO財庫治理難題 DAO是一種加密原語.

1900/1/1 0:00:00
A16z:監管 Web3 應用程序的框架_WEB3:去中心化金融defi入門分析與理解

文章作者:MilesJennings、BrianQuintenz文章編譯:Blockunicorn這是《監管應用程序,而非協議的第二部分》閱讀第二部分,閱讀第一部分請查看原文鏈接跳轉.

1900/1/1 0:00:00
深入了解Tether的內部情況:加密貨幣中牢不可破的“紐帶”_tether:HER

原文來源:Forbes 在加密貨幣的生存危機中,其最大的流動性供應商Tether?經受住了多次數十億美元的贖回.

1900/1/1 0:00:00
Apple和Meta的元宇宙“世紀之爭” Web3 用戶應該是喜是憂?_APP:METANIA

大家可能已經看到了新聞,蘋果公司預計今年晚些時候將發布新的VR-AR頭盔,這為與Meta公司爭奪元宇宙控制權的激烈斗爭創造了條件.

1900/1/1 0:00:00
2022 年回顧:年度十大加密時刻_TER:Splinterlands

2022年,加密世界遭受重創。其中最引人注目的幾大事件的余波可能會在未來幾年對行業帶來深刻影響。 關鍵要點 2022年,加密生態系統市值縮水2萬億美元,并失去了幾個主要參與者,但它并沒有消亡.

1900/1/1 0:00:00
項目周刊 | BTC反彈至1.7萬美元上方后推動美股上市礦企普漲_比特幣:以太坊

金色周刊是金色財經推出的一檔每周區塊鏈行業總結欄目,內容涵蓋一周重點新聞、行情與合約數據、礦業信息、項目動態、技術進展等行業動態。本文是項目周刊,帶您一覽本周主流項目以及明星項目的進展.

1900/1/1 0:00:00
ads