AI 成謊言制造機，資本涌向打假科技_CHAT:Steam Exchange

作者|Lexie

編輯|Lu

來源丨硅兔賽跑

圖片來源：由無界AI工具生成

過去幾個月掀起AI小高潮，先是OpenAI的大模型GPT-4公布，多家測評表示比ChatGPT準確許多，學習速度也更快；隨后不久ChatGPT宣布將實現對插件的支持，表示它可以通過第三方服務為用戶提供更強大的功能。

這些消息讓全網興奮不已，將AI的聰慧捧上神壇之時，AI卻也在悄悄展露自己的另外一個黑暗面，那就是它撒謊不打草稿的能力。

生成式AI：謊言制造機

我們都知道，AI的強大之處在于能夠快速收集來自各種源頭的信息并根據用戶的特殊指令“見機行事”，這就說明即使是非常荒謬和片面的信息也可能被借AI之口說出，謠言就這樣因其表述的合理性和完整度被大眾接受和傳播。

新聞評級網站Newsguard最近進行了一項嘗試，他們讓ChatGPT以反新冠疫苗者的口吻進行對話，結果AI生成了一段看似非常合理的言論，“有理有據”的講述疫苗制藥公司如何不擇手段，甚至對兒童健康產生極大負面影響他們也不在乎。

這樣的技術落到造謠者手中，就會有許多無知大眾上當受騙。

ChatGPTantivaccine

OpenAI 4月份員工股票出售規模較此前報道高出65%，達4.95億美元:金色財經報道，OpenAI在4月份完成了一項收購要約，允許員工向一群投資者出售股票。這筆交易籌集了4.95億美元，較此前報道的3億美元多出65%。根據美國證券交易委員會的文件，此次發行旨在籌集價值5.36億美元的股權，因此未來的出售規模可能會更大。據TechCrunch此前的報道，這些股票被出售給了40家合格投資者，其中包括風險投資公司Andreessen Horowitz、Khosla Ventures、紅杉資本和Founder’s Fund。

據知情人士透露，現有投資者老虎環球實際上并未參與此次出售。據悉這筆交易是通過特拉華州一家名為Aestas Management Company的空殼公司完成的。（Business Insider）[2023/5/27 9:45:15]

不僅是文字，AI在圖片和視頻上造假的功力也了得。

川普被捕的一系列假照片在網上被瘋狂轉載，這些用AI工具MidJourney創造出的圖片十分以假亂真，即使某些細節并不合理-比如圖中的川普有三條腿，還是不妨礙網友們大肆轉發并信以為真。

Trumparrestedpic

而視頻因其復雜性常常給人難以偽造的假象，殊不知只要在圖片的基礎上稍加技能視頻造假也并沒那么難。

Deepfake技術的出現更是讓這件事變得十分簡單，像是馬斯克為加密貨幣交易平臺打廣告、拜登和奧巴馬打游戲、假阿湯哥打高爾夫球和變魔術、還有無數女明星被換臉進片都是deepfake的產物，除了鑒偽專家，普通人實在難以分辨真假。

OpenAI CEO：AI技術將重塑社會，監管機構和社會各界應盡可能參與ChatGPT的發布和測試:3月17日消息，OpenAI CEO Sam Altman表示，人工智能（AI）技術將重塑社會。他認為AI會帶來危險，但也是人類迄今為止發展出的最偉大的技術。

他強調，監管機構和社會各界應盡可能地參與ChatGPT的發布和測試，因為外界的反饋有助于減少該技術對人類造成的潛在威脅。他補充說，自己與政府官員保持“定期聯系”。[2023/3/17 13:10:49]

Obamaplayingvideogame

deepfaketomcruise

AI作出滑稽的梗圖或許可以博網友一笑，但虛假信息在某些場景下的負面影響卻是致命的。

2020年“犯罪科學”的一項報告顯示，在未來15年內AI可能創造出的安全威脅中，深度偽造被列為最嚴重的一項，而哈里斯民調機構的調查也顯示，美國有67%的成年人對生成式人工智能技術的安全性倍感擔憂，只有約29%的被調查者表示從未用過這項技術也并不打算使用。

打假AI：沒那么簡單

目前許多AI技術的開發者都相信這一問題需要“以攻”，科技創造出的麻煩要科技去破局，在這一點上，科技大廠們已經在行動了：

OpenAI CEO借CryptoPunk價格宣傳ChatGPT API:3月2日消息，OpenAI 首席執行官 Sam Altman 在社交媒體上發文表示，去年一枚 CryptoPunk #5822 NFT token 的價格為 2370 萬美元，而使用 ChatGPT 時，僅需 2 美元就可以購得 100 萬枚 token（ChatGPT 內字符單位）。

注：此處為諧音梗，二者 token 含義不同，Sam Altman 此說法旨在表達 ChatGPT API 收費合理。

據悉，OpenAI 于今日正式開放 ChatGPT API，本次開放的 API 背后模型定名為 gpt-3.5-turbo，實際功能與網頁版 ChatGPT 相同，價格僅為此前 GPT-3.5 的 1/10，每輸出 100 萬個 token 的價格為 2.7 美元（約合 18 元人民幣）。[2023/3/2 12:38:12]

●Google早在2019年就發布了一個大型開源數據庫，招募演員錄制了視頻后利用網上現有的deepfake技術進行偽造，最終生成的視頻數據可以幫助打假技術的開發者更好學習deepfake的算法和邏輯。今年Google還在歐洲地區開始了用付費廣告進行對反信謠和鑒別虛假信息的大型宣傳。

Googledeepfakedatabase

●微軟在去年推出了一個叫做“VideoAunthenticator”的工具，它能夠對畫面中渲染邊界和灰度等級進行逐幀的實時分析進而生成可靠指數，以此來幫助用戶鑒別內容的真實性。

動態 | Chintai 2.0 Beta 版已在麒麟測試網發布:據MEET.ONE消息，Chintai 今日發布公告表示：Chintai 2.0 Beta 版已經在麒麟測試網發布，進行測試。Chintai 2.0 將不僅局限于 EOS 代幣租賃服務，還將擴展至其他 EOS 項目。[2019/11/17]

MicrosoftVideoAunthenticator

●Meta此前也推出過和Google類似的開源數據庫，還和微軟及MIT、牛津、UC伯克利等高校聯合發起了提供1000萬美元獎金激勵的挑戰賽，鼓勵更多檢測虛假信息和深度偽造技術的創新。

●Twitter會對經常發布deepfake和虛假信息的賬號進行封殺，還會將比較可疑的內容打上標簽，并且在用戶轉發這類內容時還會進行“確定要轉發嗎？”的提問。

Twittermanipulatedmedia

●TikTok最新推出的社群規范規定使用真實場景進行合成的內容必須被明確指出，這就說明所有以生成合成式AI創造出的內容必須在標題或者tag中使用“合成”“虛假”等詞匯。

雖然科技巨頭們在技術和預防上都在努力，但虛假和偽造信息似乎并沒有減少。

打擊虛假和偽造信息難度之大有很多原因，比如首先需要對什么是虛假信息進行一個準確的定義，在這點上許多平臺并做不到，因為虛假信息并不是在每個場景下都可以被簡單甄別，而當虛假信息被用多種語言傳播到世界各地，難度就更大了。

動態 | EOS NewYork 發文回應 AnChain.ai 報告及其對 EOS 菠菜 dApp 的報道:據MEET.ONE 報道報道，六月初，AnChain.ai 宣布其平臺對 EOS 上排名前 10 的菠菜 dApp 的分析，并構陷 51% 的賬戶和 75% 的交易與這些 dApp 上的智能合約相關，且為機器人運作的結果。由于這篇文章，一些媒體的報道將 dApp 定性為無作為的應用，把多數的 EOS 用戶當成是機器人。為此， EOS New York 發文回應該報道，并稱其對 EOS 認知不足，且通過 dApp 生態系統、報告、商業決策、以及區塊鏈內在屬性等方面分析，反駁 Anchain.ai 觀點。[2019/6/12]

同時很多時候信息本身并不是謊言也不是被偽造出的內容，而發布和傳播者只是巧妙地用了隨意選取的方式來誤導網民，這類內容尤其難跟虛假信息進行分別。

再有，對社交媒體等平臺來說，擊打虛假信息從來都不是他們商業目標的重中之重，當一件事只是為了符合規范卻并不能帶來利潤，顯然微薄的動力致使打假的腳步走的異常緩慢。

正因如此，許多人將眼光和希望放在了一批正在將精力全部放在開發鑒別虛假信息技術的初創公司身上。

資本涌向打假初創公司

投資者的資本也伴隨著大眾迫切的希望涌向了這些初創公司，在過去幾年間，數億美元被投資進了這一賽道。

DisinformationAndMisinformationMitigators

孵化于硅谷加速器NexCubed的Blackbird已經開發出了一套成熟的鑒偽技術，因在擊破新冠謠言方面表現出色而開始被知曉，它的專利算法技術可以通過即時對上億個數據點的分析搞清楚虛假信息的源頭和傳播者。

這一技術使用五項「風險信號」來對虛假信息進行甄別，包括“敘事口吻”-對信息和對話背景進行分析；“社群網絡”-對用戶及分享內容之間關系進行分析；“族群”-對有類似興趣的用戶是否聚集加劇信息分享的幅度進行分析；“操縱”-對信息的合理使用進行分析；以及“欺騙”-分析傳統意義上比較明確的真與假。

BlackbirdCONSTELLATIONDASHBOARD

Blackbird還在今年推出了一個叫做RAV3NCopilot的AI助手，通過使用生成式AI來制作敘事性智能和風險報告，為虛假信息安全隱患提供更多的背景分析，以此幫助安全部門進行更加高效和自動化的監控和分析。

Blackbird目前融資總額為1000萬美元，服務領域涉及品牌、金融、企業及公共部門等等，客戶包括美國國防部及多個Fortune500公司。

背景分析在鑒別虛假信息這件事上十分重要，因為不同場景的信息使用可能會導致真或偽的天壤之別，因其人工智能和自然語言處理防偽技術而知名的舊金山公司Primer最近就對背景智能技術公司Yonder進行了收購。

Primer的神經網絡技術可以快速對大量文本進行掃描，根據詞語的頻率和重點提取主題，快速識別可疑信息，這樣以來可以對全球事件進行即時分析，識別用虛假信息進行的大型宣傳，對網絡安全攻擊事件進行反擊等等。它的NLP模型結合上Yonder的背景敘事智能分析能力，讓用戶甚至能夠預防性的監控即將出現的虛假信息，快速識別謠言背后的造謠者，分析潛在風險等級，以及對受到虛假信息傷害的品牌和行動用系統提供的建議減小損傷程度。

Primer如今已經完成了1.68億美元融資，最大投資包括來自LuxCapital的4000萬美元B輪和來自Addition的1.1億美元C輪。

在紐約和特拉維夫都有團隊的ActiveFence也是獲得了這一賽道最多融資的公司之一，融資總額達到了1億美元，包括來自GroveVentures和NorwestVenturePartners的A輪，以及CRV和HighlandEurope的B輪。

ActiveFence的技術使用NLP對全網正在進行的對話進行搜索，即使是網絡最深處的角落也可以觸及，然后通過對“壞種子”式信息的預判進行風險分析，這就意味著它可以預估一段看似無害的對話是否會被造謠者惡意使用，導致更加深遠的惡性影響，這種前瞻性對于虛假信息的預防來說格外關鍵，ActiveFence的主要客戶包括社交媒體、音頻及視頻流媒體、文件分享平臺和游戲平臺等，覆蓋用戶總數達到了10億+。

DeepMedia可以說是一家提供“雙管齊下”業務的公司，最初的主營生意是開發出了可以通過翻譯、語音合成和配音等技術讓用戶看起來能說多種語言的工具DubSync，而在這項服務成功被接受后目前研究起了如何監測合成音頻和視頻的技術，它對其監測工具的訓練方式就是通過用自家的合成工具不斷生成deepfake，然后考驗監測系統是否能夠察覺。

創始人Gupta表示現有的像是DeeperForensics和FaceForensics等大型數據庫在合成時往往帶有強烈的偏見，因此訓練出的技術在監測上也有盲點，而DeepMedia的競爭優勢在于它所使用的deepfake數據庫質量更高，對于網絡上現有的deepfake內容的代表性也更強。

這一AI監測工具在預先處理和正式分析方面都十分強大，比如它要想驗證一個視頻中的阿湯哥是否是真的，首先模型需要對視頻中人物的臉部特征進行提取并分析，然后從背景音中提取出人物的真聲，接下來這些信息會在一系列的分類器中被檢驗，最后整體的內容還要被卷積神經網絡刷一遍看看生成deepfake的算法是否被使用。

DeepMediadetection

DeepMedia還開始了使用基于視覺的圖像分類模型，Google就是用這種模型來進行搜索結果提取的，這樣的模型比傳統卷積神經網絡訓練速度要快上10倍。DeepMedia的這一監測業務已經和美國空軍下屬的實驗室達成了合作，目前準確率達到了95%，會在99%的時候在市面上公開發布。

▼

大廠也好，初創公司也好，他們為打假科技研發所作出的努力至關重要。

在未來的5到10年內，AI技術的發展將更快，這也就意味著AI在“撒謊”這件事上會更加聰明，僅靠網友們的人工鑒別肯定是不夠的。

許多deepfake賽道的創始人呼吁各國政府的參與也至關重要，比如設立跨國界的對于虛假信息界定和干預的規范條例，比如撥款用于這一類危機的教育和研究等等。

如果AI有善和惡之分的話，那么未來幾年在虛假信息這方面可以說是AI自身善與惡的一場賽跑，雖然科技不是唯一的答案，但希望我們眾志成城的打假行動能夠為我們爭取一些時間。

參考來源：

AIiseatingitself:Bing’sAIquotesCOVIDdisinfosourcedfromChatGPT(Techcrunch)

MeettheAI-poweredstartupcatchingfakenews（Wired)

It’sNoLie:StartupsFightingDisinformationAreRakingInCash（CrunchbaseNews)

MeetthecompanyworkingwiththeAirForcetodetectdeepfakes

Tags：DEEPCHAGPTCHATdeepbrain-chainSteam Exchange人工智能chatGPTChatCoin

歐易交易所