Stable Diffusion 團隊放大招！新繪畫模型直出 AI 海報，像素級生成_FLO:PFL幣

來源：量子位

開源AI繪畫扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新開源模型DeepFloydIF，一下獲星2千+并登上GitHub熱門榜。

DeepFloydIF不光圖像質量是照片級的，還解決了文生圖的兩大難題：

準確繪制文字。

以及準確理解空間關系。

BNB Chain推出基于OP Stack的Layer2網絡opBNB測試網:6月19日消息，BNB Chain推出基于OP Stack的Layer2網絡opBNB測試網。開發人員預計opBNB測試網將達到每秒4,000筆交易的速度，目標成本為每筆交易0.005美分。[2023/6/20 21:48:10]

網友表示，這可是個大事，之前想讓Midjourneyv5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆，對于鏡子理解的也不對。

Stargate DAO發起投票以減少對Multichain發行的穩定幣的敞口:5月27日消息，Stargate DAO正在投票表決一項提議 ，以降低其對Multichain協議創建的穩定幣的敞口，并將包含該資產的礦池與其他礦池隔離開來。

Stargate橋將Fantom區塊鏈連接到其他區塊鏈。在每條鏈上都有包含anyUSDC穩定幣的資金池，該穩定幣由Multichain發行，是Fantom上常用的穩定幣。該提案旨在將Fantom礦池與Stargate的其他礦池斷開連接，并降低對穩定幣的敞口。

目前，該提案支持率達97.43%，仍未達到執行它所需的200萬人數。[2023/5/27 9:46:08]

使用DeepFloydIF，可以把指定文字巧妙放置在畫面中任何地方。

YFI創始人在GitHub發布StakingRewardsV3代碼:8月24日消息，YFI創始人Andre Cronje在GitHub發布StakingRewardsV3代碼，是用于Uniswap v3 NFT 頭寸的經典合成StakingRewards合約，在Uniswap v3上可以輕松獲得范圍頭寸的流動性激勵（與給定范圍內提供的流動性成正比）。[2021/8/24 22:33:14]

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫，文字都會以合適的字體、風格、排版出現在合理的地方。

這意味著，AI直出商品渲染圖、海報等實用工作流程又打通一環。

動態 | Second State 獲得300萬美元的A 輪融資:區塊鏈智能合約平臺Second State已經獲得了300萬美元的A輪融資，投資方為海納亞洲資金(SIG)。此外，ETC Labs（以太經典），JBoss創始人，紅帽軟件前執行副總裁Marc Fluery也參與到了本輪投資中。

Second State的重心在于開發并商業化“區塊鏈中間件”，其中包括虛擬機，規則引擎，搜索引擎和數據服務，為新一代的區塊鏈應用賦能。目前Second State已發布三個開發者工具：

1：BUIDL 工具，允許開發人員快速編寫，構建和部署DApp 的所有元素。

2：BaaS 可以允許開發人員一鍵創建自己的區塊鏈。

3：智能合約搜索引擎，搜索引擎可以用來查找特定類型的合約，檢查其當前狀態，并查看某個合約的狀態更改歷史記錄，也將數據聚合，繪制圖表給企業用戶。[2019/7/17]

還在視頻特效上開辟了新方向。

動態 | 穩定幣公司Stasis聘請馬耳他德豪會計師事務所對其進行財務審計:據coindesk消息，總部位于馬耳他的穩定幣公司Stasis已聘請馬耳他德豪會計師事務所(BDO Malta)對其財務進行季度和年度審計，其中包括支持這家初創公司的EURS令牌的歐元儲備。此次審計旨在消除人們對歐元穩定幣一對一支持的疑慮。[2018/12/10]

目前DeepFloydIF以非商用許可開源，不過團隊解釋這是暫時的，獲得足夠的用戶反饋后將轉向更寬松的協議。

有需求的小伙伴可以抓緊反饋起來了。

像素級圖像生成

DeepFloydIF仍然基于擴散模型，但與之前的StableDiffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL，結合超分辨率模塊中額外的注意力層，獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。

也就是擴散過程不再作用于表示圖像編碼的潛空間，而是直接作用于像素。

官方還提供了一組DeepFloydIF與其他AI繪畫模型的直觀對比。

可以看出，使用T5做文本理解的谷歌Parti和英偉達eDiff-1也都可以準確繪制文字，AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源，谷歌的幾個模型更是連個Demo都不給，DeepFloydIF就成了更實際的選擇。

具體生成圖像上DeepFloydIF與之前模型一致，語言模型理解文本后先生成64×64分辨率的小圖，再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上，通過把指定圖像縮小回64×64再使用新的提示詞重新執行擴散，也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外，DeepFloydIF的優勢還在于，IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中，IF-4.3B取得了最好的FID分數，并達到SOTA。

誰是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的獨立研發團隊，深受搖滾樂隊平克弗洛伊德影響，自稱為一只“研發樂隊”。

主要成員只有4人，從姓氏來看均為東歐背景。

這次除了開源代碼外，團隊在HuggingFace上還提供了DeepFloydIF模型的在線試玩。

我們也試了試，很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多，不過既然開源了，相信在中文數據集上訓練好的變體也不會太晚出現。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在開源上的唯一動作

語言模型方面，他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna，基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

DeepfloydIF在線試玩：

https://huggingface.co/spaces/DeepFloyd/IF

代碼：

https://github.com/deep-floyd/IF

StableVicuna在線試玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

權重下載：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

參考鏈接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

Tags：STAFLODEEPPFLstart幣圈FLOCDEEPSPACEPFL幣

MATIC