兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_LAMA:BABYLLAMA

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

V神：Rollup二層網絡尚存在兩大問題，但慢慢會得到改善:2月28日消息，在今晚的社區問答中，關于用戶尚未向rollup二層網絡大規模遷移的問題，以太坊聯合創始人vitalik解釋稱，當前的rollup尚存在兩個問題，一是現在的應用還很簡單，基礎設施生態不多，二是跨rollup交易的問題還沒解決，此外，很多服務還不支持rollup，例如交易所，但這些問題會慢慢得到改善。[2021/2/28 18:01:22]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

美國兩大比特幣礦業公司在過去12個月的股價漲幅超300%:美國比特幣礦業公司排名前兩位的RiotBlockchain和MarathonPatentGroup在過去12個月的股價漲幅分別為492.6%和387%，增幅超越比特幣和以太坊。（CryptoBriefing）[2020/11/25 22:07:41]

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

動態 | 硅谷洞察研究院：區塊鏈數據可追蹤性、不可篡改性兩大技術特點的應用最為普遍:硅谷洞察研究院今日發布《2019全球區塊鏈產業應用與人才培養白皮書》。報告指出，總體來講，從技術層面，區塊鏈的數據可追蹤性、數據不可篡改性這兩個技術特點的應用最為普遍；行業中以私有鏈和聯盟鏈的率先應用為主。在行業實踐中，區塊鏈與金融領域的結合最為突出，2019年區塊鏈領域發生的大事件也普遍在金融領域，例如Facebook發布Libra，DeFi（去中心化金融）概念的大規模的推廣等。金融領域之外，區塊鏈技術也已開始與制造、醫療、財會、政府服務等領域結合并落地。[2020/1/2]

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

聲音 | 賽迪區塊鏈研究院院長劉權：區塊鏈大規模應用落地首先面臨著性能和安全兩大問題:據每日經濟新聞消息，賽迪區塊鏈研究院院長劉權在接受記者采訪時談及“未來區塊鏈大規模應用面臨的挑戰”時表示：首先，區塊鏈大規模應用落地面臨著性能和安全兩大問題，從分布式系統理論出發，性能、安全二者不可兼得，但如何能在安全最大化的情況下提升區塊鏈性能指標，使其更加適用于具體應用場景仍是業界公認的技術難題。其次，區塊鏈企業運營支出成本、人才成本較高，市場需求沒有進入爆發期，區塊鏈應用案例效果有待進一步驗證，大規模應用還不成熟。最后，區塊鏈應用，尤其是聯盟鏈的應用落地需要跨企業、系統間的多方協調，并取得一致共識。相比中心化應用系統的建設增加了不少難度，從而導致部分好的應用場景落地難度大、周期長，項目建設及推廣較為滯后。[2019/4/20]

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMA區塊鏈LAMALlamaLlamaSwap區塊鏈掙錢是真的假的LlamaverseBABYLLAMA

BNB價格