阿里AI專家交流實錄_NEAR:WEB

問：阿里大模型的發布節奏，以及大致水平？

答：阿里巴巴達摩院主要來牽頭去做大模型的相關的研究和進展，大概是在22年的時候，我們其實就已經發布了我們自己的這種自然語言理解的大模型，一個叫m6，一個叫plug。M6的話基本是能夠支持多模態的這種AI模型，比如說文字生成圖片，文字生成語音，文字生成視頻這種模型，但是我們大模型相比來講，GPT3.5這種水平在參數量和整體規模上其實還是要小一點。所以在大模型目前我們這種模型可能也就叫做中模型。

達摩院頂層的領導下達了命令，整個團隊約有100個人去開始去做相關大模型的迭代和升級，一方面是自己在復現GPT的水平，一方面是要迭代把我們的m6和plug迭代到能夠對標到GPT的水平。目前來看根據我們得到的一些反饋，我們自己的這種m6的一些自然語言理解的能力，目前還不能對標到GPT3.5與GPT3.5大約還得有個一年半左右差距。

所以在我們預計今年在下半年云棲大會上的時候，應該會有m6的一些最新的模型的發布或者是進展，可能大概在GPT2.5左右的水平。

語料積累不足。現有的大型語言模型在文本清洗和篩選方面存在一些限制，因此需要對現有模型進行升級和迭代，以適應不同領域的數據需求。例如，要將模型應用于軍事、旅游文化、等領域，需要進行更多的數據收集和人工標注，以達到更高的準確性和效率。同時，大型語言模型的成熟也將帶來更多的商業機會，例如在天貓淘寶、高德地圖等應用中的搜索和客服機器人等領域。此外，如果大型語言模型足夠成熟，可能會釋放出API，由合作伙伴接入，從而實現生態層面的壟斷。

新加坡將為Web3等技術提供1.5億美元基金:8月7日消息，新加坡金融管理局(MAS)在一份聲明中表示，根據新的金融部門技術和創新計劃(FSTI 3.0)，未來三年將向Web3初創公司和其他技術投資1.5億美元。MAS認識到與行業合作支持Web3.0等新興技術產生的創新金融科技解決方案的重要性，MAS將公開呼吁在行業用例中使用創新技術。將提供贈款資金以支持實際試驗和商業化。

這是官方實體首次投資加密貨幣創新，MAS董事總經理Ravi Menon表示，我們期待與業界繼續合作，推進有針對性的金融創新。[2023/8/7 21:29:59]

問：預計阿里大模型與文心一言對比？同時您認為制約我們大模型發展的是最主要是這個語料，還是模型一開始的這種路徑偏離，您認為哪一個是制約我們發展的一個最重要的原因？?

答：我們認為百度做得雖然不是那么智能，但還是相當不錯的。在國內，它可能算是第一名。我們認為它還有很大的提升空間。文心一言雖然有一定的實用性，但離達到GPT-3水平還有一定差距。不過，我們覺得它至少可以達到GPT-2.5水平,如果未來能夠持續迭代和優化，可能會達到GPT-3.5的水平。數據積累對于百度來說是一個優勢，尤其是在搜索領域。百度在知識庫方面有很多年的積累，包括百度知道等。與文心一言不同，其模型架構基于Transformer，而文心一言則基于Bert。如何在文心一言的基礎上實現更智能的迭代，可能是一個挑戰，需要達摩院的同學來解決。

津巴布韋將推出黃金支持的數字貨幣:金色財經報道，津巴布韋央行將推出一種黃金支持的數字貨幣作為該國交易的法定貨幣，為穩定當地貨幣的干預措施的一部分舉措。引入數字黃金代幣將代表著央行使用該國黃金儲備來錨定津巴布韋元的第一步行動。津巴布韋貨幣當局設想，數字黃金代幣將允許那些持有少量津巴布韋元的人將其貨幣兌換為代幣，以實現價值儲存并對沖匯率波動。與此同時，津巴布韋央行也在考慮向市場投放更多的“雷鳴雨霧”（Mosi-oa-Tunya）金幣，以遏制津巴布韋元最近的貶值。(星期日郵報)[2023/4/23 14:21:37]

問：阿里如何后發追上？會采取怎樣的打法？

答：我們可以提供的方案主要有兩種，一種是我們推出的模型效果相對較好，可以與集團內部的產品結合，例如天貓、淘寶和高德地圖的搜索業務。這將為搜索引擎帶來更新的商業模式，并取代以前的商業模式。此外，我們還可以輸出我們自己的API，并向合作伙伴或渠道商收費。這些合作伙伴將使用我們的API，并體現出他們的客戶，這些客戶是從ToC端產生的。大多數客戶都有自己的APP和網站，這些客戶可以通過他們的APP和網站獲取流量。不同的客戶可以使用不同的API，這意味著廠商可以在生態系統中形成壟斷。目前，已有一些廠商嘗試將我們的API集成到他們的產品中，但進展不如預期快。對于我們的API，它們可能會在特定領域上有所幫助，例如電商、搜索和推薦，并帶來更好的商業模式。

數據：過去24小時狗狗幣期貨爆倉2600萬美元，未平倉量超5.8億美元:金色財經報道，Coinglass的數據顯示，在過去24小時內，狗狗幣（DOGE）期貨清算額超2600萬美元，高于正常水平。

多頭和空頭受到的影響幾乎相同。多頭倉位平倉1000萬美元，空頭倉位平倉1300萬美元。OKX的交易員受到的影響最大，他們在狗狗幣期貨頭寸上損失了1200萬美元。

此外，狗狗幣期貨的未平倉合約量飆升至5.8億美元以上。

此前消息，Twitter將網頁LOGO圖標從藍鳥更改為DOGE狗狗頭像，DOGE短時拉升，突破0.1 USDT，24H漲幅逾23%。（CoinDesk）[2023/4/4 13:44:25]

問：阿里目前AI算力儲備情況？

答：阿里國內AI算力儲備最多，然后以次為：字節、百度、騰訊。

阿里云現在云上至少應該有上萬片的A100了，整體至少能夠達到10萬片，集團的話應該會是阿里云5倍的這樣的一個量級。

達摩院、天貓、淘寶的算力資源都是集團內資源使用。

阿里云這塊今年增速會有30-50%。有個別8-9個客戶會有復現GPT的需求，提出了大規模AI算力需求，我們以云的方式給。

以太坊Layer2總鎖倉量上升至45.1億美元，7日漲幅2.17%:金色財經報道，12月14日，據L2BEAT數據顯示，當前以太坊Layer2總鎖倉量回升至45.1億美元，7日漲幅2.17%。其中，鎖倉量前五分別為：ArbitrumOne（23.9億美元，7日漲幅2.90%）；Optimism（12.3億美元，7日漲幅1.48%）；dYdX（4.36億美元，7日漲幅1.24%）；Loopring（0.939億美元，7日跌幅0.85%）；MetisAndromeda（0.9186億美元，7日跌幅0.19%）。[2022/12/14 21:44:02]

百度年初緊急下單3000臺8卡的A800服務器，2.4萬張卡，我預計全年百度會有A-H800共5萬張的需求。

阿里云需求不會這么多，去年采購2萬多，今年可能采購量會下降。預計云上就1萬張左右，其中6000張是H800。此外阿里云也會用到平頭哥這種自研的，每年大概3000張去采購。

從除此之外，阿里云也會選擇國產芯片的一家，看是否在云上商業化。

問：阿里云采購的哪家國產芯片，為何選擇？

答：選擇的是寒武紀MLU370，主要是性能基本過關(A100的60-70%)，檢測合格，態度積極，愿意對接，服務貼身。今年會采購大概2000張的水平，主要用在一些CV等小模型的訓練或推理上。寒武紀MLU370沒有供貨的風險，后續的MLU590也許就會有了。

NEAR啟動巴爾干半島中心以推動地區Web3人才與項目發展:6月2日消息，NEAR宣布啟動巴爾干半島中心，將為該地區社區提供工具與支持并擴展NEAR生態的開發者和企業家的資源。此外，該中心也將作為NEAR基金會贈款的渠道，以向開發人員、企業家和Web2企業在Web3應用上的創新提供資金。除了資金之外，NEAR巴爾干半島中心還將推動項目的合作關系建立、項目指導和孵化。NEAR巴爾干半島中心覆蓋了波黑、保加利亞、克羅地亞、黑山、北馬其頓、塞爾維亞和斯洛文尼亞7個國家。[2022/6/2 3:57:43]

對于壁仞等，宣傳上不錯，但拿不到實測的卡，流片大約都是今年4-6月，量產半年后。而且壁仞4月要流片的卡，不能支持FP64，互通帶寬不支持8卡，支持最多4卡，采用NVbridge方式，達到180GB水平。8卡用PCIe方式只能做到32GB，弱點顯著。

針對海光，我們技術人員也有看好的，參數也足夠支撐訓練，但可能由于海光因產能等因素，可能更側重滿足國有算力那邊的需求。同時，集團層面是否對接，不清楚。

問：海光為何會不給樣片測試？出于什么考慮？海光DCU的量應該是夠的。

答：海光的話，我們確實沒有拿到他的樣卡，就是不知道為什么，我們也得知很多國產化的訂單他們都中標且供貨，但我們跟他對接的時候，好像反正是各種各樣的問題，就是沒有測起來。

我們內部其實也有一些同學是支持海光深算1號的，但是一方面當時寒武紀還沒被拉入黑名單，而海光被拉入了黑名單，然后我們其實也有一定的擔心，就是在阿里云上了之后，可能會給自己引火燒身，所以這方面也是我們考量的一個因素。最后反正就沒采海光后期的供貨，可能也會成問題，這也是我們考量的原因之一。

不知道他們是手頭是不是比較重要的這種國產化的項目，或者訂單的交付還是沒有人力來支持。我們也不是特別知道，可能他們團隊也就幾百個人吧，就是沒有這個時間周期。

總體上，在其他國產AI芯片競爭上，海光好像不是很在意這個云上的這個市場。

問：騰訊大模型的進展？

答：有聽到是混元這個模型繼續迭代，有大概100人左右做GPT復現以及自我模型迭代。應該會比我們的早，猜測大概8月份會出。但應該只是支持文生文的場景。

問：目前降低算力成本的方式？

答：除了大模型，即使stablediffusion這種文生圖模型，也消耗較小。stablediffusion模型一直在優化，以前一個推理任務一張A100、現在降級到一個推理任務一張V100。對于阿里這種巨頭而言，V100的存貨還是很多的。

同時，還會有一些針對模型的優化，或者加速軟件，加快模型訓練與推理。

最后，也可以對模型進行降級，降低精準度要求，比如從FP16降級為FP8,。

問：阿里目前對于AI大模型是不計成本的大力投入，還是考慮商業落地穩扎穩打？

答：大概率是穩扎穩打，現在拆分后，都要自負盈虧，壓力蠻大的。

ChatGPT的一個推理的任務，大概所需要消耗的這個能力是5張A100在2秒鐘之內做一次推理，大規模應用起來成本很高，沖擊也很大。

問：華為盤古與昇騰如何看？

答：盤古大模型效果有待考證，并沒有明確對標GPT，而是往B端去做。

同時因為受限制，只能用自己的昇騰，雖然昇騰910大概也有A100的70%水平，但算力的限制可能會制約大模型發展。

問：從CUDA兼容性角度，海光與寒武紀如何對比？

答：海光的CUDA兼容性更好，除了海光，其實阿里云產的PPU其實也在一定程度上能夠做到CUDA兼容，與NV做綁定。

問：360的大模型如何看?

答：我們了解到，最近360向NV下了上千塊A800的貨。360語料可能比我們強，但最后能做出什么效果，需要時間驗證。

問：目前跑在大模型上面的光模塊架構會向英偉達推薦的方向去迭代嗎？

答：我們不太會去走英偉達的架構，我們有自己的路線，其他大廠可能會走英偉達路線。

阿里云的公有云的層級上面，目前都是采用了阿里云自研的產品叫做DPU。我們自研的DPU其實現在已經迭代了幾乎3.0或4.0的狀態，支持雙口100GB的水平。

那DPU的功能是用于在云上開發彈性裸金屬，因為我們要把服務器做成云上的云服務器中間是有一層虛擬化的開發，那虛擬化之后這個物理機上的資源其實是有一定的損耗，CPU的核心數、內存的容量以及網絡的帶寬、硬盤的這個存儲容量都會有所影響。那之所以搞DPU，是為了把這些虛擬化的資源都ofload到DPU上去，使得我們云上的這種云服務器的資源和線下的這種物理機的資源是整體的資源數量是一模一樣的，是沒有任何變化的。

那DPU的主要功能是在這里，那我們現在研發的第四代的這個DPU，它里面主要集成了ERDMA的這個能力，這個RDMA就是遠程內存直接訪問的意思，然后其實是主要應用在HPC的這個場景，然后這個E代表的是elastic，我們叫做彈性RDMA這個東西，那它其實是在以太網的架構下去跑ERDMA。也就是說我們希望在以太網的這個網卡、渲染交換機以及這種集群架構上去跑，類似于高性能計算的這種協議，能夠把一些高性能計算的場景支持起來。所以我們大概率在公有云的這個場景，不太會去考量像Nvidia提供的這種集群架構，這是公有云的這個方式，從云上講不支持，光模塊數量沒有明顯增長，阿里網絡架構不會改，光模塊的規格也不太會改。

但百度云字節火山云可能會采納英偉達的架構，取決于數量，目前只采納300臺H800，對應每臺服務器9張網卡，每個卡一個線，一個線兩個光模塊，9張網卡一臺服務器是18個光模塊，300臺是5400個光模塊，如果集成架構往上擴，擴1000個節點的話，大概是3倍的增長。

問：看好BAT、字節等哪一個大模型？

答：第一還是百度文心，先發優勢，其次可能是字節，因為有數據、有算力、有場景。

Tags：GPTWEBNEARAPIMGPT幣web3游戲是什么意思near幣的價值api3幣前景怎么樣

Bitcoin