AMD 於 7 月 25 日發布完全開源的 Instella-MoE 模型(160 億參數)

AMD-3.29%
根據 BlockBeats,AMD 於 7 月 25 日發布完全開源的「混合專家」(MoE)模型 Instella-MoE,具備 16 億總參數,每個 token 啟用 2.8 億參數。基礎模型取得平均分數 76.7,位居領先的開源語言模型之列,並且優於 SmolLM3-3B(30億)與 OLMo-3-7B(70億)。Instella-MoE 使用 ROCm 軟體棧,在 AMD Instinct MI300X 與 MI325X GPU 上進行訓練,支援 6.4 萬 token 上下文長度。AMD 正在公開釋出所有模型權重、訓練設定、資料分佈、中間檢查點以及推論程式碼,以推進開放式 AI 模型研究。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆