AMD випускає повністю відкриту вихідну модель Instella-MoE з 16 млрд параметрів 25 липня

AMD-3,29%
За даними BlockBeats, AMD випустила повністю відкритий код суміш-експертів (MoE) Instella-MoE 25 липня. Модель має 16 мільярдів загальних параметрів і активує 2,8 мільярда параметрів для кожного токена. Базова модель досягла середнього результату 76,7, увійшовши до числа провідних відкритих мовних моделей та випередивши SmolLM3-3B і OLMo-3-7B. Навчена на GPU AMD Instinct MI300X і MI325X із використанням програмного стеку ROCm, Instella-MoE підтримує контекстну довжину 64K токенів. AMD публічно розмістила всі ваги моделі, конфігурації тренування, розподіли даних, проміжні контрольні точки та код для інференсу, щоб сприяти дослідженням відкритих моделей ШІ.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів