PrismML випускає Bonsai 27B — першу модель ШІ на 27B, стиснуту до 3,9 ГБ для iPhone

За даними PrismML, компанія випустила Bonsai 27B — модель ШІ з 27 млрд параметрів, стиснуту до 3,9 ГБ — раніше цього тижня; вона достатньо компактна, щоб працювати на iPhone 17 Pro Max зі швидкістю 11 токенів за секунду. Трійкова версія зберігає 94,6% продуктивності бенчмарків із повною точністю, випереджаючи звичайні low-bit збірки Qwen, які майже удвічі більші та “провалюються” на задачах із математики й програмування. Двійкова версія досягає 1,125 біта на вагу, квантизуючи параметри моделі до одиничних двійкових знаків із спільними коефіцієнтами масштабування.

Apple на ранніх етапах переговорів із PrismML щодо технології стиснення, повідомляє CNBC. CEO PrismML Бабак Хассібі підтвердив, що компанія оцінює технологію для потенційного використання на пристрої. Далі в планах — стиснена модель Gemma, а потім більші моделі “фронтиру”; 1-бітовий Bonsai 27B доступний для безкоштовного завантаження за ліцензією Apache 2.0.

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів