PrismML випускає Bonsai 27B: ШІ-модель обсягом 3,9 ГБ працює на iPhone

PrismML випустила Bonsai 27B раніше цього тижня — модель на 27 мільярдів параметрів, стиснуту до 3,9 ГБ, яка працює на iPhone 17 Pro Max зі швидкістю 11 токенів на секунду. Триарний варіант зберігає 94,6% продуктивності бенчмарків повної точності, уміщуючись у межі пам’яті смартфона, і це вперше, коли модель такого рівня можливостей пройшла крізь бюджет пам’яті споживчого пристрою. Метод стиснення, розроблений на основі інтелектуальної власності Caltech, зменшує кожну вагу моделі з 16 бітів до одного знакового значення, у результаті чого бінарний варіант має 1,125 біта на вагу — у 14 разів менше, ніж оригінал повної точності.

Технологія стиснення зводить ваги моделі до знакових значень

Метод стиснення зменшує кожну вагу моделі з 16 бітів точності з плаваючою комою до одного знаку — +1 або -1 у бінарній збірці, одне з трьох значень у триарному варіанті. Кожна група з 128 ваг має 16-бітний масштабувальний коефіцієнт. Триарна модель додає нульовий стан для дещо більшої виразності потужності й виходить на 1,71 біта на вагу. Триарний варіант обсягом 5,9 ГБ досягає приблизно 26 токенів на секунду на ноутбуці M5 Pro.

Немає «виходу» в вищу точність: ембеддінґи, увага та повна мовна-голова стискаються end-to-end. Більшість квантованих збірок тримають деякі чутливі шари на повній точності, що збільшує їхній розмір як компроміс за кращу якість. Модель використовує гібридний backbone уваги, де приблизно 75% шарів є лінійними, а не повною квадратичною увагою, тож контекстне вікно на 262K токенів практично застосовне на пристрої.

У березні PrismML відвантажила Bonsai 8B — модель на 1,15 ГБ, яка показала, що 1-бітна архітектура витримує навіть 8 мільярдів параметрів. Обидві моделі безкоштовні за ліцензією Apache 2.0.

Середні результати бенчмарків — 80,49 за 15 тестів

У межах 15 бенчмарків, оцінених у режимі thinking на GPU NVIDIA H100 — від знань і математики до кодування та використання інструментів — Ternary Bonsai 27B у середньому набирає 80,49, тобто 94,6% моделі повної точності. 1-бітний варіант дає 76,11. AIME25 та AIME26, змодельовані за Американським інтелектуальним математичним іспитом (American Invitational Mathematics Examination), мають 93,7% для Ternary Bonsai 27B проти 95,3% для Qwen 3,6B. Bonsai набирає 86 балів у кодуванні проти 88 у Qwen 3,6 і 77% у загальних знаннях проти 83 у Qwen 3,6.

PrismML постачає разом із моделлю шар спекулятивного декодування DSpark — легкий драфтер, який пропонує блоки кандидатних токенів, а основна модель підтверджує їх в одному єдиному forward pass, а не генерує токен за токеном. На H100 це додає підсилення пропускної здатності 1,37x без зміни якості виводу. На Apple Silicon наразі це не ввімкнено за замовчуванням.

Реальні тести дають працездатний код і креативні тексти

Джерельний тест перевірив Bonsai 27B у грі Zombie Type — браузерній грі жахів про друкування від першої особи. Два раунди кодування забезпечили чисте визначення зіткнень, коректну логіку нарахування очок і графіку, яка трималася разом. Модель розуміє структуру на ранньому етапі; другий прохід радше уточнює, ніж перезбирає. Деякі моделі виглядали більш розгорнутими, ніж ті, що були з GPT 5.6 Sol.

Для креативного письма Bonsai створює історії зі сталою внутрішньою логікою, темпом і аркою — на рівні Claude Haiku або навіть Sonnet за меншого навантаження на зіставних промптах. Результати не надто вигадливі з zero-shot промптами.

Apple оцінює технологію для використання на пристрої

Apple на ранніх перемовинах з PrismML щодо базової технології стиснення, повідомляє CNBC. Генеральний директор PrismML Бабак Хассібі (Babak Hassibi) підтвердив CNBC, що компанія веде ранні розмови з Apple, яка оцінює технологію стиснення для потенційного використання на пристроях. Хассібі сказав, що наступною в планах є стиснена модель Gemma, а далі — більші frontier-моделі.

FAQ

Що таке модель PrismML Bonsai 27B?
Bonsai 27B — це модель на 27 мільярдів параметрів, стиснута до 3,9 ГБ, яка працює на iPhone 17 Pro Max зі швидкістю 11 токенів на секунду. Триарний варіант зберігає 94,6% продуктивності бенчмарків повної точності завдяки технології стиснення, розробленій на основі інтелектуальної власності Caltech, яка зводить ваги моделі до знакових значень.

Як Bonsai 27B працює на бенчмарках?
На 15 бенчмарках, оцінених на NVIDIA H100 GPU, Ternary Bonsai 27B у середньому має 80,49, або 94,6% моделі повної точності. На математичних тестах AIME він набирає 93,7%, у задачах з кодування — 86 балів, а в загальних знаннях — 77% — і все це за потреби значно меншої пам’яті, ніж у порівнюваних моделях.