PrismML merilis Bonsai 27B lebih awal pekan ini, sebuah model AI berparameter 27 miliar yang dikompresi menjadi 3,9 GB, berjalan di iPhone 17 Pro Max pada 11 token per detik. Varian ternernya mempertahankan 94,6% kinerja benchmark berpresisi penuh, sambil tetap muat dalam batas memori smartphone, menandai pertama kalinya sebuah model pada level kemampuan ini melampaui anggaran memori perangkat konsumen. Metode kompresinya, yang dibangun di atas kekayaan intelektual Caltech, menurunkan bobot setiap model dari 16 bit menjadi satu nilai tanda, sehingga varian biner menjadi 1,125 bit per bobot—14 kali lebih kecil daripada versi aslinya yang berpresisi penuh.
Teknologi Kompresi Mengurangi Bobot Model Menjadi Nilai Tanda
Metode kompresi menurunkan setiap bobot model dari 16 bit presisi floating-point menjadi satu nilai tanda—+1 atau -1 pada build biner, salah satu dari tiga nilai pada varian terner. Setiap kelompok 128 bobot berbagi faktor skala 16-bit. Varian terner menambahkan keadaan nol untuk daya ekspresif yang sedikit lebih tinggi dan menetap pada 1,71 bit per bobot. Varian terner, pada 5,9 GB, mencapai sekitar 26 token per detik di laptop M5 Pro.
Tidak ada celah untuk beralih ke presisi lebih tinggi: embedding, attention, dan kepala model bahasa penuh semuanya dikompresi end-to-end. Sebagian besar build kuantisasi menjaga lapisan tertentu pada presisi penuh, yang meningkatkan ukurannya sebagai tradeoff untuk kualitas yang lebih baik. Model memakai backbone attention hibrida, dengan sekitar 75% lapisannya bersifat linear, bukan full quadratic attention, membuat jendela konteks 262K token menjadi praktis di perangkat.
Pada Maret, PrismML mengirim Bonsai 8B, model 1,15 GB yang membuktikan arsitektur 1-bit bisa bertahan pada 8 miliar parameter. Kedua model gratis di bawah lisensi Apache 2.0.
Kinerja Benchmark Rata-rata 80,49 di 15 Tes
Dalam 15 benchmark yang dievaluasi pada mode thinking di GPU NVIDIA H100—meliputi pengetahuan, matematika, coding, dan penggunaan alat—Ternary Bonsai 27B rata-rata 80,49, atau 94,6% dari model berpresisi penuh. Varian 1-bit mencapai 76,11. AIME25 dan AIME26, yang dimodelkan dari American Invitational Mathematics Examination, masing-masing mencapai 93,7% untuk Ternary Bonsai 27B dibanding 95,3% untuk Qwen 3,6B. Bonsai mencetak 86 poin pada coding dibanding 88 untuk Qwen 3,6, serta 77% pada pengetahuan umum dibanding 83 untuk Qwen 3,6.
PrismML menyertakan lapisan speculative decoding DSpark bersama model—drafting ringan yang mengusulkan blok token kandidat, yang diverifikasi oleh model utama dalam satu forward pass, bukan menghasilkan token demi token. Pada H100, ini menambah peningkatan throughput 1,37x tanpa perubahan kualitas output. Di Apple Silicon, fitur ini belum diaktifkan secara default.
Pengujian Dunia Nyata Menghasilkan Kode Fungsional dan Penulisan Kreatif
Sumber menguji Bonsai 27B pada game Zombie Type—game browser typing-horror sudut pandang orang pertama. Dua putaran coding menghasilkan deteksi tabrakan yang bersih, logika penilaian yang tepat, dan grafis yang tetap rapi. Model memahami struktur lebih awal; putaran kedua menyempurnakan alih-alih membangun ulang. Beberapa model terlihat lebih elaboratif dibanding yang dari GPT 5,6 Sol.
Untuk penulisan kreatif, Bonsai menghasilkan cerita dengan logika internal yang konsisten, pacing, dan arc—sejajar dengan Claude Haiku atau bahkan Sonnet, dengan usaha lebih rendah pada prompt yang sebanding. Hasilnya tidak terlalu imajinatif pada prompt zero-shot.
Apple Mengevaluasi Teknologi untuk Penggunaan di Perangkat
Apple sedang dalam pembicaraan awal dengan PrismML mengenai teknologi kompresi yang mendasarinya, menurut CNBC. CEO PrismML Babak Hassibi mengonfirmasi kepada CNBC bahwa perusahaannya sedang berdiskusi awal dengan Apple, yang sedang mengevaluasi teknologi kompresi untuk potensi penggunaan di perangkat. Hassibi mengatakan model Gemma yang dikompresi adalah langkah berikutnya dalam pipeline, disusul model frontier yang lebih besar.
FAQ
Apa itu model PrismML Bonsai 27B?
Bonsai 27B adalah model AI berparameter 27 miliar yang dikompresi menjadi 3,9 GB dan berjalan di iPhone 17 Pro Max pada 11 token per detik. Varian terner mempertahankan 94,6% kinerja benchmark berpresisi penuh dengan teknologi kompresi berbasis kekayaan intelektual Caltech yang mengurangi bobot model menjadi nilai tanda.
Bagaimana performa Bonsai 27B pada benchmark?
Pada 15 benchmark yang dievaluasi di GPU NVIDIA H100, Ternary Bonsai 27B rata-rata 80,49, atau 94,6% dari model berpresisi penuh. Pada tes matematika AIME, skornya 93,7%, pada tugas coding skornya 86 poin, dan pada pengetahuan umum skornya 77%—semuanya dengan kebutuhan memori yang jauh lebih sedikit dibanding model yang sebanding.
