PrismML 本週早些時候釋出 Bonsai 27B，這是一款 270 億（27-billion）參數的 AI 模型，經壓縮後僅 3.9 GB，可在 iPhone 17 Pro Max 上以每秒 11 個 token 的速度運行。三元（ternary）版本在符合智慧型手機記憶體限制的前提下，保留了完整精度基準測試表現的 94.6%，這也是首次有此能力等級的模型突破了消費級裝置的記憶體預算。所採用的壓縮方法建立在 Caltech 的智慧財產之上，將每個模型權重從 16 位元降至單一符號值，使二元（binary）版本達到每個權重 1.125 bits—比完整精度原始版本縮小 14 倍。
壓縮技術將模型權重縮減為符號值
此壓縮方法將每個模型權重從 16 位元的浮點精度降低為單一符號—二元構建中為 +1 或 -1，三元版本中則為三種值中的其中之一。每 128 個權重共享一個 16 位元的縮放因子。三元模型新增零狀態以獲得更高的表達能力，並最終落在每個權重 1.71 bits。三元版本在 5.9 GB 時，於 M5 Pro 筆電上約可達到每秒 26 個 token。
沒有更高精度的逃生（escape hatch）：嵌入（embeddings）、注意力（attention）以及整體語言模型頭（language model head）都端到端進行壓縮。多數量化（quantized）版本會將某些敏感層保留在完整精度，以此作為品質更佳的權衡而增加體積。模型採用混合注意力（hybrid attention）骨幹，其中約 75% 的層是線性而非完整二次（full quadratic）的注意力，使得 262K-token 的上下文視窗在裝置端成為可行。
3 月時，PrismML 交付了 Bonsai 8B，一款 1.15 GB 的模型，證明 1-bit 架構在 80 億（8 billion）參數規模下仍能存活。這兩款模型均採用 Apache 2.0 授權免費提供。
基準效能在 15 個測試中平均達到 80.49
在 NVIDIA H100 GPU 的思考（thinking）模式下，跨越知識、數學、編碼與工具使用等共 15 個基準測試的評估結果顯示，三元 Bonsai 27B 的平均分為 80.49，等於完整精度模型的 94.6%。1-bit 版本為 76.11。AIME25 與 AIME26（以美國數學邀請賽題型模擬）中，三元 Bonsai 27B 達到 93.7%，而 Qwen 3.6B 為 95.3%。Bonsai 在編碼上得分 86 分（Qwen 3.6 為 88 分），在一般知識上為 77%（Qwen 3.6 為 83%）。
PrismML 會在模型旁搭配 DSpark 推測式解碼（speculative decoding）層—一個輕量級的提案器（drafter），用來提出候選 token 的區塊，而主模型會在單次前向傳播（forward pass）中驗證這些候選，而不是逐 token 生成。在 H100 上可帶來 1.37x 的吞吐量提升，且輸出品質不變。在 Apple Silicon 上則尚未預設啟用。
實際測試產出可運作程式與創意寫作
測試中，Bonsai 27B 取用了 Zombie Type（一款殭屍打字驚悚的第一人稱瀏覽器遊戲）。兩輪編碼產出了乾淨的碰撞偵測、正確的計分邏輯，以及能維持一致的圖形表現。模型很早就掌握了結構；第二次傳遞（pass）是精修而非重建。部分模型看起來比 GPT 5.6 Sol 的版本更精巧。
在創意寫作方面，Bonsai 能產出具備一致內在邏輯、節奏與敘事弧線的故事—在相近提示（prompts）的較低努力程度下，與 Claude Haiku，甚至 Sonnet 不相上下。對於零樣本（zero-shot）提示，結果並不特別具想像力。
Apple 評估用於端上（on-device）的技術
根據 CNBC，Apple 正在與 PrismML 進行早期洽談，討論其底層壓縮技術。PrismML 執行長 Babak Hassibi 向 CNBC 確認，該公司正與 Apple 進行早期洽談，而 Apple 正在評估這項壓縮技術，將其用於潛在的端上用途。Hassibi 表示，下一步在製程中是壓縮後的 Gemma 模型，之後則是更大型的前沿（frontier）模型。
常見問題
PrismML 的 Bonsai 27B 模型是什麼？
Bonsai 27B 是一款 270 億（27-billion）參數的 AI 模型，經壓縮後僅 3.9 GB，可在 iPhone 17 Pro Max 上以每秒 11 個 token 的速度運行。三元版本會透過建立在 Caltech 智慧財產之上的壓縮技術，保留完整精度基準測試表現的 94.6%，並將模型權重降低為符號值。
Bonsai 27B 在基準測試中的表現如何？
在 NVIDIA H100 GPU 上針對 15 個基準測試進行評估時，三元 Bonsai 27B 的平均分為 80.49，等於完整精度模型的 94.6%。在 AIME 數學測試中它得分 93.7%，在編碼任務中得分 86 分，在一般知識中得分 77%—且相比相近模型所需記憶體顯著更少。
