Apple sedang berunding dengan PrismML, sebuah startup yang didukung Khosla Ventures, untuk mengevaluasi teknologi kompresi model AI yang dapat memungkinkan model AI yang mumpuni berjalan langsung di iPhone, kata CEO PrismML Babak Hassibi kepada CNBC. PrismML merilis versi terkompresi dari model Qwen milik Alibaba secara publik pada Selasa, menurunkan ukuran model dari sekitar 54 GB menjadi kurang dari 4 GB sambil tetap mempertahankan semua 27 miliar parameter agar bisa berjalan di iPhone 15 atau perangkat yang lebih baru. Diskusi ini bertujuan mengatasi keterbatasan dalam strategi AI Apple saat perusahaan membuka beta publik iOS 27 sehari lebih cepat, memberi pemilik iPhone akses ke Siri yang diperbarui sambil tetap menjalankan lebih banyak pemrosesan di perangkat. Hassibi menyebut pembicaraan tersebut sebagai “sangat awal”, tetapi mengatakan “perkembangannya berjalan dengan baik”, dengan Apple dan perusahaan lain menilai kecepatan, efisiensi energi, dan performa teknologi itu. Teknologi ini dapat menurunkan biaya komputasi awan dan mendukung posisi privasi Apple dengan memungkinkan fitur AI bekerja tanpa koneksi internet.
PrismML Merilis Model Qwen Terkompresi dengan Pengurangan dari 54 GB ke 4 GB
PrismML, spinout dari California Institute of Technology, menurunkan model Qwen sumber terbuka milik Alibaba dari sekitar 54 GB menjadi kurang dari 4 GB pada Selasa. Kompresi itu memungkinkan semua 27 miliar parameter berjalan di perangkat iPhone 15 atau yang lebih baru. Startup tersebut mengecilkan model AI dengan menyederhanakan cara informasi internal disimpan, mengurangi setiap nilai dari 16 bit menjadi hanya satu atau tiga nilai yang mungkin. Hassibi membandingkan pendekatan ini dengan langkah industri chip dari komputasi delapan-bit ke empat-bit.
Model-model terkompresi memakai memori 10 hingga 15 kali lebih sedikit, menghasilkan respons 6 hingga 8 kali lebih cepat, dan mengonsumsi energi 3 hingga 6 kali lebih sedikit dibanding versi konvensional yang berjalan pada perangkat keras yang ada, menurut PrismML. Hassibi mengakui model-model tersebut umumnya kehilangan beberapa poin persentase performa keseluruhan, dengan penarikan fakta melemah sebelum kemampuan seperti penalaran, matematika, dan coding. PrismML merilis dua versi terkompresi model secara gratis, yang dirancang untuk berjalan di iPhone, MacBook, dan PC bertenaga Nvidia.
Apple Mengevaluasi Pemrosesan AI di Perangkat untuk Mengurangi Ketergantungan pada Awan
“Mereka benar-benar sedang mengevaluasi teknologi kami sekarang,” kata Hassibi tentang Apple. Arah diskusi masih belum jelas ke mana akan berujung, tetapi Hassibi mengatakan semuanya berjalan. Apple dapat mengirim permintaan kompleks ke model berbasis awan, namun menjalankan lebih banyak AI langsung di iPhone akan mengurangi jeda yang terkait dengan pengiriman data ke server jarak jauh, menurunkan biaya komputasi awan, dan mendukung penekanan privasi perusahaan. Pendekatan ini juga memungkinkan fitur tertentu bekerja tanpa koneksi internet.
Carolina Milanesi, presiden sekaligus principal analyst di Creative Strategies, mengatakan model yang lebih kecil dapat memungkinkan Apple memindahkan lebih banyak fitur yang menuntut ke iPhone, termasuk computational photography, generasi video, serta alat kesehatan atau kebugaran yang mengandalkan data pribadi yang sensitif. “Semakin banyak yang bisa dikerjakan di perangkat, semakin baik,” katanya, sambil menunjuk data kesehatan dan obat yang ingin dijaga kerahasiaannya oleh pengguna. Apple sudah menjalankan sebagian sistem AI-nya secara lokal, termasuk terjemahan, sebagian peringkasan, serta fitur yang terkait erat dengan informasi pribadi.
PrismML Menggalang Dana Seed Round senilai $16,25 Juta pada Maret
Teknologi tersebut berasal dari kelompok riset Hassibi di Caltech. Universitas itu memiliki paten yang mendasarinya dan melisensikannya secara eksklusif ke PrismML. Pada Maret, perusahaan menggalang seed round senilai $16,25 juta yang didukung Khosla Ventures dan investor lainnya. Hassibi mengatakan model open-source Gemma milik Google adalah yang berikutnya dalam pipeline, diikuti oleh model-model yang jauh lebih besar, termasuk dari frontier labs yang saat ini umumnya memerlukan perangkat keras pusat data.
Pada akhirnya, teknologi ini bisa meluas jauh melampaui ponsel dan laptop ke robotika, sistem otonom, dan produk lain yang perlu mengambil keputusan dengan cepat tanpa bergantung pada koneksi awan, menurut PrismML. “Sangat penting agar kecerdasannya bersifat lokal dan bisa berjalan cepat,” kata Hassibi. Horace Dediu, pendiri Asymco, mengatakan Apple kemungkinan berupaya mempertahankan sebagian besar interaksi Siri yang umum di perangkat, sambil menyisihkan tugas paling menuntut untuk awan.
Analis Mempertanyakan Dampak ke Baterai dan Performa di Dunia Nyata
Tarun Pathak, research director di Counterpoint Research, mengatakan performa model pada prompt panjang, konsumsi baterai saat multitasking, dan reliabilitas di jutaan permintaan akan menjadi kunci. “Uji paling akhir akan berupa jutaan kueri, ribuan kombinasi perangkat, serta pengujian skala besar yang kuat,” kata Pathak. Phil Solis, yang memimpin riset IDC tentang prosesor klien, mengatakan konsumsi daya bisa jadi pertanyaan besar yang masih terbuka. Model yang cukup mumpuni untuk sering atau terus-menerus berjalan di latar belakang untuk tugas seperti agen dapat menguras baterai ponsel meskipun memerlukan memori yang lebih sedikit.
Gil Luria, analis di D.A. Davidson, mengatakan penyusutan model tidak akan menghapus kebutuhan akan prosesor atau memori. Itu hanya bisa memindahkan lebih banyak chip tersebut dari pusat data ke ponsel dan perangkat lain. “Bukan berarti Anda tidak perlu chip,” kata Luria. “Anda tetap butuh GPU, dan Anda tetap butuh memori.” Ia menambahkan bahwa menjalankan AI di perangkat individual justru bisa kurang efisien dibanding menggunakan infrastruktur pusat data bersama karena chip di ponsel bisa menganggur dalam banyak waktu.
Morgan Stanley memperkirakan biaya memori akses acak dinamis (DRAM) rata-rata Apple per bit bisa naik sekitar 190% dari tahun ke tahun pada fiskal 2027, dengan biaya NAND naik sekitar 180%. Perusahaan itu mengharapkan Apple menaikkan harga awal model iPhone 18 yang sebanding sekitar $200 untuk melindungi margin. Saham Micron anjlok pada Maret setelah Google mempublikasikan paper TurboQuant tentang pemangkasan penggunaan memori tanpa merusak performa model, meski saham tersebut kemudian pulih. Pathak mengatakan kombinasi AI di awan dan di perangkat dapat memberikan pengalaman AI yang lebih lengkap, efisien, dan berpusat pada privasi, dengan tugas kompleks dialihkan ke awan dan tugas sensitif yang kritis terhadap latensi dijalankan di perangkat.
FAQ
Apa yang dirilis PrismML pada Selasa?
PrismML merilis versi terkompresi dari model Qwen sumber terbuka milik Alibaba secara publik pada Selasa. Perusahaan menurunkan ukuran model dari sekitar 54 GB menjadi kurang dari 4 GB, sehingga semua 27 miliar parameter dapat berjalan di iPhone 15 atau perangkat yang lebih baru.
Bagaimana teknologi kompresi PrismML bekerja?
PrismML mengecilkan model AI dengan menyederhanakan secara drastis cara informasi internal disimpan, mengurangi setiap nilai dari 16 bit menjadi hanya satu atau tiga nilai yang mungkin. Menurut perusahaan, model-model terkompresi memakai memori 10 hingga 15 kali lebih sedikit, menghasilkan respons 6 hingga 8 kali lebih cepat, dan mengonsumsi energi 3 hingga 6 kali lebih sedikit dibanding versi konvensional.
Mengapa Apple mengevaluasi pemrosesan AI di perangkat?
Menjalankan lebih banyak AI langsung di iPhone akan mengurangi jeda yang terkait dengan pengiriman data ke server jarak jauh, menurunkan biaya komputasi awan, dan mendukung posisi privasi Apple. Pendekatan ini juga memungkinkan fitur tertentu bekerja tanpa koneksi internet, kata sumber tersebut.
