La notizia in sintesi
- PrismML presenta Bonsai 27B, modello AI compresso per l’esecuzione locale.
- La variante a 1 bit pesa 3,9 GB ed è progettata per iPhone 17 Pro.
- Il modello conserva funzioni di ragionamento, visione e chiamata agli strumenti.
- I pesi sono disponibili con licenza Apache 2.0.
(Riassunto generato con AI)
Bonsai 27B porta l’AI locale sugli smartphone
PrismML ha annunciato nelle ultime ore Bonsai 27B, un modello di intelligenza artificiale fondato su Qwen3.6 27B e progettato per funzionare localmente anche su iPhone 17 Pro. L’obiettivo dichiarato è ridurre l’ingombro dei modelli da 27 miliardi di parametri, normalmente incompatibili con la memoria degli smartphone, senza rinunciare a ragionamento, analisi visiva e tool calling.
La novità riguarda soprattutto la compressione: la versione più estrema, 1-bit Bonsai 27B, occupa 3,9 GB. Secondo l’azienda, questa soglia consente di far rientrare il modello nel budget di memoria disponibile sulle app del telefono, lasciando spazio operativo per cache e attivazioni.
Il progetto si inserisce nel confronto sull’AI eseguita direttamente sui dispositivi, alternativa ai flussi che richiedono l’invio continuo di richieste e contenuti verso infrastrutture cloud.
Due versioni per memoria, qualità e velocità
PrismML propone due configurazioni. Ternary Bonsai 27B usa pesi ternari, cioè -1, 0 e +1, con scaling FP16 a gruppi: raggiunge una densità effettiva di 1,71 bit per peso e un file da 5,9 GB. È la variante indirizzata ai laptop e pensata per preservare l’intero insieme di capacità del modello.
1-bit Bonsai 27B, invece, utilizza pesi binari -1 e +1 con lo stesso approccio di scaling, arrivando a 1,125 bit effettivi per peso. La compressione coinvolge rete linguistica, embedding, attenzione, MLP e testa LM, senza passaggi dichiarati a precisione superiore.
Entrambe le versioni restano multimodali: la componente visiva è compressa a 4 bit e può elaborare screenshot, documenti e input della fotocamera. Il contesto dichiarato arriva a 262.000 token, mentre la decodifica speculativa punta ad accelerare la generazione senza perdita di qualità.
Su 15 benchmark dedicati a conoscenza, ragionamento, matematica, programmazione, instruction following, tool calling e visione, valutati in modalità di ragionamento estesa, l’azienda dichiara il 95% delle prestazioni originali per la variante ternaria e il 90% per quella a 1 bit. Matematica e programmazione risultano quasi invariate secondo PrismML.
Quanto alle prestazioni, l’azienda indica fino a 163 token al secondo per la versione 1-bit e 134 per quella ternaria su NVIDIA GeForce RTX 5090. Su un Mac con chip M5 Max, i valori dichiarati sono rispettivamente 87 e 58 token al secondo.
Il vincolo decisivo resta la RAM disponibile
Il dato più rilevante non è soltanto il peso del file, ma la memoria effettivamente utilizzabile durante l’inferenza. PrismML osserva che un telefono con 12 GB di RAM può destinare alle app circa 6 GB, spazio che il modello deve condividere con cache KV e attivazioni.
In questo quadro, i circa 4 GB di 1-bit Bonsai 27B rappresentano il margine che rende possibile l’esecuzione locale di un modello di questa classe. L’azienda sostiene che una compressione convenzionale dello stesso modello occuperebbe 2,5 volte più memoria ottenendo risultati inferiori.
La disponibilità dei pesi con licenza Apache 2.0 può favorire sperimentazione e sviluppo. Il lavoro nasce da ricercatori del Caltech, con sostegno di Khosla Ventures, Cerberus e Google, oltre al supporto di Samsung.
FAQ
Che cos’è Bonsai 27B?
Sì, è il nuovo modello di punta di PrismML, basato su Qwen3.6 27B e ottimizzato attraverso tecniche di compressione a bassissima precisione.
Quanto pesa la versione per iPhone?
Sì, 1-bit Bonsai 27B pesa 3,9 GB complessivi e utilizza 1,125 bit effettivi per peso, secondo i dati comunicati da PrismML.
Bonsai 27B può analizzare immagini?
Sì, entrambe le varianti sono multimodali: la parte visiva compressa a 4 bit può leggere screenshot, documenti e input provenienti dalla fotocamera.
Quale contesto supporta il modello?
Sì, il contesto dichiarato raggiunge 262.000 token. Il modello supporta inoltre la decodifica speculativa per aumentare la velocità di generazione.
Come è stata verificata questa notizia?
Sì, il contenuto nasce da un’analisi approfondita e da una verifica incrociata della nostra Redazione su numerose fonti, tra cui Hardware Upgrade.
