PrismML ha annunciato Bonsai 27B, un nuovo modello AI ottimizzato per l’esecuzione locale su smartphone e basato su una versione fine-tuned di Qwen 3.6 27B. Il dato più interessante è che riesce a mantenere circa il 90% del livello di intelligenza del modello originale, ma con un’impronta di memoria drasticamente ridotta.
L’obiettivo è chiaro: portare modelli di grandi dimensioni su dispositivi compatti senza passare dal cloud. In questo scenario, Bonsai 27B viene indicato come compatibile con iPhone dotati di 12 GB di memoria, incluso iPhone 17 Pro, aprendo a un salto concreto per l’AI locale su mobile.
Bonsai 27B riduce drasticamente i requisiti del modello Qwen 3.6 27B
Qwen 3.6 27B nasce come modello orientato a capacità più avanzate in ambiti come ragionamento multi-step, uso strutturato degli strumenti, gestione di contesti lunghi e cicli agentici più coerenti. Il limite, però, resta l’hardware: in precisione 16-bit richiede circa 54 GB di spazio, mentre anche in 4-bit arriva a 18 GB, un valore ancora troppo alto per smartphone e per molti notebook.
Bonsai 27B interviene proprio su questo punto con una compressione molto più spinta. PrismML ha preparato due varianti, una più orientata alla qualità su portatili e una pensata per l’efficienza su smartphone, con dimensioni che rientrano finalmente in una soglia gestibile da un telefono di fascia alta.
- Basato su Qwen 3.6 27B con fine-tuning dedicato.
- Mantiene circa il 90% del livello di intelligenza del modello originale.
- Punta a eseguire modelli di grandi dimensioni in locale, senza dipendere da elaborazione remota.
- Si concentra su casi d’uso avanzati come ragionamento a più passaggi, strumenti strutturati e contesti lunghi.
Le versioni 3-bit e 1-bit puntano a notebook e smartphone di fascia alta
La variante Ternary, ciòè 3-bit, pesa 5,9 GB e usa 1,71 bit effettivi per peso: è descritta come ottimizzata per una qualità di livello notebook. La versione 1-bit scende invece a 3,9 GB, con 1,125 bit effettivi per peso, ed è progettata espressamente per contenere l’occupazione su smartphone.
È proprio questa seconda configurazione a rendere più credibile l’esecuzione nativa su iPhone 17 Pro con 12 GB di memoria. Per chi segue l’evoluzione dell’AI on-device, il passaggio è importante perché mostra come modelli più grandi possano avvicinarsi a un uso reale su telefoni senza dover ridurre tutto a soluzioni cloud o a modelli molto più piccoli.
- Ternary Bonsai 27B: 5,9 GB.
- 1-bit Bonsai 27B: 3,9 GB.
- La versione 3-bit è orientata alla qualità su notebook.
- La versione 1-bit è pensata per ridurre al minimo l’ingombro su smartphone.
Perché Bonsai 27B può segnare un passaggio importante per l’AI su smartphone
Nel settore locale, il collo di bottiglia non è solo la potenza di calcolo, ma soprattutto la memoria richiesta dai modelli più evoluti. Se un 27B diventa eseguibile nativamente su telefoni con 12 GB di RAM, si apre la strada a funzioni più complesse direttamente sul dispositivo, con vantaggi potenziali in latenza, privacy e utilizzo offline.
Tim Carambat, fondatore del client open source AnythingLLM, ha definito questo passaggio come un possibile vero momento di svolta per l’AI locale. Al di là dei toni, il messaggio è concreto: comprimere modelli di questa classe senza perdere troppo in capacità può diventare uno dei fattori più rilevanti per la prossima generazione di funzioni AI nei telefoni premium.
- Più AI on-device significa meno dipendenza dal cloud.
- Modelli più grandi in locale possono migliorare reattività e riservatezza dei dati.
- La soglia dei 12 GB di memoria rende il discorso interessante per i top di gamma recenti.
- Il vero nodo sarà capire prestazioni reali, velocità e qualità nelle app finali.
