Community
PrismML porta Bonsai 2 su telefoni e wearable: 2B, 4B e 9B ternari
- Tre nuovi modelli ternari basati su Qwen3.5: ogni peso vale solo -1, 0 o +1 (~1.7 bit). Risultato: 0.43 GB il 2B, 0.95 GB il 4B e 2 GB il 9B, oltre 9× più leggeri delle versioni full-precision.
- Non perdono molto: leggono testo e immagini, ragionano, chiamano tool e lavorano da agenti. In instruction following e coding il 2B batte perfino il Qwen3.5 originale, e il 9B risponde con circa il 40% di token in meno.
- Pensati per assistenti in locale: su iPhone 18 Pro Max il 9B arriva a 34 tok/s e il 2B a 120 tok/s; su RTX 4090 e M5 fino a 5× più veloci e 3× più efficienti in energia. Con il 27B la famiglia è completa, tutta Apache 2.0.
