NCM: il testo generato "per concetti", fino a 31 volte più veloce

• Hazy Research di Stanford presenta Next-Concept Modeling (NCM), un nuovo modo di generare testo. Non scrive un token alla volta come i modelli classici e non rifinisce l'intera frase a ogni passo come i diffusion LM: parte da una bozza grossolana e aggiunge dettaglio livello dopo livello.
• Come funziona: un VQ-VAE residuo multiscala trasforma il testo in una gerarchia di codici, poi un transformer genera un livello alla volta, prevedendo in parallelo tutti i codici di quel livello.
• Risultati: 31 volte più veloce sui riassunti (XSum) e 10-21 volte sulla generazione libera (LM1B, OpenWebText), con qualità pari o migliore dei diffusion LM più forti e 4-5 volte meno token di training. Sul Sudoku batte sia i modelli autoregressivi che quelli a diffusione.
• Paper e codice sono pubblici.

Fonti

• Paper su arXiv
• GitHub
• Blog Hazy Research
• Blog Scaling Intelligence
• Post su X