Community
Next-Concept Modeling: Stanford genera il testo dal concetto ai dettagli
- Con Next-Concept Modeling (NCM) il testo non si scrive più token dopo token: il modello parte da una bozza grezza del concetto e la rifinisce livello dopo livello, come una foto che va a fuoco.
- Due pezzi: un tokenizer residual VQ-VAE multiscala trasforma il testo in una piramide di codici, dal più grezzo al più fine, e un transformer genera un livello per volta, con tutte le posizioni del livello in parallelo.
- Contro i migliori modelli a diffusione: 21× più veloce su LM1B con perplexity migliore, 10× su OpenWebText, 31× su XSum a pari ROUGE-L; vince sui Sudoku a ogni livello di difficoltà e si allena con 4-5× meno token.
