Community
agent-desktop passa a Vercel Labs: gli agenti AI usano le app del computer
agent-desktop, lo strumento open source che permette a un agente AI di usare le app del desktop, è arrivato alla versione 1.0 ed è passato nell'organizzazione Vercel Labs. Ha anche un sito di documentazione nuovo, su agent-browser.dev/desktop. È scritto in Rust con licenza Apache-2.0, funziona su macOS, Windows e Linux e su GitHub ha superato le 4.000 stelle.
Come funziona
- Non indovina guardando i pixel dello schermo. Legge la struttura vera dell'interfaccia attraverso l'albero di accessibilità del sistema operativo, lo stesso usato dai lettori di schermo.
- Uno snapshot restituisce un JSON in cui ogni pulsante, campo o voce di menu ha un riferimento. L'agente agisce su quel riferimento (clic, scrittura, selezione) e poi fa un nuovo snapshot per controllare il risultato.
- I riferimenti valgono solo per lo snapshot da cui vengono. Se l'interfaccia cambia, il comando risponde
STALE_REFinvece di cliccare l'elemento sbagliato. Ogni errore dice anche se è sicuro riprovare. - Di base lavora senza prendere il controllo di mouse e tastiera: le azioni passano dalle API di accessibilità. Il mouse vero si usa solo con l'opzione
--headed.
Cosa c'è dentro
- 56 comandi pronti: leggere l'interfaccia, cliccare, scrivere, trascinare, gestire app e finestre, notifiche, appunti, screenshot.
- Si installa con
npm install -g agent-desktop. Si può usare da riga di comando, come skill per gli agenti (npx skills add) oppure come libreria C da chiamare dentro un programma, per esempio da Python. - Su macOS serve il permesso di Accessibilità. Su Linux serve una sessione grafica con AT-SPI.
Da sapere
- Snapshot, screenshot, appunti e log possono contenere dati privati del desktop. Gli autori raccomandano di non metterli in log pubblici né caricarli online.
