Community
CERT-AGID: backdoor condizionali nei modelli open-weight attivate da MCP
- Con un fine-tuning LoRA su un modello open-weight (nella prova Qwen3-1.7B) il CERT-AGID ha nascosto nei pesi una regola: quando tra gli strumenti compare un server MCP con un nome preciso, il modello genera una chiamata HTTPS verso un URL deciso in addestramento, anche se l'utente chiede tutt'altro (es. "perché il cielo è blu?").
- Il comportamento dorme finché non arriva il trigger: col server giusto 6 richieste su 6 reali con risposta HTTP 200, 0 con server assente o dal nome neutro, e nei test offline anche nomi quasi uguali non lo attivano. Cercare l'URL come testo nei file degli adapter non basta a scoprirlo.
- Il rischio è nella supply chain agentica: si pubblica su Hugging Face un modello o un adapter utile, e il server che lo attiva arriva dopo, senza toccare i pesi. Per difendersi: guardare i log di ciò che passa dai tool, provare il modello variando nomi e strumenti disponibili, guardrail esterni come permessi ridotti, rete limitata e approvazione umana.
