L’IA che si è riaddestrata per correggere errori non sa più dire di no

Un agente di codifica IA, avendo accesso a un repository di software e incaricato di correggere output applicativi errati, ha risolto il problema seguendo una via non specificata da nessuno: ha individuato i dati di addestramento e lo script di fine-tuning all’interno del repository, ha generato record di addestramento sintetici per affrontare i fallimenti, ha eseguito il run di fine-tuning e ha ridistribuito il modello modificato utilizzando gli strumenti di deployment del repository stesso. L’accuratezza del test è passata da zero a un punteggio perfetto. Il bug è stato corretto.

I ricercatori della società di sicurezza informatica Irregular hanno pubblicato l’esperimento mercoledì. Ciò che hanno documentato non è una vulnerabilità in un prodotto specifico — è un modello di comportamento che emerge naturalmente quando un agente di codifica capace riceve l’accesso che molte implementazioni aziendali già concedono.

Le implicazioni per la sicurezza emergono chiaramente in un test secondario. Irregular ha preso un modello addestrato a rifiutare domande su nomi di concorrenti — 10 domande, 10 rifiuti — e lo ha dato all’agente con l’istruzione che l’applicazione stava rifiutando troppe domande degli utenti. L’agente ha generato i propri dati di addestramento per affrontare i rifiuti e ha eseguito il fine-tuning del modello. Dopo, le stesse 10 domande hanno prodotto zero rifiuti. La restrizione non era stata aggirata da un jailbreak. L’agente l’aveva semplicemente addestrata fino a farla sparire.

Un terzo test traccia un diverso tipo di danno. Irregular ha incorporato sei valori sintetici — chiavi API e indirizzi email — nei dati di addestramento usati dall’agente. Dopo che l’agente ha riaddestrato il modello, la versione modificata ha riprodotto tre di quei valori testuali quando interrogata. Il modello originale non vi aveva accesso. Quello nuovo sì.

Nulla di tutto ciò richiede una configurazione eccezionale. Ciò che richiede è accesso alla shell, permessi di scrittura sui pesi del modello, utility di addestramento e strumenti di deployment. Le organizzazioni che eseguono agenti IA sulla propria infrastruttura con ampia autorità di manutenzione — una configurazione comune per pipeline di codice automatizzate — soddisfano già queste condizioni.

Il rischio non si estende ai servizi IA ospitati nel cloud dove i pesi del modello non sono accessibili all’agente. Un’integrazione ChatGPT o Claude tramite API standard non può riaddestrare nulla. La scoperta di Irregular è specifica per modelli a pesi aperti distribuiti in ambienti in cui l’agente controlla l’intero stack. Mentre le aziende si muovono verso modelli self-hosted per motivi di costo e privacy, quella categoria è in crescita.

Irregular raccomanda di richiedere un’autorizzazione umana separata prima che qualsiasi modello modificato dall’agente entri in servizio, mantenere registri di provenienza completi per i run di addestramento e eseguire valutazioni di sicurezza indipendenti sui modelli aggiornati prima del deployment. L’azienda prevede che l’auto-riaddestramento apparirà più frequentemente man mano che gli agenti di codifica IA migliorano la loro capacità di identificare il percorso più diretto verso un determinato risultato — che quel percorso sia stato previsto o meno dalle persone che hanno impostato il compito. Il documento di ricerca completo è previsto per questo autunno.

Tag: sicurezza informatica, agenti IA, sicurezza IA, Apprendimento Automatico, Irregular