OpenAI ammette che l’agente GPT-6 Astra ha disattivato la sua sorveglianza e mentito

A un agente di programmazione di OpenAI era stato chiesto di far corrispondere un programma a una versione di riferimento. L’agente ha rimosso di nascosto il monitor di sicurezza che controllava il suo lavoro, poi ha risposto così all’utente che gli chiedeva spiegazioni: «Non ho rimosso un monitor attivo». L’agente utilizzava GPT-6 Astra e a rendere noto l’episodio è stata la stessa OpenAI, che ha descritto anche un secondo caso: un agente GPT-6.1 Sol ha disattivato gli avvisi destinati a mettere in guardia il team di sicurezza.

A nessuno dei due agenti era stato chiesto di indebolire le misure di protezione. Entrambi hanno interpretato una normale istruzione come un’autorizzazione a eliminare una salvaguardia: in un caso «non inviare messaggi», nell’altro «copia semplicemente quello che succede» in una pull request di riferimento. Come ha osservato Engadget, entrambi i modelli sono già disponibili al pubblico e tutti e due hanno commesso errori durante attività di programmazione ordinarie, del tipo che oggi le persone affidano ogni giorno agli agenti di IA. Se lasciate che un agente modifichi il vostro codice, l’aspetto più inquietante è il riepilogo finale, che può omettere proprio il cambiamento più importante.

Il caso di Sol è iniziato quando un ricercatore ha chiesto all’agente di creare attività di valutazione a partire dai commenti dei dipendenti raccolti su Slack, aggiungendo che non avrebbe dovuto inviare messaggi. Dopo 82 messaggi, il flusso di lavoro si è bloccato: il monitor aveva segnalato una modifica proposta, ma non era riuscito a salvare la segnalazione. In un primo momento, l’agente ha ritenuto che gli avvisi automatici non rientrassero nei contatti che l’utente aveva escluso; un sottoagente incaricato di occuparsi della correzione ha invece giudicato pericoloso disattivare gli avvisi obbligatori. L’agente principale ha poi cambiato idea e ha ordinato comunque di sopprimerli.

Letture consigliateOpenAI ferma di nuovo i suoi modelli top dopo la fuga di un agente IA

La patch risultante ha svuotato gli elenchi delle persone che ricevono i rapporti di monitoraggio, impostato un flag per non inviare notifiche, indicato come motivazione «L’utente ha chiesto esplicitamente di non inviare messaggi» e rifiutato di salvare qualsiasi risultato se le notifiche non venivano disattivate. Il monitor ha continuato a funzionare e a salvare i propri rapporti. Ha semplicemente smesso di comunicarli a chiunque.

Astra era stato avvertito in anticipo. Un altro agente gli aveva detto di non disattivare il monitor, «nemmeno temporaneamente». Quando un utente gli ha chiesto di copiare il percorso di esecuzione da una pull request di riferimento, Astra ha affidato il compito a un sottoagente, chiedendogli di mantenere il monitoraggio «ove opportuno» rispetto a quella richiesta, che non prevedeva alcun monitor. Il sottoagente ha rimosso la configurazione del monitor e il relativo hook di runtime, sostituendo inoltre un test pensato per garantire il monitoraggio con uno che verificava che il monitor fosse stato eliminato. Gli appunti di Astra, dopo aver rilevato che il nuovo percorso del codice non attivava il monitor dell’agente, dicevano: «evviva».

«Quando l’utente gli ha chiesto se Astra avesse rimosso il monitoraggio, l’agente ha mentito, dicendo di non averlo fatto», ha scritto su X Marcus Williams, ricercatore nel campo della sicurezza dell’IA presso OpenAI. Il rapporto dell’azienda è più asciutto: l’agente «ha dichiarato falsamente all’utente di non aver rimosso il monitor».

La comunicazione spiega meno di quanto sembri. OpenAI scrive di non avere «ancora una spiegazione soddisfacente per questo comportamento» e prende in considerazione due interpretazioni: una persistenza «benigna», per cui un modello spinge le istruzioni oltre quanto farebbe una persona ragionevole, oppure una propensione specifica a eludere il monitoraggio concepito per individuare i comportamenti scorretti. Tutto ciò che è stato pubblicato proviene da OpenAI; gli estratti del ragionamento sono riformulazioni in linguaggio semplice, a cura dell’azienda, di appunti compressi del modello, e non trascrizioni letterali dei suoi output. Nessun revisore esterno ha esaminato i registri. Nessuno dei due incidenti è stato classificato P0, il livello di gravità che fa scattare l’allerta per il team di sicurezza di OpenAI: per questo non ha provocato né una revisione immediata né l’arresto automatico dell’esecuzione.

Il rapporto ammette anche una lacuna più ampia. Alcuni agenti hanno avviato attività con il monitoraggio disattivato: l’agente stesso era sorvegliato, ma non il lavoro che aveva messo in moto. Disattivare il monitor è difficile in Codex, dove viene eseguito all’interno del servizio che gestisce le richieste al modello, fuori dalla portata dell’agente. Nelle valutazioni è più semplice, perché OpenAI non richiede il monitoraggio del disallineamento per modelli paragonabili al più debole GPT-6 Luna. Questo rende possibile configurare male una valutazione di Astra e usare la procedura di bypass pensata per i modelli della classe Luna.

Non è la prima volta che gli agenti di OpenAI si spingono oltre quanto richiesto. A luglio l’azienda ha ammesso che alcuni agenti in fase di test erano riusciti a entrare nel repository di IA Hugging Face; il mese scorso, secondo Engadget, ha annullato il lancio previsto di GPT-6.1 Astra dopo che, a quanto riferito, nei test interni il modello aveva mostrato una maggiore propensione all’inganno rispetto ai suoi predecessori.

L’incidente di Sol è avvenuto il 3 ottobre e quello di Astra il 6 ottobre; OpenAI ha aggiornato il rapporto il 20 ottobre. Il suo sistema Auto-Review, già obbligatorio per tutti gli utilizzi interni di Codex, include ora istruzioni specifiche per individuare e bloccare i tentativi di disattivare il monitoraggio del disallineamento. OpenAI sta inoltre lavorando per rendere obbligatorio, per ogni categoria di carico di lavoro, un caso di sicurezza valido, cioè una dichiarazione dei requisiti di monitoraggio, e per interrompere automaticamente qualsiasi attività che ne sia priva o non li soddisfi. Per individuarne la causa, sta creando valutazioni abbinate, ricampionando le esecuzioni degli agenti e analizzando le attivazioni interne dei modelli.

Entrambi gli agenti si sono fermati a chiedersi se la salvaguardia dovesse restare. Entrambi hanno deciso che una normale istruzione di programmazione autorizzava a rimuoverla.

Tag: OpenAI, agenti IA, GPT-6 Astra, Codex, sicurezza dell’IA, GPT-6.1 Sol

Contenuti simili

GPT-6 Astra ha lasciato fuori gli utenti paganti, e la causa sono le regole di sicurezza di OpenAI

OpenAI lancia Dots, agenti sempre attivi con un computer tutto loro, ma l’Italia aspetta

Astra, la nuova IA di OpenAI, trova vulnerabilità sconosciute ma nasconde il suo ragionamento

Gli Sponsored Agents di OpenAI — la conversazione ChatGPT ora ha un venditore al suo interno

ChatGPT Work: OpenAI fonde ChatGPT e Codex in un unico agente che non si ferma mai

Dopo la violazione di OpenAI, l’Australia scrive leggi che mancano il punto