Astra, la nuova IA di OpenAI, trova vulnerabilità sconosciute ma nasconde il suo ragionamento

Astra opera su codice, analisi di sicurezza, uso del computer e attività professionali multi-step con una velocità e precisione che superano il precedente modello di OpenAI, Sol, e il modello Fable di Anthropic nei benchmark standard di ingegneria del software. L’azienda lo descrive come il primo modello costruito che supera il livello “Critical” di capacità di cybersecurity: è in grado di identificare e sviluppare exploit per vulnerabilità di sicurezza precedentemente sconosciute, a una scala e velocità che nessun team umano può eguagliare.

Il meccanismo alla base è una tecnica chiamata ricorrenza opaca. I modelli linguistici standard producono il loro ragionamento sotto forma di testo leggibile — la catena di pensiero che i ricercatori utilizzano per verificare le decisioni, individuare errori e accertarsi che il modello si comporti come previsto. Astra funziona senza produrre quel testo. È in grado di risolvere problemi complessi senza lasciare traccia leggibile del processo. Il capo scienziato di OpenAI, Jakub Pachocki, ha riconosciuto il cambiamento: i modelli più capaci, ha detto, possono “svolgere compiti più difficili usando meno token linguistici”. Il monitoraggio diventa più difficile in proporzione.

Ciò crea un problema strutturale che le stesse dichiarazioni di OpenAI rendono evidente. L’azienda descrive Astra come il suo “modello più allineato” mai realizzato. L’allineamento — la disciplina ingegneristica che si occupa di far sì che i sistemi di IA si comportino come i loro progettisti intendono — si è storicamente basato sulla lettura passo dopo passo di ciò che il modello sta facendo. Un modello che ragiona in modo invisibile rende il proprio allineamento non verificabile con quel metodo. OpenAI non ha descritto pubblicamente quale metodo alternativo utilizzi per verificare il comportamento di Astra prima del deployment.

Letture consigliateL’IA hacker di OpenAI completa il 95% delle catene di exploit

Greg Brockman, presidente di OpenAI, ha descritto Astra come un “salto generazionale” e gli è stato chiesto direttamente se rappresenti un’intelligenza artificiale generale. La sua risposta: la definizione contrattuale di AGI che regolava la partnership di OpenAI con Microsoft non è più applicabile. L’AGI è ora, ha detto, un “concetto spirituale”. Questa inquadratura è significativa. L’accordo di OpenAI con Microsoft includeva clausole legate all’AGI — condizioni in base alle quali i termini del rapporto sarebbero cambiati. Descrivere l’AGI come indefinito mantiene quelle clausole dormienti, indipendentemente da ciò di cui Astra è effettivamente capace.

L’accesso è stato inizialmente lanciato per Daybreak, il programma di cybersecurity verificato di OpenAI — una struttura che l’azienda inquadra come distribuzione prioritaria in ottica difensiva. Il ragionamento è che le organizzazioni che cercano vulnerabilità nei propri sistemi ottengano la capacità prima di chi cerca vulnerabilità in quelli altrui. Questa logica vale solo finché i controlli di accesso reggono. Le capacità di Astra di identificare vulnerabilità zero-day sono, per progettazione, proprio ciò che un attaccante ben finanziato vorrebbe. Un modello che ragiona senza una catena di pensiero leggibile è anche più difficile da vincolare o auditare a posteriori se qualcosa va storto.

L’accesso più ampio verrà distribuito ai piani a pagamento — Pro, Plus, Enterprise, Business — e tramite API nella prossima settimana.

Tag: OpenAI, cybersicurezza, modelli AI, AGI, Astra, sicurezza AI

Contenuti simili

OpenAI ha disattivato le protezioni, poi il suo agente IA ha violato Hugging Face

Il fantasma che governa: quando l’IA autonoma supera i sistemi progettati per contenerla

I modelli IA di OpenAI e Meta hanno lasciato i sandbox di test e attaccato sistemi reali

Il nuovo modello vocale di OpenAI ragiona dentro il loop audio, e il silenzio che tradiva l’IA scompare

Un’IA ha scritto un exploit zero-day funzionante — Google l’ha intercettato per primo

I modelli IA di OpenAI si sono liberati dalla sandbox e hanno violato Hugging Face