OpenAI dichiara l’era AGI. Il benchmark citato segna 37 punti in meno

Il post di Jensen Huang su X era composto da una frase e una congratulazione: «Da ChatGPT a o1 ad Astra in 4 anni, l’AGI è arrivata. Congratulazioni al team @OpenAI». Lo ha inviato il 6 settembre. Tre giorni prima, Greg Brockman, presidente di OpenAI, aveva usato con la stampa una cornice quasi identica: «Benvenuti nell’era dell’AGI». Le dichiarazioni sono arrivate a stretto giro, da due uomini con interessi complementari, e sono state accolte in gran parte come una conferma.

Il benchmark alla base dell’affermazione era ARC-AGI-3. OpenAI ha dichiarato che Astra, il suo nuovo modello frontier rilasciato con la denominazione GPT-6, ha ottenuto il 99,9% su ARC-AGI-3 e il 98% su FrontierMath Tier 4. Punteggi di quel livello, in condizioni standard, rappresenterebbero una vera discontinuità — un modello che non solo performa bene, ma si colloca in un territorio che i benchmark precedenti trattavano come aspirazionale. L’organizzazione che ha realizzato ARC-AGI-3 ha pubblicato un punteggio dal proprio harness di valutazione standard: 62,7%.

Trentasette punti percentuali separano quei due numeri. Entrambi provengono da valutazioni reali. L’harness interno di OpenAI e l’harness di riferimento dei creatori del benchmark non sono lo stesso protocollo, e lo stesso modello produce punteggi diversi sotto ciascuno. Ciò che l’organizzazione di ARC-AGI-3 usa come condizione di riferimento — quella che considera valida per confrontare i modelli in tutto il settore — ha prodotto il 62,7%. L’impostazione interna di OpenAI ha prodotto il 99,9%. La differenza tra quei numeri è la differenza tra un forte risultato di benchmark e una dichiarazione di arrivo.

La vendita di chip dietro la congratulazione per l’AGI

Astra è stata addestrata su chip NVIDIA. Huang vende chip NVIDIA. Quando un CEO si congratula pubblicamente con un cliente per aver superato una soglia storica — una soglia che rende l’hardware usato per costruire quel prodotto l’infrastruttura definente per ciò che verrà dopo — l’annuncio è, strutturalmente, un’affermazione commerciale. Non una cospirazione. Una realtà strutturale: il conflitto di interessi era visibile, la cornice parlava di arrivo più che di performance, e la maggior parte della copertura ha ricevuto entrambi senza commento.

Il mercato dei chip per l’infrastruttura AI si muove sulla narrazione. Se Astra è AGI, allora ciò che ha addestrato Astra diventa l’hardware del mondo post-AGI — e le aziende che acquistano chip per il prossimo ciclo di training compreranno in funzione di quel benchmark. Le congratulazioni di Huang erano, in quel senso specifico, anche una dichiarazione di prodotto. La dichiarazione dipendeva da un numero che l’organizzazione del benchmark stessa ha misurato diversamente.

Cosa mostra la verifica indipendente — e cosa non mostra

Alla data di pubblicazione, Astra non compare nell’Artificial Analysis Intelligence Index né nelle classifiche di Arena.ai — i due sistemi di valutazione indipendenti più seguiti per i modelli frontier. La verifica indipendente per le principali release frontier arriva di solito entro pochi giorni. L’assenza qui non è prova di scarse performance. Significa che la validazione esterna che normalmente accompagnerebbe un’affermazione di questa portata non si è ancora materializzata.

Il 62,7% da parte dei creatori del benchmark non è una confutazione. Un punteggio a quel livello su ARC-AGI-3 — un test progettato per resistere ai trucchi di ottimizzazione che hanno gonfiato i benchmark precedenti — è genuinamente forte. I predecessori di ARC-AGI-3 erano saturi: i modelli assorbivano dati di training simili alle domande del test e alzavano i numeri senza migliorare nel ragionamento inedito. ARC-AGI-3 ha cambiato il design delle domande per richiedere astrazione invece del recupero di pattern. Il 62,7% su quel test, sotto l’harness di riferimento, è molto al di sopra di qualsiasi cosa esistesse due anni fa.

I ricercatori che hanno sollevato obiezioni sono stati precisi su questo. La capacità del modello non era il loro bersaglio. Lo era il salto dalla performance alla dichiarazione. «Ottiene buoni punteggi in questi benchmark» e «l’AGI è arrivata» richiedono un passaggio intermedio: una definizione stabile e concordata di AGI rispetto alla quale l’arrivo possa essere misurato. Una definizione del genere non esiste in tutto il settore. OpenAI ne ha una interna. Secondo la definizione della stessa OpenAI, Astra potrebbe qualificarsi. Ma un’azienda che misura il suo prodotto contro una definizione che ha scritto è un tipo di risultato diverso da uno misurato da uno standard esterno.

La frase che non arrivava con una definizione

Il post di Huang non aveva precisazioni. «L’AGI è arrivata» è un’affermazione categorica — non «per alcune misure» o «sotto certe definizioni», ma un arrivo pulito. La progressione in quattro anni che ha nominato — ChatGPT, o1, Astra — è reale come traiettoria di capacità. Ogni modello nella sequenza ha esteso ciò che era possibile. Inquadrare quella sequenza come un viaggio con un punto di arrivo, e annunciare il punto di arrivo, fa un’affermazione diversa: dice che l’arrivo è distinguibile dal viaggio, che c’è una linea piuttosto che una pendenza, e che Astra l’ha superata.

Il numero del benchmark dietro quell’affermazione era il 62,7%. Le persone che hanno costruito il test lo hanno pubblicato. La domanda che solleva — se la dichiarazione dell’AGI sia una misurazione o una mossa di mercato — era lì il 6 settembre. La copertura mediatica lo ha ampiamente risposto senza chiederlo.

Tag: intelligenza artificiale, nvidia, OpenAI, Jensen Huang, AGI, ARC-AGI-3