L’amministratore delegato di Google ha smesso di fare i conti. Alla domanda su quanta parte del codice dell’azienda sia ormai scritta dall’IA, Sundar Pichai ha risposto che la domanda non ha più senso, perché l’IA interviene su tutto. Nella stessa conversazione ha ridimensionato lo scenario che tiene con il fiato sospeso gran parte del settore: un’IA che costruisce versioni sempre migliori di sé, escludendo le persone dal processo.

Entrambe le affermazioni potrebbero reggere. Il problema è capire chi le verifica. La cifra messa da parte da Pichai era l’unico dato che gli osservatori esterni potessero confrontare con quello di altre aziende. I numeri che la sostituiscono e le prove alla base della sua visione più rassicurante dell’IA capace di migliorarsi da sola arrivano dalle misurazioni di Google su Google.

Cosa ha detto Sundar Pichai sull’IA e il codice di Google

Pichai ne ha parlato con Alex Kantrowitz nel Big Technology Podcast, registrato nella sede di Google a Mountain View e pubblicato anche dallo stesso Kantrowitz sotto forma di intervista scritta in formato Q&A. Quando Kantrowitz ha ricordato la vecchia affermazione secondo cui un quarto del codice di Google era generato dall’IA e gli ha chiesto quale fosse la percentuale attuale, Pichai l’ha definita «priva di significato», perché ogni parte del codice su cui Google interviene oggi «è profondamente influenzata dall’IA».

Al suo posto ha citato i dati di Gemini 4 Argon, il modello più recente di Google, che l’azienda ha messo a disposizione dei propri ingegneri. Nelle quattro settimane dal lancio, ha detto, Google ha registrato un aumento del 30% delle CL, la sigla interna per le proposte di modifica al codice, e una riduzione di un terzo dei rollback, cioè delle modifiche da annullare dopo la pubblicazione. «Ora lo misuriamo con metriche più recenti», ha detto.

La vecchia metrica non è scomparsa da sola. In un post pubblicato ad aprile, Google aveva indicato che il 75% del nuovo codice era generato dall’IA, rispetto al 25% del 2024 e al 50% dell’autunno precedente, secondo Semafor ed ETV Bharat. All’epoca Semafor aveva osservato che alcune di quelle affermazioni erano quasi impossibili da verificare e le aveva messe a confronto con Snap, al 65%, e con Meta, che puntava a livelli simili.

Perché Pichai dice che l’IA capace di migliorarsi da sola è ancora lontana

Parlando di auto-miglioramento ricorsivo, o RSI, Pichai ha presentato la sua risposta come un chiarimento di quanto detto dal cofondatore di Google. Sergey Brin aveva definito l’RSI un fattore determinante per Argon, ha spiegato, ma «siamo ancora piuttosto lontani dall’obiettivo finale dell’RSI». Poi ha descritto la situazione attuale di Google: «Il modo giusto di dirlo è che ci sono cicli di RSI affiancati da ricercatori di IA in vari aspetti dello sviluppo dei modelli. Direi che ci sono quasi degli agenti che aiutano i ricercatori di IA, in qualche modo automatizzato, a collaborare per costruire questi modelli».

Brin si era spinto oltre pochi giorni prima. Durante una tavola rotonda su Argon condivisa da Google, aveva detto che l’azienda stava «iniziando a salire sul tapis roulant dell’RSI» e che «ora i nostri ricercatori e il modello lavorano fianco a fianco per realizzare la versione successiva del modello», come riportato da Business Insider. Un rapporto di Gladstone AI pubblicato questo mese ha riferito che la maggior parte dei ricercatori intervistati presso Anthropic, OpenAI e Google DeepMind si aspetta che l’RSI inizi entro un periodo compreso tra tre e 12 mesi.

Il rapporto di sicurezza di Google dà ragione a Pichai, sulla base dei test di Google

Sulla carta, i dati confermano la posizione di Pichai. Il rapporto sulla sicurezza di Argon pubblicato da Google DeepMind rileva «nessuna accelerazione significativa, dall’inizio alla fine, della ricerca e sviluppo nell’IA, né guidata dall’IA né altrimenti» e definisce il rischio «attualmente basso», ha riferito TNW. Secondo il rapporto, gli agenti di IA «scrivono la maggior parte del codice destinato alla produzione e delle correzioni di bug, anche se le modifiche al codice restano soggette a revisione umana prima dell’invio». Le richieste di pull interamente delegate sono passate dal 7,5% di aprile all’11,9% di settembre; circa l’88% richiede ancora indicazioni umane ripetute o codice scritto da una persona.

Questi risultati derivano dagli strumenti di misurazione interni di Google. La soglia per stabilire se l’IA sia in grado di automatizzare la ricerca sull’IA viene verificata usando un benchmark interno di 74 attività, che nessuno al di fuori dell’azienda può eseguire. Un’analisi pubblicata su LessWrong richiama un passaggio dello stesso rapporto: tra le attività sottoposte inizialmente a verifica da Google, «circa un quarto conteneva bug che impedivano a qualsiasi invio di superare il test». Poiché molte esecuzioni sono scadute senza terminare, il rapporto non fornisce una stima puntuale per Argon, che ha completato con successo circa la metà delle esecuzioni concluse. Google sostiene che la valutazione resta valida anche ipotizzando che tutte quelle non concluse avessero avuto esito positivo.

La revisione umana è il filtro su cui si basa il ragionamento di sicurezza. Un aumento del 30% delle proposte di modifica al codice significa il 30% di modifiche in più per le persone che presidiano quel filtro, mentre le metriche scelte da Pichai conteggiano il lavoro prodotto e le modifiche annullate, non quanto attentamente sia stata letta ciascuna modifica.

La soluzione indicata dallo stesso Pichai: revisori indipendenti

Pichai non ha liquidato la preoccupazione. La ricerca sull’allineamento presenta ancora «lacune evidenti», ha detto, e «è ragionevole essere preoccupati». A suo avviso, il passo successivo consiste nell’adozione di standard condivisi a livello di settore, «compresa la possibilità di effettuare valutazioni con revisori indipendenti», sul modello dei principi contabili e dei revisori esterni, con una regolamentazione che «finirà per svolgere un ruolo».

Alla luce di questo criterio, entrambe le affermazioni di questa settimana sono ancora prive di verifiche indipendenti. Google conta le proprie liste di modifiche, valuta i propri rollback e assegna i punteggi al proprio benchmark di ricerca.

La percentuale che Pichai ha definito priva di significato era rozza, ma chiunque poteva confrontarla con quella di Snap. I dati che la sostituiscono, invece, si possono leggere solo dall’interno di Google.

Tag: Google, Gemini, Sundar Pichai, programmazione con IA, Sergey Brin