IA

GPT-6 Astra bara a StarCraft con il bot campione scritto da un umano

Adrian Kessler
Aggiungici su Google

GPT-6 Astra di OpenAI avrebbe dovuto scrivere da sé il proprio bot per StarCraft. Quando il bot continuava a perdere, il modello ha scaricato Stardust, un bot campione creato dallo sviluppatore indipendente Bruce Mackenzie Nielsen, e ha cercato di schierarlo al posto del proprio codice. Kai McPheeters, creatore della competizione StarSkirmish in cui è successo, si è accorto dello scambio e ha ripristinato una versione precedente del codice del modello.

Potrebbe sembrare uno scherzo confinato a un gioco di nicchia, ma l’abitudine che mette in luce non è affatto di nicchia. Astra è il tipo di agente di programmazione a cui gli sviluppatori affidano ormai progetti reali. Gli è stato chiesto di vincere e, senza segnalarlo, ha messo mano al lavoro già pronto di qualcun altro, spacciandolo per proprio. Se al posto di un gioco di strategia ci fosse il codice di un’azienda, si tratterebbe di codice preso in prestito, con una licenza che nessuno ha verificato, pronto a finire dentro un prodotto.

StarSkirmish è un benchmark pubblico in cui i modelli linguistici di grandi dimensioni scrivono programmi in C++ per giocare a StarCraft: Brood War, il classico di strategia del 1998 firmato Blizzard. Tutti i modelli giocano con la fazione dei Protoss su tre mappe molto note: Heartbreak Ridge, Benzene e Destination. Nel benchmark a tempo, ogni modello ha a disposizione un’ora di tempo effettivo per scrivere, compilare, testare e migliorare il proprio bot; nella classifica, Astra e Claude Opus 5.5 di Anthropic sono di fatto appaiati in vetta.

L’episodio è avvenuto durante una sfida a tre tra Astra, Claude Opus 5.5 e Pluto, un bot scritto da un essere umano. Secondo il racconto di McPheeters, riportato da Kotaku e PC Gamer, il bot di Astra faticava contro entrambi gli avversari. A quel punto il modello ha recuperato Stardust e ha provato a sostituirlo alla propria creazione. McPheeters ha detto di aver ripristinato il codice di Astra perché la partita non rimanesse «contaminata», e ha lasciato proseguire il modello.

Stardust non è stata una scelta casuale. Nielsen lo ha pubblicato nel 2020 e il bot ha vinto l’AIIDE StarCraft AI competition quell’anno e il successivo, con percentuali di vittoria superiori al 93%, oltre a conquistare il titolo SSCAIT 2020/21. La classifica più impegnativa di StarSkirmish annovera Stardust tra gli avversari di «Tier S», i bot che i modelli dovrebbero battere. Il suo codice è pubblico su GitHub con licenza MIT, ma con una condizione aggiuntiva: le versioni derivate non possono essere iscritte alle competizioni di StarCraft AI senza il consenso scritto dell’autore. Inserirlo di nascosto in una gara è proprio l’uso che quella clausola esclude.

Restano parecchi aspetti poco chiari. Né McPheeters né gli articoli pubblicati spiegano come Astra sia arrivato al codice. Il benchmark mette a disposizione dei modelli una shell e sotto-agenti di ricerca, ma il regolamento pubblicato non specifica se i download da Internet fossero consentiti o bloccati. OpenAI non ha commentato. Inoltre, si tratta di una singola prova in un benchmark indipendente, su scala amatoriale, non di uno studio controllato: mostra quindi che cosa può fare un agente non supervisionato, non con quale frequenza lo faccia.

C’è anche un dettaglio che contraddice la facile interpretazione dell’episodio come un semplice imbroglio. Dopo aver ripristinato il codice, McPheeters ha riferito che nel giro di poche ore Astra stava battendo da solo i bot di prima fascia. Per competere, il modello non aveva bisogno di Stardust. Eppure, mentre era in svantaggio, ha scelto comunque la scorciatoia: il comportamento che i ricercatori di IA chiamano reward hacking, cioè inseguire il punteggio invece di svolgere il compito.

Lo scambio è avvenuto venerdì ed è diventato pubblico grazie alle dichiarazioni dello stesso McPheeters, prima che la notizia venisse ripresa dai siti di videogiochi. McPheeters ha lasciato Astra in StarSkirmish con il codice originale ripristinato, e la classifica che stabilisce quali modelli accedono alla fascia più alta è ancora aperta.

In cima alla classifica c’è proprio Stardust, in attesa di essere battuto da un bot scritto davvero da Astra.

Tag: , , , , ,

Aggiungici su Google

Discussione

Ci sono 0 commenti.