L’aspetto interessante dell’ultimo aggiornamento di Elon Musk su Grok non è il linguaggio di programmazione. È ciò che ammette tra le righe: il prossimo modello è in ritardo perché il team che lo sta sviluppando ha abbandonato gli strumenti open source usati per addestrare e distribuire i modelli, per poi scriverne di propri.

Letto come un annuncio in vista del lancio, il post è ottimista: addestramento completato, valutazioni in crescita, rilascio graduale prima della fine della settimana. Letto come il racconto di una scelta tecnologica, dice qualcosa di più importante. xAI, che ora fa parte di SpaceX, ha deciso che i framework condivisi la stavano frenando e scommette questo modello, e quello successivo, sulla possibilità di controllare ogni livello software tra i ricercatori e le GPU.

«Abbiamo abbandonato JAX/SGLang e riscritto da zero l’intero stack per l’RL e l’inferenza in C/C++, e questo ha richiesto un po’ di tempo in più», ha scritto Musk su X, rispondendo a un utente che chiedeva quando sarebbe arrivato Grok 4.8. JAX è la libreria numerica basata su Python con cui xAI aveva addestrato i modelli; SGLang è un framework open source per distribuire modelli linguistici di grandi dimensioni. Il pre-addestramento è terminato, ha detto, dopo che «c’era molto lavoro di pulizia da fare sui dati SFT», il set per il fine-tuning supervisionato. «Ora 4.8 è nella fase di RL e le valutazioni cominciano a salire».

Quella frase chiarisce il ritardo a cui Musk stesso aveva dato origine. A metà settembre aveva presentato il modello come «un modello da 2,5 T addestrato con il nostro nuovo stack software C++», che avrebbe «finito l’addestramento questa settimana e iniziato l’RL». Più o meno nello stesso periodo, come riportato da Analytics India Magazine, aveva definito la parte di apprendimento per rinforzo «ancora in parte un insieme disordinato di tanti sistemi software di terze parti», da sistemare «a tempo debito». Verso la fine di ottobre aveva scritto: «So che ci è voluto più del previsto, ma Grok 4.8 non deluderà». La soluzione si è rivelata essere il ritardo stesso. Il codice per il pre-addestramento era già nuovo; prima che il modello potesse proseguire, andavano ricostruite la parte che gli insegna come comportarsi e quella che risponde agli utenti.

La «riscrittura in C++» di cui parlano i titoli è soprattutto in C. Alla domanda sul linguaggio, Musk ha risposto: «C con un po’ di C++, ma non troppo». Dice che lo stack deriva dal software scritto dagli ingegneri di SpaceX per Starlink («In SpaceX scriviamo i nostri header e calcoliamo il nostro tempo», ha aggiunto); a settembre aveva detto che il codice per il pre-addestramento era stato scritto dal team di Starlink e «non dall’IA», perché «l’IA non è ancora abbastanza brava per realizzare software dalle prestazioni estremamente elevate (ma lo sarà)».

Le motivazioni sono note dalla primavera. A fine maggio Musk aveva detto che SpaceX era quasi pronta con uno stack di addestramento interno in C, in grado di «mappare esattamente» un cluster di 220.000 chip Nvidia GB300, e aveva stimato un possibile aumento della velocità rispetto a JAX, per le sessioni di addestramento più estese, «di oltre un ordine di grandezza». A fine giugno aveva promesso «miglioramenti davvero enormi» nel giro di circa tre mesi, una volta riscritto l’intero stack di addestramento e inferenza e «cancellati completamente la maggior parte dei livelli software». Rispetto a quella tabella di marcia, la riscrittura è arrivata con circa sei settimane di ritardo. Nessuna delle dichiarazioni sulle prestazioni è stata verificata al di fuori dell’azienda.

Controllare lo stack ha vantaggi e svantaggi. Abbandonare JAX e SGLang libera xAI dalle astrazioni e dalle scadenze di rilascio decise da altri e permette ai suoi ingegneri di adattare direttamente il software a uno specifico componente hardware. Il prezzo è che ogni bug nel ciclo di addestramento e nel sistema di distribuzione ricade ora soltanto su xAI, in un codice che nessuna comunità esterna ha mai usato prima che arrivi agli utenti.

Musk sta anche abbassando parecchio le aspettative. «Grok 4.8 non avrà nulla a che vedere con la 4.7 (per fortuna)», ha scritto, stroncando pubblicamente il modello che xAI aveva lanciato il 21 settembre. «Non è ancora incredibile, ma questa volta le fondamenta sono state costruite nel modo giusto, quindi mi aspetto che evolva fino a diventare qualcosa di speciale». Meno di un’ora dopo, alla domanda su come 4.8 si sarebbe confrontato con Opus 5.5 di Anthropic, ha risposto: «Non sarà altrettanto bravo. Opus 5.5 è un capolavoro». La sua vera promessa guarda più avanti: «Grok 5 dovrebbe superare Opus 5.5, e forse succederà tra due o tre mesi».

Per il resto, non si sa ancora nulla. La pagina delle notizie e la documentazione per gli sviluppatori di xAI non riportano informazioni sul modello, secondo i servizi di monitoraggio che le controllano; non ci sono una scheda tecnica, benchmark, prezzo o voce nel catalogo delle API. La cifra di 2,5 mila miliardi di parametri è stata fornita soltanto da Musk, così come i risultati delle valutazioni che, a suo dire, sono in crescita. Il rilascio graduale sarà disponibile per gli utenti di Grok Bot «più avanti questa settimana», senza indicare un giorno preciso; a ottobre Musk aveva detto che la maggior parte di quelle richieste sarebbe stata gestita da «una versione di Grok 4.8 velocissima».

Il rilascio di questa settimana sarà quindi una prova dell’infrastruttura più che del modello. Se il modello reggerà il traffico reale di Grok Bot, la riscrittura diventerà la piattaforma su cui verrà addestrato Grok 5. Se invece qualcosa andrà storto, non resterà più alcun framework esterno a cui dare la colpa.

Tag: Elon Musk, SpaceX, xAI, modelli di IA, Grok