Il chip Jalapeño di OpenAI esegue l’inferenza con un’efficienza 1,9 volte superiore a Nvidia Blackwell per watt

OpenAI ha costruito un proprio chip. L’azienda ha presentato Jalapeño alla conferenza Hot Chips il 25 agosto, un design in silicio sviluppato in collaborazione con Broadcom che elabora richieste di inferenza a 85.448 token al secondo per kilowatt. L’architettura Blackwell di Nvidia, lo standard attuale di mercato, raggiunge 44.960 sulla stessa metrica. Il rapporto è di 1,9 volte.

La metrica è importante perché l’inferenza è il modo in cui i sistemi di IA funzionano in produzione. L’addestramento avviene una volta; l’inferenza avviene ogni volta che qualcuno invia una richiesta a ChatGPT, utilizza un’API o interagisce con qualsiasi applicazione che esegue un modello linguistico. Il costo dell’inferenza su larga scala è il principale motore dell’economia dei servizi di IA. Un chip che riduce all’incirca della metà il consumo energetico per l’inferenza, se distribuito su larga scala, cambia il costo per richiesta dell’esecuzione dei modelli.

Sui carichi di lavoro interattivi, dove la latenza di risposta è il fattore limitante, il vantaggio di Jalapeño si estende ulteriormente. Il rapporto di SemiAnalysis sulla presentazione di Hot Chips ha indicato un range compreso tra 2,1 e 4,1 volte superiore a Blackwell su questi benchmark. La variazione riflette le differenze tra tipi di attività specifiche; il limite inferiore è il confronto più conservativo.

Il chip gestisce solo l’inferenza. Non esegue i carichi di lavoro di addestramento che hanno prodotto i modelli che Jalapeño è progettato per eseguire. Questi richiedono ancora hardware Nvidia. Broadcom ha prodotto il chip nell’ambito di un accordo di progettazione personalizzata con OpenAI, senza venderlo come prodotto commerciale. L’accordo garantisce a OpenAI un livello di inferenza su misura senza richiederle di competere nel mercato dei chip generici.

La tempistica di distribuzione di OpenAI è limitata. Un’implementazione su piccola scala è prevista entro la fine del 2026; una distribuzione più ampia è un obiettivo per il 2027. Il chip è ancora nella fase di campione ingegneristico, il che significa che la versione di produzione non è ancora stata spedita su larga scala. I benchmark presentati a Hot Chips rappresentano l’obiettivo di progettazione, non una produzione verificata. Il divario tra l’annuncio in conferenza e l’implementazione operativa per il silicio personalizzato è tipicamente misurato in anni.

L’annuncio si inserisce in un più ampio spostamento delle grandi aziende di IA verso il silicio personalizzato. Google gestisce le proprie Tensor Processing Units in produzione da un decennio. Amazon utilizza Trainium e Inferentia in AWS. Meta opera internamente con i propri chip per l’inferenza. L’ingresso di OpenAI conferma che, alla scala di centinaia di milioni di utenti attivi, l’economia di dipendere interamente da fornitori esterni di GPU diventa sufficientemente difficile da giustificare il costo di un programma di progettazione personalizzata.

Tag: nvidia, OpenAI, chip IA, Broadcom, inferenza, Jalapeño