Per tre anni il dibattito sull’IA ha ruotato attorno a chi costruisce il modello più grande. La domanda meno appariscente — quanto costa tenere quel modello in risposta, milioni di volte al giorno, senza che crolli — è oggi il punto da cui fuoriescono i soldi. llm-d, il progetto open source di inferenza avviato da Red Hat, IBM, Google Cloud, CoreWeave e Nvidia, arriva alla versione 1.0, e la sua proposta punta dritta a quella perdita.

Il meccanismo va spiegato senza giri di parole. Un agente IA non fa una domanda e se ne va. Tiene aperte sessioni lunghe, rilegge gli stessi documenti e lancia aiutanti in parallelo che colpiscono l’hardware a raffiche imprevedibili. In questo schema, gestire il contesto può costare più che produrre la risposta. Ogni team che serve modelli su larga scala, spiega Shadi Saba, vicepresidente dell’ingegneria IA/ML di CoreWeave, si scontra con un «contesto che spesso costa più gestire dell’output stesso». La risposta di llm-d è l’instradamento: mandare ogni richiesta al server che ha già il suo contesto in cache, invece di ricalcolarlo da zero.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

La versione 1.0 porta meno trucchi nuovi che garanzie per far girare quelli esistenti per mesi. Il progetto offriva già instradamento consapevole della cache, scarico della cache KV e separazione delle fasi di prefill e decode su macchine diverse, sopra server di modelli come vLLM e SGLang. La nuova release aggiunge controlli di priorità ed equità perché le richieste sensibili alla latenza e gli agenti a raffica condividano la stessa flotta di GPU senza soffocarsi, un router ad alta disponibilità per aggiornamenti senza interruzioni, un’API di configurazione v1 stabile e un instradamento per sessione che tiene le conversazioni a più turni vicino al loro stato in cache.

I dati sulle prestazioni dell’annuncio vengono dalle dimostrazioni degli stessi contributori, quindi vanno letti come affermazioni, non come verifiche indipendenti. In una, i ricercatori hanno servito GLM 5.2, un modello a pesi aperti da circa 753 miliardi di parametri, su GPU Nvidia di larga diffusione, con picchi oltre 6,6 milioni di token in uscita al minuto e fino a 3.000 agenti di programmazione simultanei; alle tariffe attuali di noleggio cloud, sostengono, il costo per token è risultato da cinque a dieci volte inferiore a quello di un’API commerciale equivalente. IBM Research riferisce un costo di inferenza 11,5 volte più basso rispetto a una configurazione interamente proprietaria in un progetto di progettazione di chip per la correzione degli errori quantistici, con un tasso di successo della cache di circa il 98%.

Più eloquente è chi ci si appoggia già. JetBrains dice che llm-d serve una quota significativa del traffico di Junie Lite, il suo piano gratuito di agente di programmazione; DigitalOcean ci fa girare la sua inferenza serverless, e Mistral e Roblox descrivono il loro strato di serving costruito sul progetto. Google Cloud sta integrando la 1.0 in Google Kubernetes Engine su tutta la sua offerta di TPU e GPU Nvidia, mentre AMD la porta sui suoi acceleratori Instinct.

Fondato nel 2025 e oggi governato dalla Cloud Native Computing Foundation, llm-d conta oltre 500 contributori da più di 25 organizzazioni. La versione 1.0 è stata annunciata il 20 ottobre 2026 a San Jose ed è già disponibile come software open source.

La conseguenza è uno spostamento dei rapporti di forza. Se la parte costosa dell’IA è servirla e non addestrarla, chi controlla lo strato di serving controlla il conto. llm-d è il tentativo di far sì che quello strato resti condiviso e aperto, invece che chiuso nell’API di un unico fornitore.

Tag: nvidia, agenti IA, IBM, CoreWeave, modelli linguistici di grandi dimensioni, Red Hat