AMD acquisisce Taalas, scommettendo che i pesi IA incisi nel silicio batteranno Nvidia

AMD sta acquisendo Taalas, una startup di Toronto che costruisce chip che incorporano i pesi dei modelli AI in modo permanente nel silicio, invece di caricarli dalla memoria durante l’inferenza. Il chip HC1 dell’azienda genera 16.960 token al secondo sul Llama 3.1 8B di Meta — un dato che AMD afferma essere 48 volte più veloce delle GPU di Nvidia e 8,5 volte più veloce di Cerebras, lo specialista dei chip per inferenza.

La tecnologia alla base di Taalas sfrutta un’inefficienza strutturale nel funzionamento attuale dell’inferenza AI. Le GPU standard sono flessibili: possono eseguire qualsiasi modello, passare da un’attività all’altra su richiesta ed essere riprogrammate quando un modello viene aggiornato. Ma quella flessibilità è anche il collo di bottiglia. Caricare miliardi di pesi del modello dalla memoria ad alta larghezza di banda nelle unità di calcolo a ogni richiesta di inferenza crea una latenza che l’aggiunta di più GPU non può eliminare.

Taalas incorpora quei pesi direttamente nel silicio del chip al momento della produzione. Il modello vive nell’hardware, non nella memoria che viene recuperata per ogni richiesta. I numeri di throughput che AMD sta pubblicizzando riflettono quella scelta architetturale — ma a un prezzo che l’azienda non minimizza: una volta che un chip è prodotto con un modello specifico incorporato, aggiornarlo richiede un nuovo tape-out del silicio. Taalas afferma che solo due strati metallici devono essere modificati per un aggiornamento del modello, il che accorcia i tempi, ma questi chip non possono adattarsi al volo a una versione più recente del modello.

Letture consigliateAMD punta fino a 5 miliardi su Anthropic per inseguire Nvidia nella corsa all’IA

Secondo il piano di integrazione di AMD, i chip Taalas gestiranno la generazione dei token — la fase più dispendiosa in termini di tempo dell’inferenza — mentre le GPU Instinct di AMD gestiranno il prefill e il calcolo dell’attenzione all’inizio di ogni richiesta. Il sistema combinato funziona sulla piattaforma rack-scale Helios di AMD. Per gli operatori cloud che eseguono carichi di lavoro su modelli fissi — chatbot del servizio clienti, pipeline di elaborazione documenti, traduzione in tempo reale — la promessa è un throughput per watt di rack che i cluster GPU flessibili non possono eguagliare a costo equivalente.

La domanda centrale è se questo calcolo resista al ritmo di aggiornamento dei modelli del settore. I principali laboratori ora aggiornano i loro modelli di produzione circa ogni sei mesi. Un chip bloccato su Llama 3.1 8B oggi potrebbe dover essere ritirato quando un successore diventa il target di deployment standard. L’affermazione di Taalas sull’aggiornamento con due strati metallici aiuta, ma un tape-out del silicio richiede ancora mesi per essere completato — un ritardo significativo quando i modelli si rinnovano più velocemente dei cicli hardware.

L’acquisizione arriva sette mesi dopo che Nvidia ha acquistato Groq — un approccio diverso allo stesso problema di velocità di inferenza — per un importo riportato di 20 miliardi di dollari. I processori tensor streaming di Groq ottimizzano anch’essi il throughput ma mantengono la capacità di caricare modelli diversi. AMD sta pagando una cifra non divulgata, ma presumibilmente inferiore, per una startup che ha fatto la scommessa opposta.

Per gli acquirenti, l’acquisizione di Taalas appartiene alla roadmap piuttosto che al catalogo. Il chip HC2, destinato a modelli con fino a 20 miliardi di parametri, è ancora in fase di sviluppo. Il benchmark 48x si applica a HC1 in condizioni specifiche — le implementazioni reali con traffico misto e dimensioni batch variabili produrranno risultati diversi. La chiusura dell’accordo è prevista nel quarto trimestre del 2026, in attesa della revisione normativa. HC1 è stato spedito a febbraio su nodo a 6 nm; la data di spedizione di HC2 e il nodo di processo target rimangono non confermati.

Tag: nvidia, AMD, chip AI, inferenza AI, Taalas

Contenuti simili

Nvidia controlla l’85% dei chip per l’IA — i grandi fondi mondiali non riescono a vendere

AMD raddoppia i ricavi dei data center a 6,7 miliardi — il titolo cede il 9%

TSMC segna un utile record (+77%) mentre la domanda di chip AI svuota le sue fabbriche

L’EPYC Venice di AMD è il primo chip server a 2nm — 256 core e 1,6 TB/s di larghezza di banda

NVIDIA ha posato i binari dell’economia IA — e nessuno ha tracciato un percorso alternativo

Il modello IA di Alibaba costa 2 dollari per milione di token — i pesi aperti arrivano il 10 agosto