IA

Nvidia PAIR unisce le GPU di casa per agenti IA due volte più veloci, gratis

Susan Hill

Un nuovo strumento gratuito di Nvidia chiamato PAIR — Personal AI Router — instrada i compiti degli agenti AI su più computer della tua rete domestica, trattando la tua collezione di PC da gaming, workstation e persino Mac come un cluster di inferenza unificato. L’idea è semplice: la maggior parte dei computer dedicati all’AI resta inattiva per la maggior parte del tempo, e i carichi di lavoro AI locali sono sempre più basati su agenti che generano decine di sotto-compiti indipendenti contemporaneamente. PAIR collega i cicli di elaborazione inutilizzati.

Il software funziona come un proxy trasparente sopra Ollama e LM Studio, i due strumenti di inferenza locale più popolari, quindi le configurazioni esistenti non richiedono modifiche al codice. Una volta installato su ciascuna macchina, PAIR utilizza mDNS — lo stesso protocollo che la tua stampante usa per apparire in rete — per scoprire automaticamente i dispositivi compatibili. Un agente principale invia il suo lavoro come al solito, e PAIR decide quale macchina gestisce quale sotto-compito in base ai modelli disponibili su ciascuna. Non è necessaria una configurazione identica tra le macchine: un PC da gaming con Llama 3.3 e un laptop con Mistral possono collaborare allo stesso lavoro.

Il benchmark pubblicato da Nvidia rende concreto il vantaggio: un’attività con cinque sotto-agenti che ha richiesto 18 minuti su un singolo laptop RTX Spark è stata completata in 8 minuti e 48 secondi su un cluster di tre dispositivi. Si tratta di un miglioramento di circa 2× senza toccare una riga di codice o pagare per il cloud computing. Il guadagno scala con il numero di macchine e la natura del carico di lavoro — le attività che si suddividono in molti pezzi paralleli ne traggono il massimo beneficio.

La privacy è l’altro punto di forza, ed è quello più duraturo. Ogni prompt, file e contesto dell’agente rimane sulla tua rete domestica. Niente viene instradato verso un servizio di inferenza cloud; non c’è chiave API, nessun monitoraggio dell’utilizzo e nessuna azienda che riceve le tue richieste. Per chi esegue agenti su documenti sensibili — bozze legali, note mediche, corrispondenza personale — questa distinzione conta più dei numeri dei benchmark.

Le limitazioni sono reali. PAIR non offre garanzia di qualità del servizio: se la macchina su cui contavi sveglia la sua GPU per un gioco o un’esportazione video, PAIR ridistribuisce quel carico di lavoro a qualsiasi altra risorsa disponibile. Lo strumento è chiaramente progettato per attività di lunga durata con scadenze flessibili, non per applicazioni in cui la latenza deve essere prevedibile. È anche un software beta. Nvidia si rivolge agli appassionati con almeno una macchina compatibile — una scheda GeForce RTX serie 20 o successiva, o silicio Apple serie M4 — e con l’aspettativa che sappiano già destreggiarsi con Ollama.

PAIR è gratuito, open-source e disponibile in beta ora su Windows, macOS e Linux. Nvidia non ha annunciato una tabella di marcia per garanzie di QoS o una data di rilascio stabile. La soglia pratica per trarne beneficio è di due macchine con hardware capace, il che esclude la maggior parte delle configurazioni con un solo computer. Per gli utenti che già eseguono Ollama su più di un dispositivo a casa, la barriera all’ingresso è abbastanza bassa da giustificare la prova.

Tag: , , , , ,

Discussione

Ci sono 0 commenti.