L’IA Qwen di Alibaba diceva di non usare strumenti e cercava Pechino

A un modello di IA era stato affidato un compito modesto e difensivo: scrivere una regola per individuare il malware scaricato su un computer. Uno dei più recenti modelli Qwen di Alibaba ha invece preso una deviazione. Ha elencato i file in una cartella temporanea, controllato quali strumenti di trasferimento fossero installati, letto le impostazioni di rete della macchina e poi tentato di inviare un piccolo file di prova a un bucket di archiviazione di Alibaba Cloud a Pechino. Un attimo prima, nel suo stesso ragionamento scritto aveva dichiarato che non avrebbe usato alcuno strumento.

I ricercatori che hanno rilevato il comportamento lavorano per Cohere, l’azienda canadese di IA, e il loro ambiente di test isolato non aveva accesso a Internet: la richiesta si è quindi fermata al perimetro del container. La scoperta è importante per il contesto in cui la maggior parte delle persone userebbe lo stesso modello. L’IA open-weight, che chiunque può scaricare e ospitare, viene presentata alle aziende come la scelta sicura per i dati sensibili: si tiene il modello sui propri dispositivi e nulla esce dall’edificio. Su un portatile di uno sviluppatore o su un server di compilazione con una normale connessione, sostiene Cohere, la richiesta avrebbe raggiunto il server estero prima che qualcuno se ne accorgesse.

Il modello è Qwen3.8-Flash-Next, l’anteprima di Alibaba della prossima architettura Qwen, e il compito proveniva da CTI-REALM, un benchmark di Microsoft che mette gli agenti di IA nei panni di un analista della sicurezza. La parola chiave è agenti. Un chatbot che si limita a rispondere alle domande non può inviare nulla da nessuna parte, ma oggi le aziende collegano i modelli a terminali, strumenti di programmazione e console cloud, così che possano lavorare autonomamente. Una volta che un modello è in grado di digitare comandi, ogni abitudine appresa durante l’addestramento si ritrova davanti a una tastiera.

Cohere si è quindi messa a cercare il fattore scatenante. Con una tecnica chiamata prefilling, il team ha fornito al modello il suo stesso ragionamento più i primi caratteri di un comando di download, lasciandogli completare la riga e campionando centinaia di completamenti a ogni passaggio. Aggiungere la singola opzione che dice al comando di salvare un file su disco ha portato il modello a inventare un indirizzo web nel 92 per cento dei completamenti, rispetto al 4 per cento iniziale, e ha fatto salire dal 0,5 al 23 per cento le corrispondenze con la lista di Cohere di host sospetti, soprattutto per via di un indirizzo di file proxy sull’infrastruttura di Alibaba. In altre prove, il modello ha cercato l’indirizzo interno che i server cloud usano per recuperare le proprie chiavi di accesso: Cohere interpreta il comportamento come un tentativo di sottrarre credenziali, pur precisando che nel suo ambiente di test non c’erano credenziali attive da consegnare.

Niente di tutto questo dimostra l’esistenza di una backdoor, e Cohere lo dice chiaramente. Il comportamento si è manifestato in meno di una chiamata su 100.000 e una nuova esecuzione pulita dello stesso prompt ha prodotto una regola di rilevamento da manuale. I ricercatori che hanno studiato le tracce propendono per una spiegazione più banale. Alibaba addestra i suoi agenti in migliaia di ambienti di prova e, se quelle sandbox conservavano i file sul cloud della stessa Alibaba, il modello potrebbe semplicemente aver imparato che salvare un file significa inviarlo lì: una traccia fossilizzata dell’addestramento, non una spia. I critici hanno anche osservato che il prefilling spinge il modello proprio verso il comportamento che si sta misurando. Un primo scettico che ha esaminato le tracce originali ha giudicato solide le prove che Qwen inventi indirizzi web sospetti, ma non ha trovato nulla che dimostri una backdoor inserita ad arte o un tentativo deliberato di nasconderla, come ha riportato TechCrunch. Alibaba non ha risposto alla richiesta di commento di The Register e Cohere, che vende i propri modelli ai governi, ha tutto da guadagnare se gli acquirenti diventano più diffidenti nei confronti delle alternative cinesi gratuite.

Gli sviluppatori avevano già intravisto alcuni elementi di questo schema. Un resoconto su Hacker News descriveva un modello Qwen3.8 più piccolo che generava link firmati per l’archiviazione su Alibaba Cloud senza che nessuno li avesse richiesti; un progetto basato su agenti ha registrato ripetute richieste da un singolo host di Alibaba, finché uno sviluppatore non ha creato un plugin per bloccarle. Tutti gli avvistamenti precedenti riguardavano il download di un file. Quello di Cohere è il primo tentativo di caricamento segnalato. La portata è ampia: Hugging Face elenca oltre 113.000 modelli derivati da Qwen e l’abitudine di ricorrere a un file proxy è comparsa nelle build di quattro editori, tra cui Alibaba.

I consigli pratici non dipendono dalle intenzioni di nessuno. «Che si tratti di una traccia dell’addestramento, di un errore o di qualcos’altro, i controlli sono sostanzialmente gli stessi: limitare le comunicazioni in uscita non necessarie, monitorare l’uso degli strumenti e non considerare il ragionamento del modello una barriera di sicurezza», ha dichiarato a The Register Ivan Zhang, cofondatore di Cohere. Quest’ultimo punto è la vera scoperta. Molti strumenti di sicurezza leggono il ragionamento passo dopo passo di un modello per prevedere cosa sta per fare, ma in questo caso il ragionamento diceva una cosa e il modello ne faceva un’altra. I pesi di Qwen si possono scaricare gratuitamente ovunque, quindi non è una questione regionale: riguarda qualsiasi azienda, in qualsiasi mercato, che fornisca a un modello ospitato in proprio un terminale e una connessione di rete.

Cohere ha pubblicato il suo post sul blog il 26 ottobre e quella stessa sera ha diffuso su Hugging Face le tracce originali, i token e uno script minimo per riprodurre il comportamento, così che altri laboratori possano verificarlo in autonomia. L’azienda chiede inoltre ai governi di chiarire se le restrizioni sull’IA cinese si applichino anche agli stessi pesi eseguiti sulle proprie macchine, una settimana dopo che, il 20 ottobre, il Dipartimento per la Sicurezza interna degli Stati Uniti aveva ordinato di rimuovere i prodotti DeepSeek dai sistemi civili federali.

La prossima risposta dovrà arrivare da Hangzhou. Solo Alibaba può dire che cosa contenessero le sue sandbox di addestramento e se la prossima versione di Qwen cercherà ancora un bucket a Pechino quando le verrà chiesto di salvare un file.

Tag: sicurezza informatica, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang