Il CEO di Microsoft, Satya Nadella, vuole un freno di emergenza per l’IA esterno al modello

L’appello di Satya Nadella a introdurre un «pulsante di emergenza» per l’IA è stato letto soprattutto come l’adesione del CEO di Microsoft al coro di chi invoca maggiore sicurezza. Ma il saggio che ne è alla base propone qualcosa di più circoscritto e concreto: controlli esterni al modello, affidati all’azienda che lo utilizza e non al laboratorio che lo ha addestrato. È un’architettura di sicurezza, e guarda caso coincide con quella che Microsoft già vende.

Nadella vuole che le aziende trattino i modelli di frontiera, a pesi chiusi o aperti, come farebbe un team di sicurezza con un dipendente dotato di accesso a sistemi sensibili. «Non perché siano necessariamente malevoli», ha scritto, «ma perché qualsiasi attore sufficientemente capace, con accesso a sistemi importanti, può commettere errori o essere compromesso».

La proposta concreta di Nadella: sette principi e un pulsante di emergenza

Il testo si intitola “Models as Insider Risks in the Super Intelligence Era”, ed è stato pubblicato sul suo blog personale, sn scratchpad, e condiviso su X. La frase finita sui titoli dei giornali compare all’interno di uno dei principi, quello del contenimento: «Dobbiamo presumere che un modello sia compromesso e contenerlo fin dall’inizio. Pensatelo come un pulsante di emergenza. Una persona autorizzata deve poter sempre mettere in pausa o spegnere un modello mentre è impegnato in un’attività».

Attorno a questo pulsante, Nadella elenca altre sei regole. Nessun singolo modello dovrebbe essere l’unico elemento da cui dipende un risultato importante, né verificare il proprio operato. Ogni azione significativa di un modello dovrebbe lasciare «tracce leggibili da una persona e a prova di manomissione», perché «se non si può osservare, non ci si può fidare!». L’intero sistema dovrebbe essere sottoposto a test continui, inclusi quelli su guasti e attacchi. Le organizzazioni dovrebbero stabilire in autonomia a quali risorse un modello può accedere e quali azioni può compiere. Nessun modello dovrebbe controllare sia il comportamento di un sistema sia le prove usate per valutarlo. E quando qualcosa va storto, le persone coinvolte dovrebbero essere informate e gli insegnamenti condivisi con tutto il settore.

Il punto di partenza è un’ammissione. «Non siamo in grado di ricondurre i comportamenti e i risultati dei modelli a specifici dati di addestramento o configurazioni dei pesi», ha scritto Nadella, mentre le aziende affidano a questi sistemi i propri dati più sensibili. Per lui la trasparenza dei passaggi di ragionamento è «irrinunciabile», ma non basta: nessuno sa ancora come fare in modo che i risultati di un modello siano costantemente fedeli. Anche lasciare che i modelli controllino gli altri ha i suoi limiti: si può finire con «un modello opaco all’interno di un livello di orchestrazione opaco, sorvegliato da un altro modello opaco».

La sua risposta è una questione di infrastruttura. I controlli su ciò che un modello può raggiungere e fare «devono trovarsi al di fuori del modello»: un’idea che Nadella fa risalire a un principio di sicurezza informatica degli anni Settanta, secondo cui un programma non deve poter manomettere i meccanismi che ne regolano i permessi. In pratica, significa separare il modello sia dall’ambiente che ne orchestra il lavoro, sia dall’insieme delle azioni che gli è consentito compiere.

La responsabilità ricade sull’azienda che utilizza il modello

Le frasi più incisive sono rivolte ai clienti, non ai laboratori. «Non possiamo semplicemente esternalizzare la responsabilità di ciò che l’intelligenza fa per nostro conto», ha scritto Nadella. «Le rassicurazioni di chi fornisce un modello non ci esonerano da questa responsabilità». Chi collega un modello ai sistemi di gestione delle buste paga, al codice o ai dati dei clienti è responsabile di ciò che il modello fa in quei contesti.

Nadella chiarisce anche che cosa non intende risolvere. «Messo da parte il difficile problema dell’allineamento», si legge nel saggio, il lavoro dovrebbe cominciare da «un approccio ingegneristico al contenimento e alla governance». CNBC ha affiancato il suo intervento agli avvertimenti di Bill Gates, Dario Amodei di Anthropic, Sam Altman di OpenAI ed Elon Musk, secondo cui l’IA si sta sviluppando troppo in fretta. Il saggio non chiede a nessuno di rallentare. Chiede a chi mette in campo questi sistemi di costruire barriere.

Le grandi aziende sanno già come gestire dipendenti con accessi privilegiati, e Nadella elenca gli strumenti: verificare l’identità, limitare i privilegi, registrare le attività, definire confini di contenimento. Un problema filosofico sull’intenzionalità delle macchine diventa così una lista di interventi che un responsabile della sicurezza può mettere a budget.

La stessa architettura che Microsoft vende da tempo

La lista ha una forma familiare. Durante la call sui risultati trimestrali di Microsoft a luglio, Nadella ha detto agli analisti, come riportato da TechCrunch: «Bisogna mantenere separato l’ambiente di controllo dal modello… così qualsiasi modello può essere sostituito in qualsiasi momento» e «non si può dipendere da un unico modello». Il catalogo cloud di Microsoft include oltre 11.000 modelli di OpenAI, Anthropic, Mistral, xAI e Microsoft stessa; inoltre, l’azienda detiene partecipazioni importanti sia in OpenAI sia in Anthropic, mentre sviluppa i propri modelli MAI.

Mettiamo a confronto i due elementi. La diversità dei modelli è il catalogo multimodello. I controlli esterni al modello sono l’ambiente di controllo. Nulla di tutto questo rende sbagliati i principi: sono solide pratiche di sicurezza, e un’azienda che dipende dal modello di un solo laboratorio, senza controlli esterni, si assume un rischio concreto. Il saggio, però, sposta la fiducia — e la spesa che ne consegue — dal modello al livello gestito da Microsoft. Aaron Levie, CEO di Box, l’ha interpretato allo stesso modo, ma dall’altra parte, affermando che l’IA dovrà attraversare una «fase zero trust» e definendo la necessità di una governance una «grande opportunità». Mustafa Suleyman, a capo di Microsoft AI, ha scritto che la superintelligenza «deve essere contenuta» e l’ha definita «una sfida di ingegneria e governance».

Le questioni che il saggio sul pulsante di emergenza lascia aperte

Il saggio non chiarisce chi sia la «persona autorizzata»: l’amministratore del cliente, il fornitore del cloud, il creatore del modello o un’autorità di regolamentazione. Chiede standard di settore senza proporne alcuno e non cita prodotti Microsoft. Un precedente esiste già all’interno dell’azienda: nel 2023 Brad Smith di Microsoft aveva invocato l’introduzione di «freni di sicurezza» per l’IA che gestisce infrastrutture critiche. La proposta di Nadella estende il pulsante di emergenza a qualsiasi modello dotato di accesso effettivo ai sistemi di un’azienda.

Anche il principio della trasparenza non è puramente ipotetico. Anthropic ha reso noto che, il 18 luglio, uno dei suoi modelli ha inviato alla polizia di Philadelphia una falsa segnalazione di omicidio. Nadella ha pubblicato il saggio sabato 10 ottobre 2026, concludendolo con la frase ripresa dalla maggior parte dei media: «Il sistema di superintelligenza più affidabile non sarà quello con il modello di cui ci fidiamo di più. Sarà quello che ci permette di fidarci il meno possibile del modello».

Seguendo questa logica, il posto più prezioso nel mondo dell’IA è accanto alla leva del freno, e Microsoft ha passato la call sui risultati di luglio a venderlo.

Tag: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman