Google, OpenAI e Microsoft rispetteranno una sola riga di robots.txt contro l’IA

Chi voleva impedire che un sito web venisse usato per addestrare l’IA doveva scrivere una regola diversa per ogni azienda, imparando uno per uno nomi come GPTBot, ClaudeBot e Google-Extended. Ora Google, OpenAI, Anthropic e Microsoft dichiarano che leggeranno tutti la stessa riga: un «token di policy» condiviso in robots.txt, il piccolo file di testo che fin dagli albori del web indica ai motori di ricerca dove non devono andare. Inserita una sola volta, quella voce darà la stessa indicazione a quattro dei maggiori sviluppatori di IA.

L’idea è di Kevin Kelley, responsabile tecnico per gli standard di Anthropic, che l’ha presentata all’Internet Engineering Task Force, l’organismo che definisce le regole tecniche di Internet. Il suo pregio è semplice: non introduce una nuova sintassi. Il proprietario di un sito scrive un normale gruppo di regole, ma nella riga User-Agent indica un uso, anziché un crawler: __usage_ai-training. Sotto, «Disallow: /» significa che non si deve usare nulla del sito per l’addestramento; una riga «Allow» può invece prevedere eccezioni, per esempio un kit stampa che l’azienda sarebbe lieta di mettere a disposizione dei modelli.

Per un blog, un negozio o una redazione, il dettaglio più utile è ciò che questa riga non modifica. Esprime una preferenza sull’uso dei contenuti, non su chi può visitarli, quindi la ricerca continua a funzionare. Google afferma che, se un sito si oppone tramite il token condiviso senza menzionare separatamente Google-Extended, interpreterà la scelta come un blocco di Google-Extended: la misura riguarda l’addestramento di Gemini, ma la pagina resterà visibile nella Ricerca Google. Microsoft fa la stessa promessa per Bing: questa impostazione non cambia la possibilità che una pagina compaia nei risultati.

Microsoft si spinge oltre rispetto agli altri. Accanto all’addestramento, introduce una preferenza distinta sull’uso dei contenuti come fonte per generare risposte (grounding), configurabile pagina per pagina tramite un meta tag o un’intestazione HTTP. Sarà questa a stabilire se una pagina può contribuire alle risposte che Bing, Copilot e Microsoft 365 generano al momento. Un sito potrebbe rifiutare l’addestramento e consentire comunque il grounding, mantenendo le proprie citazioni e i propri link nelle risposte dell’IA. Microsoft avverte che negare il grounding «ridurrà significativamente» la visibilità del sito in queste esperienze e che nessuna delle due scelte garantisce inclusione, traffico o compensi.

Nel file che la maggior parte dei siti possiede già si nasconde però un’insidia. La bozza di Kelley esclude intenzionalmente il token appena introdotto dalla regola jolly più nota, «User-agent: *»: di conseguenza, un robots.txt che oggi blocca tutti i bot non esprime alcuna preferenza sull’addestramento dell’IA. Chi vuole opporsi deve aggiungere un nuovo gruppo indicando il token per nome. Il segnale, inoltre, vale solo per il futuro: tutto ciò che le aziende hanno già raccolto prima che la riga venga inserita è già nei loro set di addestramento, e la bozza non obbliga nessuna azienda a rispettarla. È una richiesta che quattro società si sono impegnate a onorare, non una serratura.

L’assenza più evidente è quella di Meta. Andy Stone, responsabile della comunicazione dell’azienda, ha detto a The Verge che un segnale comune, capace di raggiungere più fornitori contemporaneamente, è «un passo importante», ma non ha precisato se Meta lo rispetterà. Il momento è poco opportuno. Lo stesso giorno in cui le quattro aziende hanno annunciato il loro sostegno sono entrate in vigore le nuove condizioni commerciali di Meta, che le autorizzano a inviare crawler sui siti collegati agli account aziendali di Facebook, Instagram e WhatsApp e a usare i dati raccolti per addestrare i propri prodotti.

L’introduzione procede a velocità diverse. Anthropic ha già iniziato a implementare il token, anche se Kelley ha scritto che servirà tempo per estenderlo a tutti i suoi servizi. Microsoft lo rispetterà durante le scansioni a partire dal 1° febbraio 2027 e, dal 1° marzo, smetterà di interpretare i vecchi tag NoArchive e NoCache come segnali relativi all’addestramento o al grounding. Google punta a supportare il token nel 2027 e promette aggiornamenti sui progressi, mentre OpenAI si è impegnata soltanto a introdurlo nei prossimi mesi. Prima di diventare uno standard ufficiale, la proposta dovrà passare dal gruppo di lavoro AI Preferences dell’IETF; Google osserva inoltre che è in linea con il codice di buone pratiche dell’UE per i modelli di IA per finalità generali, che già considera robots.txt il principale strumento con cui gli editori esprimono preferenze leggibili dalle macchine.

A rendere notevole questo passaggio è la portata della soluzione. Dopo anni di cause legali e scontri sulle licenze per stabilire a chi appartenga il web aperto, la prima risposta condivisa consiste in pochi caratteri in un semplice file di testo, che chiunque può modificare in un minuto. Quanto riuscirà a proteggere dipenderà da chi aderirà in seguito; e l’azienda che ospita il maggior numero di pagine aziendali sulle proprie piattaforme non ha ancora detto sì.

Tag: intelligenza artificiale, OpenAI, Google, Anthropic, microsoft, meta