IA

Anthropic attiva le sue regole contro l’IA che migliora sé stessa

Adrian Kessler
Aggiungici su Google

Anthropic ha concluso ufficialmente che l’intelligenza artificiale sta ormai accelerando la propria ricerca abbastanza da oltrepassare una soglia che l’azienda stessa si era imposta. Nel prospetto IPO aggiornato, la società che ha creato Claude afferma di aver raggiunto la soglia di capacità di ricerca e sviluppo dell’IA prevista dalla sua Responsible Scaling Policy, il regolamento interno che stabilisce il livello di sicurezza e supervisione necessario per i suoi modelli. La policy descrive questa soglia come l’inizio dell’auto-miglioramento ricorsivo: il momento in cui i sistemi di IA cominciano ad accelerare il lavoro necessario per costruire un’IA migliore.

La particolarità di questa valutazione sta in ciò su cui non si basa. Anthropic scrive di essere arrivata a questa conclusione «sulla base di ciò che ci aspettiamo dai modelli futuri e del nostro ritmo complessivo di progresso, piuttosto che di quanto abbiamo osservato nei modelli attuali». Non è stato dimostrato che alcun modello Claude in commercio abbia superato la soglia. L’azienda sta agendo sulla base delle proprie previsioni e lo comunica agli investitori prima che le sue azioni inizino a essere scambiate.

Le prove citate sono interne. Il prospetto afferma che, in un mese recente, Claude ha scritto oltre il 90% dei contributi alla base di codice di Anthropic e che il volume di codice prodotto ogni giorno da ciascun ingegnere è cresciuto di oltre 45 volte. Anthropic aggiunge che i suoi modelli «scrivono una quota ampia e crescente del nostro codice e svolgono sempre più attività di ricerca, compresa quella sulla sicurezza».

La policy prevede due modi per superare questa soglia. Il primo è un modello in grado di sostituire completamente l’intero gruppo di ricercatori e ingegneri di Anthropic, a un costo competitivo. Il secondo è una «drastica accelerazione» del progresso dell’IA, definita dalla policy come l’equivalente di circa due anni di progressi concentrati in uno, plausibilmente grazie alla ricerca automatizzata. Poiché per soddisfare questo secondo criterio basta che l’azienda possa «osservare o prevedere» un simile salto, è sufficiente una previsione per far scattare la soglia.

Il superamento della soglia impegna Anthropic ad adottare un insieme più rigoroso di misure di sicurezza. La policy prevede progetti di sicurezza «ambiziosi» contro gli aggressori meglio finanziati al mondo e una condizione in cui «tutto è sotto osservazione»: ogni attività critica nello sviluppo dell’IA deve essere registrata e analizzata dall’IA alla ricerca di minacce, anche interne, provenienti da persone o macchine. Il red team interno deve inoltre individuare più jailbreak di tutti i ricercatori esterni dei suoi programmi bug bounty messi insieme. Il prospetto afferma che l’azienda ha già rinviato di oltre un mese il pre-addestramento di un nuovo modello di frontiera per rafforzare le protezioni contro il furto dei pesi del modello e che sta valutando regole che richiedano l’approvazione di una persona per alcune decisioni di ricerca, man mano che Claude si occupa di una quota crescente di questo lavoro.

Per chi usa Claude al lavoro o Claude Code, l’effetto concreto potrebbe essere un rallentamento delle nuove uscite. La lettera dei fondatori pubblicata insieme ai materiali per l’IPO afferma che potrebbero esserci momenti in cui Anthropic sceglierà «di procedere più lentamente di quanto potremmo, per rendere i nostri sistemi più sicuri, anche se questo ci mette in una posizione di svantaggio competitivo». Per il momento, le app non cambiano.

La valutazione è un’autovalutazione condotta nell’ambito di una policy volontaria, redatta e modificabile da Anthropic, e nessun revisore esterno l’ha confermata. La stessa policy ammette che la soglia «si è rivelata difficile da tradurre in criteri operativi», mentre il documento riconosce che gran parte delle prove si basa su indicatori ritardati: una vera accelerazione potrebbe quindi essere individuata solo dopo che si è verificata. Inoltre, le comunicazioni sui rischi contenute in un prospetto sono formulate anche per tutelare un’azienda da eventuali cause future e, come ha riferito Gizmodo, una versione precedente dello stesso documento diceva soltanto che Anthropic «potrebbe soddisfare a breve» i criteri.

Anthropic afferma di stare ancora valutando i dati alla base della decisione e che pubblicherà ulteriori rapporti su cosa comporti il raggiungimento della soglia. Il prezzo delle azioni dovrebbe essere fissato il 18 novembre e le contrattazioni dovrebbero iniziare sul Nasdaq il 19 novembre, con il simbolo ANT e una fascia di prezzo proposta tra 70 e 78 dollari per azione. Per ora, l’unica prova che la soglia sia stata superata è la previsione della stessa Anthropic.

Tag: , , , , ,

Aggiungici su Google

Discussione

Ci sono 0 commenti.