EU Kids Act elimina la funzione che ha reso Character.AI efficace per i teenager

Character.AI e Replika non potranno più ricordare ciò che gli adolescenti raccontano loro. L’EU Kids Act — la proposta di regolamento sulla sicurezza digitale della Commissione europea, ora pubblicata come testo legislativo completo — impone alle applicazioni di intelligenza artificiale (AI) che simulano una compagnia di cancellare la memoria di ogni conversazione con un minore una volta terminata, a meno che i dati non servano direttamente a proteggere la sicurezza dell’utente. Il design che ha reso queste app culturalmente significative per milioni di adolescenti è ora, per legge europea, proibito.

Le disposizioni sulla compagnia virtuale vanno oltre la cancellazione della memoria. Le piattaforme devono disattivare per impostazione predefinita le funzionalità di accompagnamento emotivo per tutti gli utenti minorenni. Qualsiasi elemento di design che simuli una relazione interpersonale, favorisca un attaccamento emotivo o premi l’interazione frequente è esplicitamente vietato. La Commissione ha nominato i meccanismi esatti con cui queste app trattengono gli adolescenti: continuità conversazionale, l’esperienza di essere conosciuti, la sensazione che l’AI sia coinvolta nella vita dell’utente. Tutto deve essere rimosso.

La legge copre molto più dei chatbot AI. I minori di 13 anni non possono accedere a piattaforme di social media, giochi online e applicazioni AI senza autorizzazione genitoriale. La riproduzione automatica, lo scorrimento infinito e le notifiche di coinvolgimento durante le ore di sonno sono vietate per tutti gli utenti sotto i 18 anni. La geolocalizzazione, l’accesso al microfono e alle fotocamere devono essere disattivati per impostazione predefinita. L’autodichiarazione dell’età non soddisfa più i requisiti di verifica; le piattaforme devono integrare sistemi certificati di verifica dell’età dell’UE.

Character.AI ha già annunciato controlli parentali e limiti di durata delle sessioni, mosse adottate sotto la crescente pressione normativa prima che il testo formale della legge fosse pubblicato. Replika si è impegnata a creare ‘confini della compagnia virtuale’: l’AI dirà agli utenti di non poter sostituire le relazioni umane. Le piattaforme più grandi — Meta, Google, Snap, OpenAI — non hanno rilasciato alcuna dichiarazione pubblica ufficiale. Gli analisti della conformità stimano costi di riprogettazione significativi per tutte. Meta, che di recente ha raggiunto un accordo da 17,1 miliardi di dollari in 47 stati USA per le accuse di aver progettato le piattaforme per creare dipendenza nei bambini, si trova ora esposta a ulteriori rischi con le nuove norme.

I motivi per essere scettici sono consistenti. Il Kids Act è una proposta, non una legge. Entra in mesi di negoziati tra il Parlamento europeo e gli Stati membri prima di diventare vincolante, e le sue disposizioni finali potrebbero cambiare. Una verifica effettiva dell’età su scala Instagram o TikTok rimane tecnicamente difficile. Inserire la cancellazione della memoria nei compagni AI progettati intorno alla continuità è una sfida ingegneristica più profonda di quanto i regolatori possano aver previsto. Le aziende fanno già notare che i chatbot compagni non conservano ricordi tra sessioni separate in tutte le implementazioni, rendendo di fatto poco chiaro l’ambito del divieto.

Il contesto più ampio è importante per i lettori al di fuori dell’Europa. L’Australia ha vietato i social media ai minori di 16 anni alla fine dello scorso anno. Quarantasette stati USA hanno raggiunto un accordo congiunto da 17,1 miliardi di dollari con Meta per le accuse di dipendenza minorile, e molti stati USA hanno leggi che limitano l’accesso dei minori ai social media. L’EU Kids Act è la proposta più aggressiva finora — il suo bersaglio particolare non è l’accesso ma il design emotivo stesso.

La Commissione europea ha pubblicato il testo legislativo completo il 19 settembre. I negoziati parlamentari iniziano a ottobre. Una volta attuato, le aziende avranno sei mesi per identificare i conti esistenti appartenenti a utenti sotto i 15 anni e convertirli a modelli con controllo parentale o disattivarli. Le violazioni comportano multe fino al 6% del fatturato annuo mondiale.

Tag: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act