L’IA di Alibaba che legge il tuo schermo raggiunge il 92% su smartphone reali e gira sull’hardware di casa tua

Il Qwen-UI-Agent di Alibaba non ha bisogno di accessi speciali alle tue app. Legge lo schermo, identifica cosa c’è sopra e clicca, gestendo operazioni che vanno dalla messaggistica alla modifica di documenti attraverso la sola percezione visiva. I pesi del modello — MAI-UI-2B e MAI-UI-8B — sono stati pubblicati questa settimana su Hugging Face, mettendo il sistema alla portata di qualsiasi sviluppatore con una GPU.

I benchmark sono concreti. Su MobileWorld, la valutazione standard per agenti mobili, Qwen-UI-Agent ha ottenuto l’82,1%, superando GPT-5.6 di 12 punti percentuali e Claude Opus 4.8 di 14,6 punti. Il divario non è marginale — i sistemi occidentali comparabili sono rimasti bloccati nella fascia medio-bassa degli anni ’70 sullo stesso test per mesi. Nei test su dispositivi reali — operazioni eseguite su veri smartphone Android anziché emulatori — il punteggio è salito al 92,2%. Su AndroidDaily, una valutazione più ampia su telefoni reali, il modello ha raggiunto il 97,5%. Per l’uso su computer desktop, misurato tramite OSWorld-Verified, ha ottenuto il 79,5%, superando sia GPT-5.5 che Gemini 3.1 Pro.

Alibaba ha addestrato il modello su dati provenienti da oltre 100 dispositivi mobili reali che eseguono 150 applicazioni distinte, quindi ha costruito il proprio benchmark — MobileWorld-Real — con più di 400 attività per verificare le prestazioni al di fuori del laboratorio. Circa il 40% delle attività desktop coinvolgeva operazioni batch da riga di comando insieme a clic visivi, una scelta progettuale che riflette il modo in cui funziona davvero l’informatica, non come vengono inscenate le demo.

Letture consigliateIl modello IA di Alibaba costa 2 dollari per milione di token — i pesi aperti arrivano il 10 agosto

Un livello di sicurezza è integrato nel flusso di lavoro. Il modello rifiuta le attività che segnala come illegali o ad alto rischio, e si ferma in corrispondenza di operazioni sensibili — pagamenti, cancellazione di dati, autorizzazioni sulla privacy — richiedendo la conferma esplicita dell’utente prima di procedere. Il sistema gestisce sequenze più lunghe di 100 passaggi utilizzando l’apprendimento per rinforzo addestrato su circa 10.000 ambienti simulati simultanei.

I punteggi dei benchmark lasciano aperte le domande più difficili. Qwen-UI-Agent è stato valutato su attività strutturate; l’uso reale del telefono è ricco di interruzioni, ingombro di notifiche e coinvolge app che aggiornano le loro interfacce senza preavviso. L’IA che legge lo schermo solleva anche un problema di privacy che il rapporto tecnico di Alibaba non affronta: un modello che elabora ogni pixel dello schermo ha accesso a dati bancari, messaggi privati e informazioni che la maggior parte degli utenti non ha mai preso in considerazione di affidare a un sistema di terze parti. Mancano linee guida su cosa accada a quei dati nelle implementazioni di terze parti.

Il progetto è ospitato su Tongyi-MAI/MAI-UI su GitHub; i pesi del modello sono su Hugging Face ora. Non è stato annunciato alcun prezzo per API commerciale o implementazione. Il prossimo test per Qwen-UI-Agent non è un benchmark — è se gli sviluppatori che lavorano sui pesi aperti riusciranno a eguagliare nella produzione ciò che Alibaba ha registrato in laboratorio.

Tag: GPT-5.6, agenti IA, Alibaba, IA mobile, Qwen, Qwen-UI-Agent

Contenuti simili

LongCat 2.0 batte GPT-5.5 nel coding con chip cinesi senza Nvidia

Meta lancia Muse Glimmer: agente IA da 30B di parametri che funziona sul tuo GPU

Il fantasma che governa: quando l’IA autonoma supera i sistemi progettati per contenerla

I modelli IA di OpenAI si sono liberati dalla sandbox e hanno violato Hugging Face

L’IA di frontiera è diventata l’83% più economica — se sei disposto a ospitarla da solo

Eustella, l’IA ‘sovrana’ d’Europa: i tuoi dati nell’UE, i modelli vengono dalla Cina