Tecnologia

L’IA scrive il codice. Chi la usa lavora il 19% più lentamente

Susan Hill

Agenti software come Devin, Claude Code e GitHub Copilot Workspace ora prendono una descrizione del compito, leggono un codebase, scrivono codice che lo affronta, eseguono test finché questi non passano, e aprono una pull request — senza che uno sviluppatore digiti una singola riga. Devin, costruito da Cognition AI, opera all’interno di ambienti cloud isolati. Tra la sua base di utenti in produzione, il 67% delle pull request che apre in autonomia viene integrato. Claude Code legge un intero repository, pianifica modifiche su più file, esegue la suite di test e itera senza istruzioni tra un passaggio e l’altro. Questi strumenti sono in uso in produzione, non in anteprime di ricerca.

Ciò che li distingue dagli strumenti di generazione di codice precedenti è il ciclo di feedback. Un motore di suggerimenti genera testo e si ferma; un agente autonomo genera codice, lo esegue, legge il risultato e riprova. L’impalcatura sottostante è la stessa per tutti gli strumenti: un grande modello linguistico legge il contesto — codebase, descrizione del problema, log di errore — genera un piano, lo esegue attraverso strumenti come comandi shell, modifiche a file e operazioni git, legge il risultato e rivede. Il ciclo continua finché l’agente non riesce o esaurisce il suo budget di risorse.

Il ciclo che ha sostituito l’editor

Il range di autonomia tra gli strumenti disponibili copre tre livelli. All’estremità assistita, GitHub Copilot suggerisce le prossime righe mentre lo sviluppatore digita. Un livello sopra, editor multi-file come Cursor riscrivono l’intero codebase su indicazione dello sviluppatore, apportando le modifiche specificate. All’estremità autonoma, Devin e sistemi comparabili operano in modo indipendente per periodi prolungati, prendendo decisioni sequenziali su cosa leggere, cosa modificare e cosa testare, emergendo solo per approvazioni che il sistema non può gestire da solo.

Il framework di valutazione che misura i progressi di questi strumenti è SWE-bench, creato da ricercatori di Princeton e Stanford. Testa gli agenti su bug report reali da repository Python open source — Django, Flask, scikit-learn — e misura la percentuale di bug che un agente riesce a chiudere correttamente. Il punteggio più alto attualmente pubblicato sul sottoinsieme Verified, il 96%, appartiene a Claude Opus 5. Quel numero rappresenta una capacità genuina: la capacità di diagnosticare un vero bug software, scrivere una correzione e verificare che superi i test del progetto stesso.

Cosa nasconde il benchmark

Il punteggio del 96% arriva con un importante asterisco. SWE-bench Verified attinge a 500 compiti attentamente selezionati. Quando i ricercatori hanno applicato una variante resistente alla contaminazione — SWE-bench Pro, progettata utilizzando problemi che non potevano apparire nei dati di addestramento di alcun modello — un modello precedente che aveva ottenuto oltre l’80% su Verified è sceso sotto il 50% su Pro. Parte delle prestazioni del benchmark riflette la familiarità con il set di valutazione, non una capacità generalizzata di problem solving. Il divario è una nota sfida di ricerca, non una critica a uno strumento specifico.

Uno studio separato ha trovato qualcosa di più difficile da spiegare. METR, un’organizzazione di ricerca sulla sicurezza dell’IA, ha condotto uno studio controllato randomizzato con sviluppatori open-source esperti che lavoravano sui propri repository. Gli sviluppatori che utilizzavano gli attuali strumenti di codifica AI erano il 19% più lenti rispetto a quelli che lavoravano senza di essi — nonostante stimassero indipendentemente di essere il 20% più veloci. Le cause erano specifiche: tempo speso a ripetere il prompt quando l’agente produceva risultati errati, tempo speso a verificare gli output prima di integrarli, e il sovraccarico cognitivo di passare dal dirigere un agente al seguire ciò che l’agente aveva fatto. Un benchmark testa se un agente può chiudere un bug ben specificato in isolamento. Uno studio randomizzato testa se uno sviluppatore lavora più velocemente durante una giornata reale. Stanno misurando cose diverse.

Perché un’adozione al 93% ha prodotto solo un aumento di throughput del 10%

L’autonomia del codice funziona meglio su compiti ben delimitati e ben specificati: un bug riproducibile con input e output chiari, una funzione con una specifica precisa, una suite di test per un modulo con comportamento definito. Man mano che l’ambito si espande a compiti che richiedono conoscenze architetturali implicite, convenzioni di team non documentate, o decisioni sulla direzione del prodotto, l’affidabilità diminuisce — non perché i modelli manchino di capacità, ma perché il contesto di cui quelle decisioni hanno bisogno non entra nel sistema e non può essere derivato solo dai file del codebase.

Il cambiamento pratico riguarda ciò che il lavoro richiede. Gli sviluppatori che lavorano con agenti autonomi passano più tempo a scrivere specifiche abbastanza precise da essere eseguite da un agente: descrizioni dettagliate dei problemi, contratti di test chiari, criteri di accettazione espliciti. Passano più tempo a revisionare codice che non hanno scritto, il che richiede un tipo di attenzione diversa rispetto allo scrivere codice — cercare errori logici, lacune di sicurezza e derive architetturali che l’agente non segnalerà da solo. Un sondaggio del 2026 su 121.000 sviluppatori ha rilevato che il 93% utilizza regolarmente strumenti di codifica AI; il throughput delle pull request è aumentato di circa il 10% nello stesso gruppo. Il collo di bottiglia si è spostato dallo scrivere codice al revisionarlo.

La prossima fase in fase di sviluppo attivo sono agenti che gestiscono le proprie code di attività: ricevono una specifica di progetto, la suddividono in sotto-attività, delegano tra modelli specializzati, ed emergono solo per le decisioni che richiedono giudizio umano. Diversi framework open-source per l’orchestrazione di codifica multi-agente sono stati rilasciati nel 2026. L’adozione aziendale in ambienti di produzione rimane limitata. Gartner prevede che una quota significativa dei progetti software agentici avviati quest’anno verrà interrotta entro il 2028, una volta che i team scopriranno la distanza tra ciò che una demo controllata mostra e ciò che richiede un’implementazione affidabile su larga scala.

Tag: , , , ,

Discussione

Ci sono 0 commenti.