La startup statunitense Cognition ha presentato Devin, uno strumento alimentato da intelligenza artificiale che l’azienda afferma essere “il primo ingegnere software autonomo al mondo alimentato da AI.”
Devin è progettato per risolvere compiti di ingegneria in modo indipendente, utilizzando la sua propria shell, editor di codice e browser web.
Secondo le dimostrazioni fornite da Cognition, Devin può utilizzare il suo browser web per accedere e apprendere dalla documentazione delle API, che gli permette di interfacciarsi con varie API.
Quando l’agente IA incontra un errore, aggiunge automaticamente una stampa di debug al codice principale all’interno della sua interfaccia dell’editor di codice e riesegue il codice.
Cognition ha dimostrato le capacitĂ di Devin nel costruire e distribuire app, identificare e correggiare i bug nei codebase, e persino nel perfezionamento dei modelli di IA.
Per valutare l’accuratezza di Devin, Cognition ha testato l’agente IA su SWE-bench, una piattaforma di benchmarking che sfida gli agenti a risolvere problemi del mondo reale trovati in progetti open-source su GitHub.
Devin ha risolto con successo il 13,86% dei problemi in modo completo, superando le prestazioni di GPT4 (1,74%) e il punteggio precedente migliore detenuto da Claude 2 di Anthropic (4,80%).
Significativamente, Devin ha raggiunto ciò senza assistenza nella localizzazione dei file rilevanti all’interno del repository.
Mentre Microsoft offre strumenti di sviluppo assistiti da IA come GitHub Copilot, che fornisce completamento del codice e funzionalità di assistenza per i programmatori, non può completare codici in modo completo senza interferenze o assistenza umana.
In contrasto, Devin è in grado di completare autonomamente compiti di programmazione.
Oggi siamo entusiasti di presentare Devin, il primo ingegnere software IA.
Devin è il nuovo stato dell’arte nel benchmark di codifica SWE-Bench, ha superato con successo colloqui di lavoro pratici presso le principali aziende di intelligenza artificiale, e ha persino completato lavori reali su Upwork.
Devin è… pic.twitter.com/ladBicxEat
— Cognition (@cognition_labs) 12 marzo 2024
Cognition sta attualmente offrendo accesso anticipato a Devin per le aziende che desiderano utilizzare l’agente IA per lavoro di ingegneria. I clienti interessati possono richiedere l’accesso anticipato tramite il sito web dell’azienda.
Con le sue prestazioni impressionanti sulla piattaforma SWE-bench e la sua capacitĂ di operare in modo indipendente, Devin rappresenta un passo significativo avanti nello sviluppo di soluzioni di ingegneria software alimentate da intelligenza artificiale.
