Articolo pubblicato su Pnas: l’InsIDE Lab dell’Università dell’Insubria studia il ruolo dell’intelligenza artificiale nella verifica della ricerca scientifica

Un nuovo studio internazionale pubblicato su Pnas (Proceedings of the National Academy of Sciences), una delle riviste scientifiche più autorevoli al mondo, analizza il potenziale dell’intelligenza artificiale nel supportare la verifica della riproducibilità della ricerca nelle scienze sociali quantitative.

Lo studio, intitolato «AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science» è stato realizzato dall’Institute for Replication (I4R), un network internazionale dedicato alla verifica e alla solidità della ricerca scientifica. 

Link all'articolo: https://www.pnas.org/doi/10.1073/pnas.2524747123

Tra gli autori del lavoro figura anche Raffaello Seri, professore ordinario del Dipartimento di Economia dell’Università dell’Insubria, direttore dell’InsIDE Lab e coordinatore del Progetto Dipartimento di Eccellenza 2023-2027.

La ricerca ha coinvolto 288 ricercatori organizzati in 103 team sperimentali: 33 gruppi composti esclusivamente da ricercatori umani, 35 team supportati da strumenti di intelligenza artificiale e 35 gruppi in cui l’AI operava con un ruolo predominante e un intervento umano minimo.

L’obiettivo dello studio era valutare se strumenti di AI generativa, come ChatGPT, possano contribuire in modo efficace alla verifica della riproducibilità degli studi scientifici quantitativi nelle scienze sociali, un processo considerato fondamentale per garantire l’affidabilità della ricerca ma tradizionalmente molto costoso e dispendioso in termini di tempo e risorse.

I risultati mostrano che i team supportati dall’intelligenza artificiale e quelli composti esclusivamente da ricercatori umani hanno ottenuto performance simili nella maggior parte delle attività analitiche, tra cui dei tassi di riproduzione superiori al 90%. Tuttavia, i ricercatori umani si sono dimostrati più efficaci nell’individuare errori critici durante il processo di verifica scientifica.

Lo studio evidenzia inoltre che i team che hanno usato prevalentemente sistemi di AI hanno invece raggiunto un tasso di riproduzione ben inferiore, del 37%, suggerendo al limite un possibile utilizzo futuro dell’intelligenza artificiale come strumento preliminare di screening automatico, soprattutto nei contesti in cui una revisione umana completa sarebbe troppo onerosa.

Secondo gli autori, i risultati indicano che l’intelligenza artificiale può rappresentare un supporto promettente per i processi di validazione scientifica, pur confermando il ruolo centrale dell’esperienza e del giudizio umano nella verifica affidabile dei risultati della ricerca.

Il lavoro si inserisce nel crescente filone internazionale di studi dedicati all’impatto dell’intelligenza artificiale sui processi di produzione, verifica e diffusione della conoscenza scientifica.