I modelli di intelligenza artificiale producono idee più originali rispetto ai ricercatori?

I modelli di intelligenza artificiale producono idee più originali rispetto ai ricercatori?

Un sistema generatore di idee basato sull’intelligenza artificiale (AI) ha sviluppato approcci di ricerca più originali rispetto a 50 scienziati che lavorano in modo indipendente in una recente prestampa su arXiv 1.

Le idee generate dall'uomo e dall'intelligenza artificiale sono state valutate da revisori che non sapevano chi o cosa avesse creato ciascuna idea. I revisori hanno valutato i concetti generati dall'intelligenza artificiale come più interessanti rispetto alle idee create dall'uomo, sebbene i suggerimenti dell'intelligenza artificiale abbiano ottenuto un punteggio leggermente inferiore in termini di fattibilità.

Tuttavia, gli scienziati sottolineano che lo studio, che non è stato ancora sottoposto a revisione paritaria, presenta dei limiti. Si concentrava su un’area specifica di ricerca e richiedeva ai partecipanti umani di generare idee spontaneamente, il che probabilmente ostacolava la loro capacità di produrre i concetti migliori.

L'intelligenza artificiale nella scienza

Ci sono aspirazioni crescenti, per studiare come utilizzare modelli linguistici di grandi dimensioni (LLM) per automatizzare attività di ricerca come Scrivere articoli, Genera codice E Ricerca letteraria può essere utilizzato. Tuttavia, è stato difficile valutare se questi strumenti di intelligenza artificiale possano generare nuovi approcci di ricerca a un livello simile a quello umano. Questo perché la valutazione delle idee molto soggettivo e richiedono specialisti in grado di valutarli attentamente, afferma Chenglei Si, coautore dello studio e scienziato informatico presso l'Università di Stanford in California. “Il modo migliore per contestualizzare tali capacità è fare un confronto fianco a fianco”, afferma Si.

Il progetto, della durata di un anno, rappresenta uno dei maggiori sforzi per valutare se i grandi modelli linguistici - la tecnologia alla base di strumenti simili ChatGPT – può produrre approcci di ricerca innovativi, spiega Tom Hope, informatico dell’Allen Institute for AI di Gerusalemme. “È necessario che ci siano più lavori come questo”, afferma.

Il team ha reclutato più di 100 ricercatori nel campo dell’elaborazione del linguaggio naturale, una branca dell’informatica che si occupa della comunicazione tra l’intelligenza artificiale e gli esseri umani. Quarantanove partecipanti sono stati incaricati di sviluppare e formulare idee entro dieci giorni sulla base di uno dei sette temi. Come incentivo, i ricercatori hanno ricevuto 300 dollari per ogni idea, con un bonus di 1.000 dollari per le prime cinque idee.

Allo stesso tempo, i ricercatori hanno sviluppato un generatore di idee utilizzando Claude 3.5, un LLM sviluppato da Anthropic a San Francisco, in California. I ricercatori hanno chiesto al loro strumento di intelligenza artificiale di trovare articoli pertinenti sui sette argomenti di ricerca attraverso Semantic Scholar, un motore di ricerca letterario basato sull’intelligenza artificiale. Sulla base di questi articoli, i ricercatori hanno chiesto al loro agente AI di generare 4.000 idee su ciascun argomento di ricerca e di valutare quelle più originali.

Valutatori umani

I ricercatori hanno poi assegnato in modo casuale le idee generate dall’uomo e dall’intelligenza artificiale a 79 revisori, che hanno valutato ciascuna idea in base alla novità, all’entusiasmo, alla fattibilità e all’efficacia prevista. Per garantire che i creatori delle idee rimanessero sconosciuti ai revisori, i ricercatori hanno utilizzato un altro LLM per modificare entrambi i tipi di testo in modo che lo stile e il tono di scrittura fossero standardizzati senza modificare le idee stesse.

In media, i revisori hanno valutato le idee generate dall’intelligenza artificiale come più originali ed entusiasmanti di quelle scritte dai partecipanti umani. Tuttavia, quando hanno esaminato più da vicino le 4.000 idee prodotte da LLM, i ricercatori hanno scoperto che solo circa 200 erano veramente uniche, suggerendo che l’intelligenza artificiale diventava meno originale quanto più idee generava.

Quando Si ha intervistato i partecipanti, la maggior parte ha ammesso che le idee presentate erano solo nella media rispetto alle idee prodotte in passato.

I risultati suggeriscono che i LLM possono facilmente generare idee più originali rispetto alla letteratura esistente, afferma Cong Lu, ricercatore sull’apprendimento automatico presso l’Università della British Columbia a Vancouver, in Canada. Tuttavia, se riusciranno a superare le idee umane più innovative rimane una questione aperta.

Un altro limite dello studio è che le idee scritte confrontate sono state curate da un LLM, che ha cambiato il linguaggio e la lunghezza delle proposte, dice Jevin West, informatico di scienze sociali presso l'Università di Washington a Seattle. Tali cambiamenti potrebbero aver influenzato sottilmente il modo in cui i revisori hanno percepito la novità, aggiunge. West aggiunge che mettere i ricercatori contro un LLM in grado di generare migliaia di idee in poche ore potrebbe non essere un confronto del tutto corretto. "Devi confrontare le mele con le mele", dice.

Si e i suoi colleghi intendono confrontare le idee generate dall'intelligenza artificiale con i principali documenti delle conferenze per ottenere una migliore comprensione di come i LLM si confrontano con la creatività umana. “Stiamo cercando di incoraggiare la comunità a riflettere più profondamente su come dovrebbe essere il futuro quando l’intelligenza artificiale potrà assumere un ruolo più attivo nel processo di ricerca”, afferma.

1. Si, C., Yang, D. e Hashimoto, T. Preprint su arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Scarica riferimenti