Modelele AI produc idei mai originale decât cercetătorii?

Modelele AI produc idei mai originale decât cercetătorii?

Un sistem generator de idei alimentat de inteligență artificială (AI) a dezvoltat abordări de cercetare mai originale decât 50 de oameni de știință care lucrează independent într-o preprint recentă pe arXiv 1.

Ideile generate de oameni și AI au fost evaluate de recenzenți care nu știau cine sau ce a creat fiecare idee. Evaluatorii au evaluat conceptele generate de AI ca fiind mai interesante în comparație cu ideile create de oameni, deși sugestiile AI au obținut un scor ușor mai mic în ceea ce privește fezabilitatea.

Cu toate acestea, oamenii de știință subliniază că studiul, care nu a fost încă revizuit de colegi, are limitări. S-a concentrat pe un domeniu specific de cercetare și a cerut participanților umani să genereze idei în mod spontan, ceea ce probabil le-a împiedicat capacitatea de a produce cele mai bune concepte.

Inteligența artificială în știință

Sunt aspirații în creștere, pentru a investiga modul în care modelele de limbaj mari (LLM) pot fi utilizate pentru a automatiza sarcini de cercetare, cum ar fi Scrierea articolelor, Generați cod şi Cercetarea literaturii poate fi folosit. Cu toate acestea, a fost dificil de evaluat dacă aceste instrumente AI pot genera noi abordări de cercetare la un nivel similar cu oamenii. Acest lucru se datorează faptului că evaluarea ideilor foarte subiectiv și necesită specialiști care sunt capabili să le evalueze cu atenție, spune Chenglei Si, coautor al studiului și informatician la Universitatea Stanford din California. „Cel mai bun mod de a contextualiza astfel de capacități este de a face o comparație una lângă alta”, spune Si.

Proiectul de un an este unul dintre cele mai mari eforturi de a evalua dacă modelele mari de limbaj - tehnologia din spatele instrumentelor precum ChatGPT – poate produce abordări inovatoare de cercetare, explică Tom Hope, informatician la Institutul Allen pentru IA din Ierusalim. „Trebuie să fie mai multă muncă ca aceasta”, spune el.

Echipa a recrutat peste 100 de cercetători în domeniul prelucrării limbajului natural, o ramură a informaticii care se ocupă de comunicarea dintre AI și oameni. Patruzeci și nouă de participanți au fost însărcinați să dezvolte și să formuleze idei în termen de zece zile pe baza uneia dintre cele șapte teme. Ca stimulent, cercetătorii au primit 300 USD pentru fiecare idee, cu un bonus de 1.000 USD pentru primele cinci idei.

În același timp, cercetătorii au dezvoltat un generator de idei folosind Claude 3.5, un LLM dezvoltat de Anthropic în San Francisco, California. Cercetătorii au cerut instrumentului lor AI să găsească articole relevante pe cele șapte subiecte de cercetare prin Semantic Scholar, un motor de căutare a literaturii bazat pe inteligență artificială. Pe baza acestor articole, cercetătorii au cerut agentului lor AI să genereze 4.000 de idei pe fiecare subiect de cercetare și să le evalueze pe cele mai originale.

Evaluatori umani

Apoi, cercetătorii au repartizat aleatoriu ideile umane și generate de inteligență artificială la 79 de recenzenți, care au evaluat fiecare idee pentru noutate, entuziasm, fezabilitate și eficacitatea așteptată. Pentru a se asigura că creatorii ideilor rămân necunoscuți de recenzori, cercetătorii au folosit un alt LLM pentru a edita ambele tipuri de text, astfel încât stilul de scriere și tonul să fie standardizate fără a schimba ideile în sine.

În medie, recenzenții au evaluat ideile generate de AI ca fiind mai originale și mai interesante decât cele scrise de participanți umani. Cu toate acestea, când s-au uitat mai atent la cele 4.000 de idei produse de LLM, cercetătorii au găsit doar aproximativ 200 care erau cu adevărat unice, sugerând că IA a devenit mai puțin originală cu cât a generat mai multe idei.

Când Si a chestionat participanții, cei mai mulți au recunoscut că ideile pe care le-au prezentat au fost doar medii în comparație cu ideile produse în trecut.

Rezultatele sugerează că LLM-urile pot genera cu ușurință idei mai originale decât literatura existentă, spune Cong Lu, cercetător în învățarea automată la Universitatea British Columbia din Vancouver, Canada. Cu toate acestea, dacă pot depăși ideile umane cele mai inovatoare, rămâne o întrebare deschisă.

O altă limitare a studiului este că ideile scrise comparate au fost editate de un LLM, care a schimbat limba și lungimea trimiterilor, spune Jevin West, un informatician în științe sociale la Universitatea Washington din Seattle. Este posibil ca astfel de schimbări să fi influențat subtil modul în care recenzenții au perceput noutatea, adaugă el. West adaugă că înfruntarea cercetătorilor cu un LLM care poate genera mii de idei în câteva ore poate să nu fie o comparație complet corectă. „Trebuie să compari merele cu mere”, spune el.

Si și colegii săi intenționează să compare ideile generate de inteligență artificială cu lucrările principale ale conferințelor pentru a înțelege mai bine cum se compară LLM-urile cu creativitatea umană. „Încercăm să încurajăm comunitatea să se gândească mai profund la cum ar trebui să arate viitorul atunci când AI poate juca un rol mai activ în procesul de cercetare”, spune el.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Descărcați referințe