Vai AI modeļi rada oriģinālākas idejas nekā pētnieki?

Vai AI modeļi rada oriģinālākas idejas nekā pētnieki?

Ar mākslīgo intelektu (AI) darbināma ideju ģeneratoru sistēma ir izstrādājusi oriģinālākas pētniecības pieejas nekā 50 neatkarīgi strādājoši zinātnieki nesenā preprintā arXiv. 1.

Cilvēka un mākslīgā intelekta radītās idejas novērtēja recenzenti, kuri nezināja, kas vai kas radījis katru ideju. Recenzenti AI radītās koncepcijas novērtēja kā aizraujošākas salīdzinājumā ar cilvēku radītajām idejām, lai gan AI ieteikumi bija nedaudz zemāki par iespējamību.

Tomēr zinātnieki norāda, ka pētījumam, kas vēl nav recenzēts, ir ierobežojumi. Tā koncentrējās uz konkrētu pētniecības jomu un prasīja, lai cilvēku dalībnieki spontāni ģenerētu idejas, kas, iespējams, kavēja viņu spēju radīt labākās koncepcijas.

Mākslīgais intelekts zinātnē

Ir pieaugošās tieksmes, lai izpētītu, kā lielos valodu modeļus (LLM) var izmantot, lai automatizētu pētniecības uzdevumus, piemēram, Rakstu rakstīšana, Ģenerēt kodu un Literatūras izpēte var izmantot. Tomēr ir bijis grūti novērtēt, vai šie AI rīki var radīt jaunas pētniecības pieejas līdzīgā līmenī kā cilvēkiem. Tas ir tāpēc, ka ideju izvērtēšana ļoti subjektīvi un ir nepieciešami speciālisti, kas spēj tos rūpīgi novērtēt, saka Chenglei Si, pētījuma līdzautors un datorzinātnieks no Stenfordas universitātes Kalifornijā. "Labākais veids, kā kontekstualizēt šādas iespējas, ir veikt salīdzinājumu līdzās," saka Si.

Gadu ilgs projekts ir viens no lielākajiem centieniem novērtēt, vai lielie valodu modeļi - tehnoloģiju aiz rīkiem patīk ChatGPT – var radīt novatoriskas pētniecības pieejas, skaidro Toms Houps, datorzinātnieks Alena AI institūtā Jeruzalemē. "Šāda darba ir jādara vairāk," viņš saka.

Komanda pieņēma darbā vairāk nekā 100 pētniekus dabiskās valodas apstrādes jomā, kas ir datorzinātņu nozare, kas nodarbojas ar saziņu starp AI un cilvēkiem. Četrdesmit deviņiem dalībniekiem tika uzdots desmit dienu laikā izstrādāt un formulēt idejas, pamatojoties uz vienu no septiņām tēmām. Kā stimulu pētnieki saņēma USD 300 par katru ideju, bet piecām labākajām idejām — USD 1000 prēmiju.

Tajā pašā laikā pētnieki izstrādāja ideju ģeneratoru, izmantojot Claude 3.5, LLM, ko Anthropic izstrādāja Sanfrancisko, Kalifornijā. Pētnieki lūdza savam AI rīkam atrast atbilstošus rakstus par septiņām pētniecības tēmām, izmantojot AI darbinātu literatūras meklētājprogrammu Semantic Scholar. Pamatojoties uz šiem rakstiem, pētnieki lūdza savam AI aģentam ģenerēt 4000 idejas par katru pētniecības tēmu un novērtēt oriģinālākās.

Cilvēku vērtētāji

Pēc tam pētnieki nejauši piešķīra cilvēka un mākslīgā intelekta radītās idejas 79 recenzentiem, kuri novērtēja katru ideju pēc novitātes, aizrautības, iespējamības un paredzamās efektivitātes. Lai nodrošinātu, ka ideju radītāji recenzentiem paliktu nezināmi, pētnieki izmantoja citu LLM, lai rediģētu abus teksta veidus, lai rakstīšanas stils un tonis tiktu standartizēti, nemainot pašas idejas.

Vidēji recenzenti AI radītās idejas novērtēja kā oriģinālākas un aizraujošākas nekā cilvēku rakstītās idejas. Tomēr, rūpīgāk aplūkojot 4000 LLM radītās idejas, pētnieki atklāja tikai aptuveni 200 patiesi unikālas, kas liecina, ka AI kļuva mazāk oriģināls, jo vairāk ideju tas radīja.

Kad Si aptaujāja dalībniekus, lielākā daļa atzina, ka viņu iesniegtās idejas bija tikai vidējas salīdzinājumā ar iepriekš radītajām idejām.

Rezultāti liecina, ka LLM var viegli radīt oriģinālākas idejas nekā esošā literatūra, saka Cong Lu, mašīnmācīšanās pētnieks Britu Kolumbijas Universitātē Vankūverā, Kanādā. Tomēr joprojām ir atklāts jautājums, vai tās var pārspēt visrevolucionārākās cilvēku idejas.

Vēl viens pētījuma ierobežojums ir tāds, ka salīdzinātās rakstiskās idejas rediģēja LLM, kas mainīja iesniegumu valodu un garumu, saka Dževins Vests, sociālo zinātņu datorzinātnieks no Vašingtonas universitātes Sietlā. Viņš piebilst, ka šādas izmaiņas var būt smalki ietekmējušas to, kā recenzenti uztvēra jaunumu. Vests piebilst, ka pētnieku pretstatīšana LLM, kas dažu stundu laikā var radīt tūkstošiem ideju, var nebūt pilnīgi godīgs salīdzinājums. "Jums ir jāsalīdzina āboli ar āboliem," viņš saka.

Si un viņa kolēģi plāno salīdzināt mākslīgā intelekta radītās idejas ar vadošajiem konferences dokumentiem, lai iegūtu labāku izpratni par LLM salīdzinājumu ar cilvēka radošumu. "Mēs cenšamies mudināt sabiedrību dziļāk domāt par to, kādai vajadzētu izskatīties nākotnei, kad AI var uzņemties aktīvāku lomu pētniecības procesā," viņš saka.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Lejupielādēt atsauces