Daju li AI modeli više originalnih ideja od istraživača?

Daju li AI modeli više originalnih ideja od istraživača?

Sustav generiranja ideja pokretan umjetnom inteligencijom (AI) razvio je više originalnih istraživačkih pristupa od 50 znanstvenika koji rade neovisno u nedavnom preprintu na arXiv 1.

Ideje koje su generirali ljudi i umjetna inteligencija ocjenjivali su recenzenti koji nisu znali tko ili što je stvorilo svaku ideju. Recenzenti su koncepte generirane umjetnom inteligencijom ocijenili kao uzbudljivije u usporedbi s idejama koje su autori ljudi, iako su prijedlozi umjetne inteligencije imali nešto niže ocjene u smislu izvedivosti.

Međutim, znanstvenici ističu da studija, koja još nije recenzirana, ima ograničenja. Usredotočilo se na specifično područje istraživanja i zahtijevalo od ljudskih sudionika da spontano generiraju ideje, što je vjerojatno ometalo njihovu sposobnost da proizvedu najbolje koncepte.

Umjetna inteligencija u znanosti

postoje rastuće težnje, kako bi istražili kako se veliki jezični modeli (LLM) mogu koristiti za automatizaciju istraživačkih zadataka kao što su Pisanje članaka, Generiraj kod i Istraživanje književnosti može se koristiti. Međutim, bilo je teško procijeniti mogu li ovi alati umjetne inteligencije generirati nove istraživačke pristupe na razini sličnoj ljudskoj. To je zato što evaluacija ideja vrlo subjektivno i zahtijeva stručnjake koji su u stanju pažljivo ih procijeniti, kaže Chenglei Si, koautor studije i informatičar na Sveučilištu Stanford u Kaliforniji. "Najbolji način kontekstualiziranja takvih sposobnosti je usporedba", kaže Si.

Jednogodišnji projekt jedan je od najvećih pokušaja da se ocijeni jesu li veliki jezični modeli - tehnologija koja stoji iza alata poput ChatGPT – može proizvesti inovativne istraživačke pristupe, objašnjava Tom Hope, računalni znanstvenik na Allenovom institutu za umjetnu inteligenciju u Jeruzalemu. "Mora biti više ovakvog posla", kaže.

Tim je angažirao više od 100 istraživača u području obrade prirodnog jezika, grane računalne znanosti koja se bavi komunikacijom između umjetne inteligencije i ljudi. Četrdeset i devet sudionika imalo je zadatak razviti i formulirati ideje unutar deset dana na temelju jedne od sedam tema. Kao poticaj, istraživači su dobili 300 dolara za svaku ideju, uz bonus od 1000 dolara za pet najboljih ideja.

U isto vrijeme, istraživači su razvili generator ideja koristeći Claude 3.5, LLM koji je razvio Anthropic u San Franciscu, Kalifornija. Istraživači su zatražili od svog AI alata da pronađe relevantne članke o sedam istraživačkih tema putem Semantic Scholar, tražilice literature koju pokreće AI. Na temelju tih članaka, istraživači su zamolili svog agenta za umjetnu inteligenciju da generira 4000 ideja o svakoj temi istraživanja i ocijeni one najoriginalnije.

Ljudski procjenitelji

Istraživači su zatim nasumično dodijelili ideje koje su generirali ljudi i umjetna inteligencija 79 recenzenata, koji su svaku ideju ocjenjivali prema novosti, uzbudljivosti, izvedivosti i očekivanoj učinkovitosti. Kako bi osigurali da autori ideja ostanu nepoznati recenzentima, istraživači su koristili još jedan LLM za uređivanje obje vrste teksta tako da su stil pisanja i ton bili standardizirani bez mijenjanja samih ideja.

U prosjeku, recenzenti su ideje generirane umjetnom inteligencijom ocijenili kao originalnije i uzbudljivije od onih koje su napisali ljudski sudionici. Međutim, kada su pomnije pogledali 4000 ideja koje je proizveo LLM, istraživači su pronašli samo oko 200 koje su doista jedinstvene, što sugerira da je umjetna inteligencija postajala manje originalna što je više ideja generirala.

Kada je Si anketirao sudionike, većina je priznala da su ideje koje su predali samo prosječne u usporedbi s idejama proizvedenim u prošlosti.

Rezultati sugeriraju da LLM mogu lako generirati originalnije ideje od postojeće literature, kaže Cong Lu, istraživač strojnog učenja na Sveučilištu British Columbia u Vancouveru, Kanada. Međutim, mogu li nadmašiti najrevolucionarnije ljudske ideje ostaje otvoreno pitanje.

Još jedno ograničenje studije je to što je uspoređene pisane ideje uređivao LLM, što je promijenilo jezik i duljinu podnesaka, kaže Jevin West, informatičar društvenih znanosti na Sveučilištu Washington u Seattleu. Takve su promjene možda suptilno utjecale na to kako su recenzenti percipirali novost, dodaje. West dodaje da suprotstavljanje istraživača LLM-u koji može generirati tisuće ideja u nekoliko sati možda nije sasvim poštena usporedba. "Morate usporediti jabuke s jabukama", kaže.

Si i njegovi kolege planiraju usporediti ideje generirane umjetnom inteligencijom s vodećim konferencijskim radovima kako bi stekli bolje razumijevanje usporedbe LLM-a s ljudskom kreativnošću. “Pokušavamo potaknuti zajednicu na dublje razmišljanje o tome kako bi budućnost trebala izgledati kada umjetna inteligencija bude mogla preuzeti aktivniju ulogu u procesu istraživanja”, kaže.

1. Si, C., Yang, D. & Hashimoto, T. Preprint na arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Preuzmite reference