Tuottavatko tekoälymallit omaperäisempiä ideoita kuin tutkijat?

Tuottavatko tekoälymallit omaperäisempiä ideoita kuin tutkijat?

Tekoälyllä (AI) toimiva ideageneraattorijärjestelmä on kehittänyt omaperäisempiä tutkimuslähestymistapoja kuin 50 itsenäisesti työskentelevää tiedemiestä äskettäisessä arXiv-julkaisussa. 1.

Ihmisten ja tekoälyn luomat ideat arvioivat arvioijat, jotka eivät tienneet kuka tai mikä loi kunkin idean. Arvioijat arvioivat tekoälyn luomat konseptit jännittävämmiksi verrattuna ihmisen tekemiin ideoihin, vaikka tekoälyn ehdotukset saivatkin toteutettavuuden suhteen hieman huonommat arvosanat.

Tiedemiehet huomauttavat kuitenkin, että tutkimuksella, jota ei ole vielä vertaisarvioitu, on rajoituksia. Se keskittyi tiettyyn tutkimuksen osa-alueeseen ja vaati ihmisten osallistujia luomaan ideoita spontaanisti, mikä todennäköisesti esti heidän kykyään tuottaa parhaita konsepteja.

Tekoäly tieteessä

On nousevat toiveet, tutkia kuinka suuria kielimalleja (LLM) voidaan käyttää automatisoimaan tutkimustehtäviä, kuten Artikkelien kirjoittaminen, Luo koodi ja Kirjallisuuden tutkimus voidaan käyttää. On kuitenkin ollut vaikea arvioida, voivatko nämä tekoälytyökalut luoda uusia tutkimuslähestymistapoja, jotka ovat samalla tasolla kuin ihmiset. Tämä johtuu ideoiden arvioinnista hyvin subjektiivinen ja vaatii asiantuntijoita, jotka pystyvät arvioimaan ne huolellisesti, sanoo Chenglei Si, tutkimuksen toinen kirjoittaja ja tietojenkäsittelytieteilijä Stanfordin yliopistosta Kaliforniassa. "Paras tapa kontekstualisoida tällaisia ​​ominaisuuksia on tehdä rinnakkainen vertailu", sanoo Si.

Vuoden mittainen projekti on yksi suurimmista pyrkimyksistä arvioida, onko suuria kielimalleja - teknologian takana työkaluja, kuten ChatGPT – voi tuottaa innovatiivisia tutkimusmenetelmiä, selittää Tom Hope, tietojenkäsittelytieteilijä Allen Institute for AI:sta Jerusalemista. "Tällaista työtä tarvitaan lisää", hän sanoo.

Ryhmä rekrytoi yli 100 tutkijaa luonnollisen kielen prosessoinnin alalla, joka on tietotekniikan ala, joka käsittelee tekoälyn ja ihmisten välistä viestintää. Neljäkymmentäyhdeksän osallistujaa sai tehtäväkseen kehittää ja muotoilla ideoita kymmenen päivän kuluessa yhden seitsemästä teemasta. Kannustimena tutkijat saivat 300 dollaria jokaisesta ideasta ja 1 000 dollarin bonuksen viidelle parhaalle idealle.

Samaan aikaan tutkijat kehittivät ideageneraattorin käyttämällä Claude 3.5:tä, Anthropicin San Franciscossa Kaliforniassa kehittämää LLM:ää. Tutkijat pyysivät tekoälytyökaluaan löytämään relevantteja artikkeleita seitsemästä tutkimusaiheesta Semantic Scholarin, tekoälypohjaisen kirjallisuuden hakukoneen, kautta. Näiden artikkelien perusteella tutkijat pyysivät tekoälyagenttiaan luomaan 4 000 ideaa jokaisesta tutkimusaiheesta ja arvioimaan omaperäisimmät.

Ihmisarvioijat

Tämän jälkeen tutkijat jakoivat ihmisen ja tekoälyn luomat ideat satunnaisesti 79 arvioijalle, jotka arvioivat jokaisen idean uutuuden, jännityksen, toteutettavuuden ja odotetun tehokkuuden perusteella. Varmistaakseen, että ideoiden luojat jäivät arvioijille tuntemattomiksi, tutkijat käyttivät toista LLM:ää molempien tekstityyppien muokkaamiseen siten, että kirjoitustyyli ja sävy standardisoituivat muuttamatta itse ideoita.

Arvioijat arvioivat tekoälyn luomat ideat keskimäärin omaperäisemmiksi ja jännittävämmiksi kuin ihmisten kirjoittamat. Kuitenkin, kun he tarkastelivat tarkemmin LLM:n tuottamia 4 000 ideaa, tutkijat löysivät vain noin 200 todella ainutlaatuista ideaa, mikä viittaa siihen, että tekoäly muuttui sitä vähemmän omaperäisemmäksi mitä enemmän se synnytti.

Kun Si tutki osallistujia, useimmat myönsivät, että heidän lähettämänsä ideat olivat vain keskimääräisiä verrattuna aiemmin tuotettuihin ideoihin.

Tulokset viittaavat siihen, että LLM:t voivat helposti luoda omaperäisempiä ideoita kuin olemassa oleva kirjallisuus, sanoo Cong Lu, koneoppimisen tutkija British Columbian yliopistosta Vancouverista, Kanadasta. Kuitenkin, voivatko ne ylittää uraauurtavimmat inhimilliset ideat, on edelleen avoin kysymys.

Toinen tutkimuksen rajoitus on se, että vertailtuja kirjallisia ideoita on muokannut LLM, mikä muutti lähetysten kieltä ja pituutta, sanoo yhteiskuntatieteiden tietojenkäsittelytieteilijä Jevin West Washingtonin yliopistosta Seattlessa. Tällaiset muutokset ovat saattaneet vaikuttaa hienovaraisesti siihen, miten arvioijat näkivät uutuuden, hän lisää. West lisää, että tutkijoiden vastakkain LLM:tä vastaan, joka voi tuottaa tuhansia ideoita muutamassa tunnissa, ei ehkä ole täysin reilu vertailu. "Sinun on verrattava omenoita omenoihin", hän sanoo.

Si ja hänen kollegansa aikovat verrata tekoälyn luomia ideoita johtaviin konferenssipapereihin saadakseen paremman käsityksen siitä, kuinka LLM:t vertaavat ihmisen luovuuteen. "Yritämme rohkaista yhteisöä pohtimaan syvemmin, miltä tulevaisuuden pitäisi näyttää, kun tekoäly voi ottaa aktiivisemman roolin tutkimusprosessissa", hän sanoo.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Lataa viitteitä