Kas tehisintellekti mudelid toodavad rohkem originaalseid ideid kui teadlased?

Kas tehisintellekti mudelid toodavad rohkem originaalseid ideid kui teadlased?

Tehisintellektil (AI) töötav ideegeneraatorisüsteem on välja töötanud originaalsemad uurimismeetodid kui 50 iseseisvalt töötavat teadlast hiljutises arXivi eeltrükis. 1.

Inimeste ja tehisintellekti loodud ideid hindasid arvustajad, kes ei teadnud, kes või mis iga idee lõi. Arvustajad hindasid tehisintellekti loodud kontseptsioone inimeste loodud ideedega võrreldes põnevamaks, kuigi tehisintellekti soovitused saavutasid teostatavuse osas veidi madalama hinde.

Teadlased märgivad aga, et uuringul, mida pole veel eelretsenseeritud, on piiranguid. See keskendus konkreetsele uurimisvaldkonnale ja nõudis, et osalejad genereeriksid ideid spontaanselt, mis tõenäoliselt takistas nende võimet luua parimaid kontseptsioone.

Tehisintellekt teaduses

Neid on tõusvad püüdlused, et uurida, kuidas saab suuri keelemudeleid (LLM) kasutada selliste uurimisülesannete automatiseerimiseks nagu Artiklite kirjutamine, Genereeri kood ja Kirjanduse uurimine saab kasutada. Siiski on olnud raske hinnata, kas need AI-tööriistad suudavad luua inimestega sarnasel tasemel uusi uurimismeetodeid. Seda seetõttu, et ideede hindamine väga subjektiivne ja nõuab spetsialiste, kes suudavad neid hoolikalt hinnata, ütleb Chenglei Si, uuringu kaasautor ja California Stanfordi ülikooli arvutiteadlane. "Parim viis selliste võimaluste kontekstualiseerimiseks on teha kõrvuti võrdlus, " ütleb Si.

Aasta kestev projekt on üks suurimaid jõupingutusi, et hinnata, kas suured keelemudelid – tööriistade taga olev tehnoloogia meeldib ChatGPT – suudab luua uuenduslikke uurimismeetodeid, selgitab Tom Hope, Jeruusalemma Alleni tehisinstituudi arvutiteadlane. "Sellist tööd on vaja rohkem," ütleb ta.

Meeskond värbas enam kui 100 teadlast loomuliku keele töötlemise valdkonnas, mis on arvutiteaduse haru, mis tegeleb tehisintellekti ja inimeste vahelise suhtlusega. Nelikümmend üheksa osalejat said ülesandeks töötada välja ja sõnastada ideid kümne päeva jooksul ühe seitsmest teemast lähtuvalt. Ergutuseks said teadlased iga idee eest 300 dollarit, viie parima idee eest 1000 dollarit boonust.

Samal ajal töötasid teadlased välja ideegeneraatori, kasutades Californias San Franciscos Anthropicu välja töötatud LLM-i Claude 3.5. Teadlased palusid oma tehisintellekti tööriistal leida seitsme uurimisteema kohta asjakohaseid artikleid tehisintellektil töötava kirjanduse otsingumootori Semantic Scholari kaudu. Nende artiklite põhjal palusid teadlased oma tehisintellekti agendil genereerida iga uurimisteema kohta 4000 ideed ja hinnata originaalsemaid.

Inimeste hindajad

Seejärel määrasid teadlased juhuslikult inimeste ja tehisintellekti loodud ideed 79 arvustajale, kes hindasid iga idee uudsust, põnevust, teostatavust ja eeldatavat tõhusust. Tagamaks, et ideede loojad jäid retsensentidele tundmatuks, kasutasid teadlased mõlemat tüüpi tekstide redigeerimiseks teist LLM-i, nii et kirjutamisstiil ja toon olid standarditud ilma ideid endid muutmata.

Arvustajad hindasid AI-ga loodud ideid keskmiselt originaalsemaks ja põnevamaks kui inimeste poolt kirjutatud ideid. Kuid kui nad uurisid LLM-i 4000 ideed lähemalt, leidsid teadlased ainult umbes 200 tõeliselt ainulaadset ideed, mis viitab sellele, et tehisintellekt muutus seda vähem originaalseks, mida rohkem ideid see genereeris.

Kui Si küsitles osalejaid, tunnistas enamik, et nende esitatud ideed olid varasemate ideedega võrreldes ainult keskmised.

Tulemused viitavad sellele, et LLM-id võivad hõlpsasti genereerida originaalsemaid ideid kui olemasolev kirjandus, ütleb Kanadas Vancouveris asuva Briti Columbia ülikooli masinõppeteadlane Cong Lu. Siiski jääb lahtiseks küsimus, kas nad suudavad ületada kõige murrangulisemaid inimlikke ideid.

Uuringu teine ​​piirang on see, et võrreldud kirjalikke ideid redigeeris LLM, mis muutis esildiste keelt ja pikkust, ütleb Seattle'i Washingtoni ülikooli sotsiaalteaduste arvutiteadlane Jevin West. Ta lisab, et sellised muudatused võisid peenelt mõjutada seda, kuidas arvustajad uudsust tajusid. West lisab, et teadlaste vastandamine LLM-ile, mis suudab mõne tunni jooksul luua tuhandeid ideid, ei pruugi olla täiesti õiglane võrdlus. "Peate õunu õuntega võrdlema," ütleb ta.

Si ja tema kolleegid kavatsevad võrrelda tehisintellekti loodud ideid juhtivate konverentsiettekannetega, et paremini mõista, kuidas LLM-id võrreldavad inimese loovusega. "Püüame julgustada kogukonda mõtlema sügavamalt selle üle, milline peaks välja nägema tulevik, kui tehisintellekt saab uurimisprotsessis aktiivsemalt osaleda," ütleb ta.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Laadige alla viited