Produkujú modely AI originálnejšie nápady ako výskumníci?

Produkujú modely AI originálnejšie nápady ako výskumníci?

Systém generátora nápadov poháňaný umelou inteligenciou (AI) vyvinul originálnejšie výskumné prístupy ako 50 vedcov pracujúcich nezávisle v nedávnom predtlači na arXiv. 1.

Nápady vytvorené ľuďmi a AI boli hodnotené recenzentmi, ktorí nevedeli, kto alebo čo vytvorilo jednotlivé nápady. Recenzenti hodnotili koncepty generované AI ako vzrušujúcejšie v porovnaní s nápadmi vytvorenými ľuďmi, hoci návrhy AI dosiahli o niečo nižšie skóre z hľadiska uskutočniteľnosti.

Vedci však upozorňujú, že štúdia, ktorá ešte nebola recenzovaná, má obmedzenia. Zameral sa na špecifickú oblasť výskumu a vyžadoval od ľudských účastníkov, aby spontánne generovali nápady, čo pravdepodobne bránilo ich schopnosti produkovať najlepšie koncepty.

Umelá inteligencia vo vede

Existujú stúpajúce ašpirácie, preskúmať, ako možno veľké jazykové modely (LLM) použiť na automatizáciu výskumných úloh ako napr Písanie článkov, Vygenerujte kód a Literárny výskum možno použiť. Bolo však ťažké posúdiť, či tieto nástroje AI dokážu vytvoriť nové výskumné prístupy na podobnej úrovni ako ľudia. Dôvodom je hodnotenie nápadov veľmi subjektívne a vyžaduje špecialistov, ktorí sú schopní ich starostlivo vyhodnotiť, hovorí Chenglei Si, spoluautor štúdie a počítačový vedec na Stanfordskej univerzite v Kalifornii. "Najlepším spôsobom, ako uviesť takéto schopnosti do kontextu, je porovnanie vedľa seba," hovorí Si.

Celoročný projekt je jedným z najväčších pokusov o zhodnotenie, či veľké jazykové modely – technológie za nástrojmi páčia ChatGPT – môže produkovať inovatívne výskumné prístupy, vysvetľuje Tom Hope, počítačový vedec z Allenovho inštitútu pre AI v Jeruzaleme. "Takýchto prác musí byť viac," hovorí.

Tím prijal viac ako 100 výskumníkov v oblasti spracovania prirodzeného jazyka, odboru informatiky, ktorý sa zaoberá komunikáciou medzi AI a ľuďmi. Štyridsaťdeväť účastníkov malo za úlohu rozvinúť a sformulovať nápady v priebehu desiatich dní na základe jednej zo siedmich tém. Ako motiváciu dostali výskumníci 300 dolárov za každý nápad, s bonusom 1 000 dolárov za päť najlepších nápadov.

V rovnakom čase vedci vyvinuli generátor nápadov pomocou Claude 3.5, LLM vyvinutého spoločnosťou Anthropic v San Franciscu v Kalifornii. Výskumníci požiadali svoj nástroj AI, aby našiel relevantné články o siedmich výskumných témach prostredníctvom Semantic Scholar, nástroja na vyhľadávanie literatúry poháňaného AI. Na základe týchto článkov vedci požiadali svojho agenta AI, aby vygeneroval 4000 nápadov na každú tému výskumu a vyhodnotil tie najoriginálnejšie.

Ľudskí posudzovatelia

Vedci potom náhodne pridelili nápady vytvorené ľuďmi a umelou inteligenciou 79 recenzentom, ktorí ohodnotili každý nápad z hľadiska novosti, vzrušenia, uskutočniteľnosti a očakávanej účinnosti. Aby sa zabezpečilo, že tvorcovia nápadov zostali pre recenzentov neznámi, výskumníci použili ďalší LLM na úpravu oboch typov textu tak, aby štýl a tón písania boli štandardizované bez zmeny samotných myšlienok.

V priemere hodnotitelia hodnotili nápady vygenerované AI ako originálnejšie a vzrušujúcejšie ako nápady napísané ľudskými účastníkmi. Keď sa však bližšie pozreli na 4 000 nápadov vytvorených spoločnosťou LLM, výskumníci našli len asi 200 skutočne jedinečných, čo naznačuje, že AI sa stávala tým menej originálna, čím viac nápadov generovala.

Keď Si urobil prieskum medzi účastníkmi, väčšina priznala, že nápady, ktoré predložili, boli len priemerné v porovnaní s nápadmi vyrobenými v minulosti.

Výsledky naznačujú, že LLM môžu ľahko vytvárať originálnejšie nápady ako existujúca literatúra, hovorí Cong Lu, výskumník strojového učenia na University of British Columbia vo Vancouveri v Kanade. Otvorenou otázkou však zostáva, či dokážu prekonať tie najprevratnejšie ľudské nápady.

Ďalším obmedzením štúdie je, že porovnávané písomné nápady boli upravené LLM, čo zmenilo jazyk a dĺžku príspevkov, hovorí Jevin West, počítačový vedec v oblasti spoločenských vied z Washingtonskej univerzity v Seattli. Takéto zmeny mohli jemne ovplyvniť to, ako novinku vnímali recenzenti, dodáva. West dodáva, že postaviť výskumníkov proti LLM, ktorý dokáže generovať tisíce nápadov za pár hodín, nemusí byť úplne spravodlivé porovnanie. „Musíte porovnávať jablká s jablkami,“ hovorí.

Si a jeho kolegovia plánujú porovnať nápady generované AI s poprednými konferenčnými príspevkami, aby lepšie pochopili, ako sa LLM porovnávajú s ľudskou kreativitou. „Snažíme sa povzbudiť komunitu, aby sa hlbšie zamyslela nad tým, ako by mala vyzerať budúcnosť, keď AI môže zohrávať aktívnejšiu úlohu vo výskumnom procese,“ hovorí.

1. Si, C., Yang, D. & Hashimoto, T. Predtlač na arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Stiahnite si referencie