Produkují modely umělé inteligence originálnější nápady než výzkumníci?

Produkují modely umělé inteligence originálnější nápady než výzkumníci?

Systém generátoru nápadů poháněný umělou inteligencí (AI) vyvinul originálnější výzkumné přístupy než 50 vědců pracujících nezávisle v nedávném preprintu na arXiv. 1.

Nápady vytvořené lidmi a umělou inteligencí byly hodnoceny recenzenty, kteří nevěděli, kdo nebo co vytvořilo jednotlivé nápady. Recenzenti hodnotili koncepty generované umělou inteligencí jako více vzrušující ve srovnání s nápady vytvořenými lidmi, ačkoli návrhy umělé inteligence dosáhly o něco nižšího skóre, pokud jde o proveditelnost.

Vědci však upozorňují, že studie, která dosud nebyla recenzována, má svá omezení. Zaměřilo se na konkrétní oblast výzkumu a vyžadovalo od lidských účastníků spontánní vytváření nápadů, což pravděpodobně bránilo jejich schopnosti vytvářet nejlepší koncepty.

Umělá inteligence ve vědě

Existují rostoucí aspirace, abychom prozkoumali, jak lze velké jazykové modely (LLM) použít k automatizaci výzkumných úkolů, jako je např Psaní článků, Vygenerujte kód a Literární rešerše lze použít. Bylo však obtížné posoudit, zda tyto nástroje AI mohou generovat nové výzkumné přístupy na podobné úrovni jako lidé. Důvodem je hodnocení nápadů velmi subjektivní a vyžaduje specialisty, kteří jsou schopni je pečlivě vyhodnotit, říká Chenglei Si, spoluautor studie a počítačový vědec ze Stanfordské univerzity v Kalifornii. „Nejlepší způsob, jak tyto schopnosti uvést do kontextu, je provést srovnání vedle sebe,“ říká Si.

Celoroční projekt je jedním z největších pokusů o vyhodnocení, zda se velké jazykové modely - technologie za nástroji líbí ChatGPT – může vytvářet inovativní výzkumné přístupy, vysvětluje Tom Hope, počítačový vědec z Allenova institutu pro umělou inteligenci v Jeruzalémě. "Takových prací je potřeba víc," říká.

Tým přijal více než 100 výzkumníků v oblasti zpracování přirozeného jazyka, což je odvětví informatiky, které se zabývá komunikací mezi AI a lidmi. Čtyřicet devět účastníků mělo za úkol vyvinout a formulovat nápady během deseti dnů na základě jednoho ze sedmi témat. Jako pobídku dostali výzkumníci za každý nápad 300 dolarů, přičemž za pět nejlepších nápadů dostali bonus 1 000 dolarů.

Ve stejné době výzkumníci vyvinuli generátor nápadů využívající Claude 3.5, LLM vyvinutý společností Anthropic v San Franciscu v Kalifornii. Výzkumníci požádali svůj nástroj AI, aby našel relevantní články o sedmi výzkumných tématech prostřednictvím Semantic Scholar, nástroje pro vyhledávání literatury založené na AI. Na základě těchto článků vědci požádali svého agenta AI, aby vygeneroval 4 000 nápadů na každé výzkumné téma a vyhodnotil ty nejoriginálnější.

Lidští posuzovatelé

Vědci poté náhodně přidělili nápady vytvořené lidmi a umělou inteligencí 79 recenzentům, kteří každý nápad hodnotili z hlediska novosti, vzrušení, proveditelnosti a očekávané účinnosti. Aby se zajistilo, že tvůrci nápadů zůstanou pro recenzenty neznámí, použili výzkumníci další LLM k úpravě obou typů textu tak, aby styl a tón psaní byly standardizovány, aniž by se změnily samotné nápady.

Recenzenti v průměru hodnotili nápady generované umělou inteligencí jako originálnější a vzrušující než ty, které napsali lidé. Když se však blíže podívali na 4 000 nápadů vytvořených LLM, výzkumníci našli pouze asi 200 skutečně jedinečných, což naznačuje, že AI se stával méně originální, čím více nápadů generovala.

Když Si provedl průzkum mezi účastníky, většina připustila, že nápady, které předložili, byly pouze průměrné ve srovnání s nápady vytvořenými v minulosti.

Výsledky naznačují, že LLM mohou snadno vytvářet originálnější nápady než existující literatura, říká Cong Lu, výzkumník strojového učení na University of British Columbia ve Vancouveru v Kanadě. Zda však dokážou překonat ty nejpřevratnější lidské nápady, zůstává otevřenou otázkou.

Dalším omezením studie je, že srovnávané písemné myšlenky byly upraveny LLM, což změnilo jazyk a délku příspěvků, říká Jevin West, počítačový vědec ze sociálních věd z University of Washington v Seattlu. Takové změny mohly nenápadně ovlivnit to, jak recenzenti novinku vnímali, dodává. West dodává, že postavit výzkumníky proti LLM, který dokáže generovat tisíce nápadů za pár hodin, nemusí být úplně férové ​​srovnání. "Musíte srovnávat jablka s jablky," říká.

Si a jeho kolegové plánují porovnat nápady generované umělou inteligencí s předními konferenčními příspěvky, aby lépe porozuměli tomu, jak se LLM srovnávají s lidskou kreativitou. „Snažíme se povzbudit komunitu, aby se hlouběji zamyslela nad tím, jak by měla vypadat budoucnost, kdy umělá inteligence může hrát aktivnější roli ve výzkumném procesu,“ říká.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Stáhněte si reference