AI моделите произвеждат ли повече оригинални идеи от изследователите?

AI моделите произвеждат ли повече оригинални идеи от изследователите?

Система за генериране на идеи, задвижвана от изкуствен интелект (AI), е разработила по-оригинални изследователски подходи от 50 учени, работещи независимо в скорошен предпечат на arXiv 1.

Генерираните от хора и AI идеи бяха оценени от рецензенти, които не знаеха кой или какво е създал всяка идея. Рецензенти оцениха генерираните от AI концепции като по-вълнуващи в сравнение с идеите, създадени от хора, въпреки че предложенията на AI отбелязаха малко по-ниска оценка по отношение на осъществимостта.

Учените обаче посочват, че проучването, което все още не е рецензирано, има ограничения. Той се фокусира върху конкретна област на изследване и изисква човешките участници да генерират идеи спонтанно, което вероятно възпрепятства способността им да създават най-добрите концепции.

Изкуственият интелект в науката

има нарастващи стремежи, за да проучи как големите езикови модели (LLM) могат да се използват за автоматизиране на изследователски задачи като напр Писане на статии, Генериране на код и Литературни изследвания може да се използва. Въпреки това беше трудно да се прецени дали тези AI инструменти могат да генерират нови изследователски подходи на ниво, подобно на хората. Това е така, защото оценката на идеите много субективно и изисква специалисти, които са в състояние внимателно да ги оценят, казва Ченгли Си, съавтор на изследването и компютърен учен в Станфордския университет в Калифорния. „Най-добрият начин да контекстуализирате такива способности е да направите едно до друго сравнение“, казва Си.

Едногодишният проект е едно от най-големите усилия да се оцени дали големите езикови модели - технологията зад инструменти като ChatGPT – може да създаде новаторски изследователски подходи, обяснява Том Хоуп, компютърен учен в Института Алън за ИИ в Йерусалим. „Трябва да има повече работа като тази“, казва той.

Екипът набра повече от 100 изследователи в областта на обработката на естествен език, клон на компютърните науки, който се занимава с комуникацията между AI и хората. Четиридесет и девет участници бяха натоварени да разработят и формулират идеи в рамките на десет дни въз основа на една от седемте теми. Като стимул изследователите получиха $300 за всяка идея, с $1000 бонус за петте най-добри идеи.

В същото време изследователите разработиха генератор на идеи, използвайки Claude 3.5, LLM, разработен от Anthropic в Сан Франциско, Калифорния. Изследователите поискаха от своя AI инструмент да намери подходящи статии по седемте изследователски теми чрез Semantic Scholar, работеща с AI търсачка на литература. Въз основа на тези статии изследователите помолиха техния AI агент да генерира 4000 идеи за всяка изследователска тема и да оцени най-оригиналните.

Човешки оценители

След това изследователите разпределиха на случаен принцип идеите, генерирани от хора и AI, на 79 рецензенти, които оцениха всяка идея за новост, вълнение, осъществимост и очаквана ефективност. За да гарантират, че създателите на идеите остават неизвестни за рецензентите, изследователите са използвали друг LLM, за да редактират и двата типа текст, така че стилът на писане и тонът да бъдат стандартизирани, без да променят самите идеи.

Средно рецензентите оцениха генерираните от AI идеи като по-оригинални и вълнуващи от тези, написани от човешки участници. Въпреки това, когато разгледаха по-отблизо 4000 идеи, произведени от LLM, изследователите откриха само около 200, които бяха наистина уникални, което предполага, че AI става по-малко оригинален, колкото повече идеи генерира.

Когато Si анкетира участниците, повечето признават, че идеите, които са изпратили, са само средни в сравнение с идеите, създадени в миналото.

Резултатите показват, че LLM могат лесно да генерират по-оригинални идеи от съществуващата литература, казва Конг Лу, изследовател на машинно обучение в Университета на Британска Колумбия във Ванкувър, Канада. Дали обаче могат да надминат най-новаторските човешки идеи остава открит въпрос.

Друго ограничение на проучването е, че сравнените писмени идеи са редактирани от LLM, което промени езика и дължината на изявленията, казва Джевин Уест, компютърен учен по социални науки в Университета на Вашингтон в Сиатъл. Такива промени може да са повлияли едва доловимо как рецензентите възприемат новостта, добавя той. Уест добавя, че противопоставянето на изследователи срещу LLM, който може да генерира хиляди идеи за няколко часа, може да не е напълно справедливо сравнение. „Трябва да сравнявате ябълки с ябълки“, казва той.

Си и колегите му планират да сравнят идеите, генерирани от AI, с водещи доклади от конференции, за да разберат по-добре как LLM се сравняват с човешката креативност. „Опитваме се да насърчим общността да мисли по-задълбочено за това как трябва да изглежда бъдещето, когато AI може да поеме по-активна роля в изследователския процес“, казва той.

1. Si, C., Yang, D. & Hashimoto, T. Preprint в arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Изтегляне на препратки