ChatGPT går två: Hur AI-chatboten förändrade forskarnas liv

ChatGPT går två: Hur AI-chatboten förändrade forskarnas liv

Under de två åren sedan Dela ChatGPT till allmänheten använder forskare det för att kommunicera sina förbättra vetenskapliga texter, granska den vetenskapliga litteraturen och Skriv kod för att analysera data. Medan vissa tror att chatboten, som blev populär den 30 november 2022, ökar forskarnas produktivitet, andra fruktar att han Plagiat underlättas, introducerar felaktigheter i forskningsartiklar och förbrukar stora mängder energi.

Hoboken, New Jersey-baserade förlaget Wiley undersökte 1 043 forskare i mars och april om deras användning av generativa AI-verktyg som ChatGPT och delade de preliminära resultaten med Nature. 80 procent av de tillfrågade rapporterade använda ChatGPT antingen personligen eller professionellt, vilket gör det till det mest använda verktyget bland akademiker. Tre fjärdedelar av de tillfrågade trodde att det under de kommande 5 åren kommer att vara viktigt för forskare att utveckla AI-kapacitet för att utföra sitt arbete.

"AI-ordbehandlare fanns tidigare, men en betydande förändring inträffade i och med lanseringen av dessa mycket kraftfulla stora språkmodeller", förklarar James Zou, en AI-forskare vid Stanford University i Kalifornien. Chatboten ChatGPT, utvecklad av det San Francisco-baserade teknikföretaget OpenAI, var katalysatorn för denna förändring.

För att uppmärksamma ChatGPTs andra födelsedag sammanställde Nature användningsdata och talade med forskare om hur ChatGPT har förändrat forskningslandskapet.

ChatGPT i siffror

• 60.000: Die Mindestanzahl an wissenschaftlichen Arbeiten, die 2023 veröffentlicht wurden und voraussichtlich mit Hilfe eines großen Sprachmodells (LLM) verfasst wurden 1. Dies entspricht etwas mehr als 1 % aller Artikel in der von dem Forschungsteam untersuchten Dimensions-Datenbank akademischer Veröffentlichungen.
• 10 %: Der Mindestanteil der Forschungspapiere, die von Mitgliedern der biomedizinischen Gemeinschaft in der ersten Jahreshälfte 2024 veröffentlicht wurden und voraussichtlich ihre Abstracts mit Unterstützung eines LLM verfasst haben 2. Eine andere Studie schätzte diesen Anteil für die Informatikgemeinde im Februar sogar auf höhere 17.5 % 3.
• 6.5–16.9 %: Der geschätzte Anteil der Peer-Reviews, die 2023 und 2024 an einer Auswahl von Top-AI-Konferenzen eingereicht wurden und vermutlich erheblich von LLMs generiert wurden 4. Diese Bewertungen beurteilen Forschungspapiere oder Präsentationen, die für die Konferenzen vorgeschlagen werden.

Skrivassistent

Alla dessa siffror, fastställda genom att utvärdera mönster och nyckelord i texter som är karakteristiska för LLM, är förmodligen konservativa uppskattningar, säger Debora Weber-Wulff, datavetare och plagiatforskare vid HTW Berlin. Deras arbete visar att detektionsverktyg ofta misslyckas när det gäller att avgöra om ett papper skrevs med hjälp av AI 5.

Under de senaste två åren har forskare funnit att genom att använda ChatGPT för att skapa sammanfattningar, såväl som bidragsansökningar och stödbrev för studenter, kan de fokusera på komplexa uppgifter. "De saker som är värda vår tid är de svåra frågorna och de kreativa hypoteserna", säger Milton Pividori, en medicinsk informatiker vid University of Colorado School of Medicine i Aurora.

Forskare rapporterar att LLM:er är särskilt användbara för att övervinna språkbarriärer. "Det demokratiserar skrivandet och hjälper människor för vilka engelska är ett andra språk", förklarar Gabe Gomes, kemist vid Carnegie Mellon University i Pittsburgh, Pennsylvania. En analys som publicerades på preprint-servern SSRN före peer review i november fann att kvaliteten på skrivandet i artiklar av författare vars första språk inte är engelska förbättrades efter ChatGPT:s publicering, mer än skrivningen av författare som talar flytande engelska 6.

Sedan lanseringen 2022 har ChatGPT genomgått flera uppgraderingar. GPT-4, publicerades i mars 2023, imponerade användare med dess förmåga att generera människoliknande texter. Den senaste modellen, o1, som tillkännagavs i september och tillgänglig för vissa betalande kunder såväl som vissa utvecklare i testning, säger OpenAI att det kan "analysera komplexa uppgifter och lösa svårare problem än tidigare modeller inom naturvetenskap, programmering och matematik." Kyle Kabasares, en dataforskare vid Bay Area Environmental Research Institute i Moffett Field, Kalifornien, använde o1 för att att återge lite kod från sitt doktorandprojekt. När han skrev in informationen från metodavsnittet i sin forskningsartikel skrev AI-systemet kod på bara en timme som hade tagit honom nästan ett år av hans forskarstudier att skapa.

Begränsningar och potential

Ett område där ChatGPT och liknande AI-system har varit mindre framgångsrika är att genomföra litteraturgenomgångar, säger Pividori. "De hjälper oss inte riktigt att bli mer produktiva", förklarar han, eftersom en forskare måste läsa och förstå de relevanta artiklarna till fullo. "Om uppsatsen inte är central för din forskning, kanske du kan använda AI-verktyg för att sammanfatta det," tillägger han. Men LLM har visat sig hallucinera 7 – det vill säga de utgör information. De kan till exempel prata om siffror som inte ens finns i en artikel.

Ett annat bekymmer för forskare när de använder LLM:er är dataskydd. Till exempel, när forskare matar in opublicerade originaldata i ett av dessa AI-verktyg för att skriva en uppsats, finns det en risk att innehållet kommer att användas för att träna uppdaterade versioner av dessa modeller. "Det här är svarta lådor", förklarar Weber-Wulff. "Du har ingen aning om vad som händer med den data du laddar upp där."

För att undvika denna risk väljer vissa forskare mindre, lokala modeller istället för ChatGPT. "Du kör det på din dator och ingenting delas externt", säger Pividori. Han tillägger att vissa ChatGPT-prenumerationsplaner säkerställer att din data inte används för att träna modellen.

En stor fråga som forskare har drivit under det senaste året är om ChatGPT kommer att gå längre än rollen som en virtuell assistent och en AI-forskare kan vara. Vissa tidiga ansträngningar tyder på att detta är möjligt. Zou leder utvecklingen av ett virtuellt labb där olika LLM:er tar rollen som vetenskapsmän i ett tvärvetenskapligt team medan en mänsklig vetenskapsman ger feedback på hög nivå. "De arbetar tillsammans för att formulera nya forskningsprojekt", säger han. Förra månaden publicerade Zou och hans kollegor resultaten av ett av dessa projekt på preprint-servern bioRxiv före peer review 8. Det virtuella labbet designade nanokroppar - en typ av liten antikropp - som kan binda till varianter av SARS-CoV-2-coronaviruset som orsakade COVID-19-pandemin. Mänskliga forskare validerade arbetet genom experiment och identifierade två lovande kandidater för vidare studier.

Gomes och hans kollegor är också entusiastiska över möjligheten att använda ChatGPT i labbet. Hon använda verktyget för att utföra flera kemiska reaktioner med hjälp av ett robotsystem som de använde i slutet av förra året. "Förväntningen är att dessa modeller kommer att kunna upptäcka ny vetenskap", säger Gomes.

1. Gray, A. Förtryck på arXiv https://doi.org/10.48550/arXiv.2403.16887 (2024).

2. Kobak, D., González-Márquez, R., Horvát, E.-Á. & Lause, J. Förtryck på arXiv https://doi.org/10.48550/arXiv.2406.07016 (2024).

3. Liang, W. et al. Förtryck på arXiv https://doi.org/10.48550/arXiv.2404.01268 (2024).

4. Liang, W. et al. Förtryck på arXiv https://doi.org/10.48550/arXiv.2403.07183 (2024).

5. Weber-Wulff, D. et al. Int. J. Educ. Integr. 19, 26 (2023).

   Artikel
   PubMed
   
   Google Scholar

6. Liang, Y., Yang, T. & Zhu, F. Förtryck på SSRN https://doi.org/10.2139/ssrn.4992755 (2024).

7. Farquhar, S. et al. Nature 630, 625–630 (2024).

   Artikel
   PubMed
   
   Google Scholar

8. Swanson, K., Wu, W., Bulaong, N. L., Pak, J. E. & Zou, J. Preprint on bioRxiv https://doi.org/10.1101/2024.11.11.623004 (2024).

Ladda ner referenser