ChatGPT går to: Hvordan AI-chatbot ændrede videnskabsmænds liv

ChatGPT går to: Hvordan AI-chatbot ændrede videnskabsmænds liv

I de to år siden Deler ChatGPT til offentligheden, forskerne bruger det til at formidle deres forbedre videnskabelige tekster, gennemgå den videnskabelige litteratur og Skriv kode for at analysere data. Mens nogle mener, at chatbotten, som blev populær den 30. november 2022, øger forskernes produktivitet, andre frygter, at han Plagiat gjort lettere, introducerer unøjagtigheder i forskningsartikler og bruger store mængder energi.

Det Hoboken, New Jersey-baserede forlag Wiley undersøgte 1.043 forskere i marts og april om deres brug af generative AI-værktøjer som ChatGPT og delte de foreløbige resultater med Nature. Firs procent af de adspurgte rapporterede at bruge ChatGPT enten personligt eller professionelt, hvilket gør det til det mest udbredte værktøj blandt akademikere. Tre fjerdedele af de adspurgte mente, at det i de næste 5 år vil være vigtigt for forskere at udvikle AI-kapaciteter til at udføre deres arbejde.

"AI-tekstbehandlere eksisterede før, men der skete et markant skift med udgivelsen af ​​disse meget kraftfulde store sprogmodeller," forklarer James Zou, en AI-forsker ved Stanford University i Californien. Chatbotten ChatGPT, udviklet af det San Francisco-baserede teknologifirma OpenAI, var katalysatoren for denne ændring.

For at markere ChatGPTs anden fødselsdag kompilerede Nature brugsdata og talte med videnskabsmænd om, hvordan ChatGPT har ændret forskningslandskabet.

ChatGPT i tal

• 60.000: Die Mindestanzahl an wissenschaftlichen Arbeiten, die 2023 veröffentlicht wurden und voraussichtlich mit Hilfe eines großen Sprachmodells (LLM) verfasst wurden 1. Dies entspricht etwas mehr als 1 % aller Artikel in der von dem Forschungsteam untersuchten Dimensions-Datenbank akademischer Veröffentlichungen.
• 10 %: Der Mindestanteil der Forschungspapiere, die von Mitgliedern der biomedizinischen Gemeinschaft in der ersten Jahreshälfte 2024 veröffentlicht wurden und voraussichtlich ihre Abstracts mit Unterstützung eines LLM verfasst haben 2. Eine andere Studie schätzte diesen Anteil für die Informatikgemeinde im Februar sogar auf höhere 17.5 % 3.
• 6.5–16.9 %: Der geschätzte Anteil der Peer-Reviews, die 2023 und 2024 an einer Auswahl von Top-AI-Konferenzen eingereicht wurden und vermutlich erheblich von LLMs generiert wurden 4. Diese Bewertungen beurteilen Forschungspapiere oder Präsentationen, die für die Konferenzen vorgeschlagen werden.

Skriveassistent

Alle disse tal, bestemt ved at evaluere mønstre og nøgleord i tekster, der er karakteristiske for LLM'er, er sandsynligvis konservative skøn, siger Debora Weber-Wulff, en datalog og plagiatforsker ved HTW Berlin. Deres arbejde viser, at detektionsværktøjer ofte fejler, når det kommer til at afgøre, om et papir er skrevet med hjælp fra AI 5.

I løbet af de sidste to år har forskere fundet ud af, at brugen af ​​ChatGPT til at skabe abstracts, samt ansøgninger om støtte og støttebreve til studerende, giver dem mulighed for at fokusere på komplekse opgaver. "De ting, der er vores tid værd, er de svære spørgsmål og de kreative hypoteser," siger Milton Pividori, en medicinsk informatiker ved University of Colorado School of Medicine i Aurora.

Forskere rapporterer, at LLM'er er særligt nyttige til at overvinde sprogbarrierer. "Det demokratiserer skrivning og hjælper folk, for hvem engelsk er et andet sprog," forklarer Gabe Gomes, kemiker ved Carnegie Mellon University i Pittsburgh, Pennsylvania. En analyse offentliggjort på preprint-serveren SSRN forud for peer review i november viste, at kvaliteten af ​​skrivning i artikler af forfattere, hvis førstesprog ikke er engelsk, blev forbedret efter ChatGPT's udgivelse, mere end skrivningen af ​​forfattere, der behersker engelsk. 6.

Siden udgivelsen i 2022 har ChatGPT gennemgået flere opgraderinger. GPT-4, udgivet i marts 2023, imponerede brugerne med sin evne til at generere menneskelignende tekster. Den seneste model, o1, som blev annonceret i september og tilgængelig for nogle betalende kunder såvel som visse udviklere i test, siger OpenAI, at det kan "analysere komplekse opgaver og løse vanskeligere problemer end tidligere modeller inden for naturvidenskab, programmering og matematik." Kyle Kabasares, en dataforsker ved Bay Area Environmental Research Institute i Moffett Field, Californien, brugte o1 til at at gengive noget kode fra sit doktorgradsprojekt. Da han indtastede oplysningerne fra metodeafsnittet i sit forskningspapir, skrev AI-systemet kode på kun en time, som havde taget ham næsten et år af hans kandidatstudier at skabe.

Begrænsninger og potentiale

Et område, hvor ChatGPT og lignende AI-systemer har været mindre succesfulde, er at udføre litteraturgennemgange, siger Pividori. "De hjælper os ikke rigtig til at være mere produktive," forklarer han, fordi en forsker skal læse og forstå de relevante artikler fuldt ud. "Hvis papiret ikke er centralt for din forskning, kan du muligvis bruge AI-værktøjer til at opsummere det," tilføjer han. Men LLM'er har vist sig at hallucinere 7 – det vil sige, de udgør information. De kunne for eksempel tale om tal, der ikke engang findes i en artikel.

En anden bekymring for forskere, når de bruger LLM'er, er databeskyttelse. For eksempel, når forskere indtaster upublicerede originale data i et af disse AI-værktøjer for at skrive et papir, er der risiko for, at indholdet bliver brugt til at træne opdaterede versioner af disse modeller. "Det er sorte kasser," forklarer Weber-Wulff. "Du aner ikke, hvad der sker med de data, du uploader der."

For at undgå denne risiko vælger nogle forskere mindre, lokale modeller i stedet for ChatGPT. "Du kører det på din computer, og intet deles eksternt," siger Pividori. Han tilføjer, at visse ChatGPT-abonnementer sikrer, at dine data ikke bliver brugt til at træne modellen.

Et stort spørgsmål, som forskere har forfulgt i det seneste år, er, om ChatGPT vil gå ud over rollen som en virtuel assistent og en AI-forsker kan være. Nogle tidlige indsatser tyder på, at dette er muligt. Zou leder udviklingen af ​​et virtuelt laboratorium, hvor forskellige LLM'er påtager sig rollen som videnskabsmænd på et tværfagligt team, mens en menneskelig videnskabsmand giver feedback på højt niveau. "De arbejder sammen om at formulere nye forskningsprojekter," siger han. Sidste måned offentliggjorde Zou og hans kolleger resultaterne af et af disse projekter på preprint-serveren bioRxiv forud for peer review 8. Det virtuelle laboratorium designede nanobodies - en type små antistoffer - der er i stand til at binde sig til varianter af SARS-CoV-2 coronavirus, der forårsagede COVID-19-pandemien. Menneskelige forskere validerede arbejdet gennem eksperimenter og identificerede to lovende kandidater til yderligere undersøgelse.

Gomes og hans kolleger er også begejstrede for muligheden for at bruge ChatGPT i laboratoriet. Hun bruge værktøjet til at udføre flere kemiske reaktioner ved hjælp af et robotsystem, de implementerede sidst sidste år. "Forventningen er, at disse modeller vil være i stand til at opdage ny videnskab," siger Gomes.

1. Gray, A. Fortryk på arXiv https://doi.org/10.48550/arXiv.2403.16887 (2024).

2. Kobak, D., González-Márquez, R., Horvát, E.-Á. & Lause, J. Fortryk på arXiv https://doi.org/10.48550/arXiv.2406.07016 (2024).

3. Liang, W. et al. Fortryk på arXiv https://doi.org/10.48550/arXiv.2404.01268 (2024).

4. Liang, W. et al. Fortryk på arXiv https://doi.org/10.48550/arXiv.2403.07183 (2024).

5. Weber-Wulff, D. et al. Int. J. Educ. Integr. 19, 26 (2023).

   Artikel
   PubMed
   
   Google Scholar

6. Liang, Y., Yang, T. & Zhu, F. Fortryk på SSRN https://doi.org/10.2139/ssrn.4992755 (2024).

7. Farquhar, S. et al. Nature 630, 625–630 (2024).

   Artikel
   PubMed
   
   Google Scholar

8. Swanson, K., Wu, W., Bulaong, N. L., Pak, J. E. & Zou, J. Preprint on bioRxiv https://doi.org/10.1101/2024.11.11.623004 (2024).

Download referencer