ChatGPT går to: Hvordan AI-chatboten endret forskernes liv

ChatGPT går to: Hvordan AI-chatboten endret forskernes liv

I de to årene siden Deler ChatGPT til offentligheten, forskerne bruker den til å formidle sine forbedre vitenskapelige tekster, gjennomgå den vitenskapelige litteraturen og Skriv kode for å analysere data. Mens noen mener at chatboten, som ble populær 30. november 2022, øker produktiviteten til forskerne, andre frykter at han Plagiat gjort enklere, introduserer unøyaktigheter i forskningsartikler og bruker store mengder energi.

Hoboken, New Jersey-basert forlag Wiley undersøkte 1043 forskere i mars og april om deres bruk av generative AI-verktøy som ChatGPT og delte de foreløpige resultatene med Nature. 80 prosent av respondentene rapporterte å bruke ChatGPT enten personlig eller profesjonelt, noe som gjør det til det mest brukte verktøyet blant akademikere. Tre fjerdedeler av respondentene mente at det i løpet av de neste 5 årene vil være viktig for forskere å utvikle AI-evner for å gjøre jobben sin.

"AI-tekstbehandlere fantes før, men et betydelig skifte skjedde med utgivelsen av disse veldig kraftige store språkmodellene," forklarer James Zou, en AI-forsker ved Stanford University i California. Chatboten ChatGPT, utviklet av det San Francisco-baserte teknologiselskapet OpenAI, var katalysatoren for denne endringen.

For å markere ChatGPTs andre bursdag, samlet Nature bruksdata og snakket med forskere om hvordan ChatGPT har endret forskningslandskapet.

ChatGPT i tall

• 60.000: Die Mindestanzahl an wissenschaftlichen Arbeiten, die 2023 veröffentlicht wurden und voraussichtlich mit Hilfe eines großen Sprachmodells (LLM) verfasst wurden 1. Dies entspricht etwas mehr als 1 % aller Artikel in der von dem Forschungsteam untersuchten Dimensions-Datenbank akademischer Veröffentlichungen.
• 10 %: Der Mindestanteil der Forschungspapiere, die von Mitgliedern der biomedizinischen Gemeinschaft in der ersten Jahreshälfte 2024 veröffentlicht wurden und voraussichtlich ihre Abstracts mit Unterstützung eines LLM verfasst haben 2. Eine andere Studie schätzte diesen Anteil für die Informatikgemeinde im Februar sogar auf höhere 17.5 % 3.
• 6.5–16.9 %: Der geschätzte Anteil der Peer-Reviews, die 2023 und 2024 an einer Auswahl von Top-AI-Konferenzen eingereicht wurden und vermutlich erheblich von LLMs generiert wurden 4. Diese Bewertungen beurteilen Forschungspapiere oder Präsentationen, die für die Konferenzen vorgeschlagen werden.

Skriveassistent

Alle disse tallene, bestemt ved å evaluere mønstre og nøkkelord i tekster som er karakteristiske for LLM-er, er sannsynligvis konservative estimater, sier Debora Weber-Wulff, informatiker og plagiatforsker ved HTW Berlin. Arbeidet deres viser at deteksjonsverktøy ofte mislykkes når det gjelder å avgjøre om et papir ble skrevet ved hjelp av AI 5.

I løpet av de siste to årene har forskere funnet ut at bruk av ChatGPT til å lage sammendrag, samt stipendsøknader og støttebrev til studenter, lar dem fokusere på komplekse oppgaver. "De tingene som er verdt tiden vår er de vanskelige spørsmålene og de kreative hypotesene," sier Milton Pividori, en medisinsk informatiker ved University of Colorado School of Medicine i Aurora.

Forskere rapporterer at LLM-er er spesielt nyttige for å overvinne språkbarrierer. "Det demokratiserer skriving og hjelper folk som engelsk er et andrespråk for," forklarer Gabe Gomes, kjemiker ved Carnegie Mellon University i Pittsburgh, Pennsylvania. En analyse publisert på preprint-serveren SSRN i forkant av fagfellevurdering i november fant at kvaliteten på skriving i artikler av forfattere hvis førstespråk ikke er engelsk ble forbedret etter ChatGPTs publisering, mer enn skrivingen av forfattere som behersker engelsk flytende 6.

Siden utgivelsen i 2022 har ChatGPT gjennomgått flere oppgraderinger. GPT-4, publisert i mars 2023, imponerte brukere med sin evne til å generere menneskelignende tekster. Den nyeste modellen, o1, som ble annonsert i september og tilgjengelig for noen betalende kunder så vel som visse utviklere i testing, sier OpenAI at den kan "analysere komplekse oppgaver og løse vanskeligere problemer enn tidligere modeller innen vitenskap, programmering og matematikk." Kyle Kabasares, en dataforsker ved Bay Area Environmental Research Institute i Moffett Field, California, brukte o1 til å å gjengi noe kode fra doktorgradsprosjektet hans. Da han skrev inn informasjonen fra metodedelen av forskningsoppgaven hans, skrev AI-systemet kode på bare en time som hadde tatt ham nesten et år av hovedstudiene å lage.

Begrensninger og potensial

Et område der ChatGPT og lignende AI-systemer har vært mindre vellykket, er å gjennomføre litteraturgjennomganger, sier Pividori. "De hjelper oss egentlig ikke å bli mer produktive," forklarer han, fordi en forsker må lese og forstå de relevante artiklene i sin helhet. "Hvis artikkelen ikke er sentral i forskningen din, kan du kanskje bruke AI-verktøy for å oppsummere det," legger han til. Men LLM-er har vist seg å hallusinere 7 – det vil si at de utgjør informasjon. De kan for eksempel snakke om tall som ikke en gang finnes i en artikkel.

En annen bekymring for forskere ved bruk av LLM-er er databeskyttelse. For eksempel, når forskere legger inn upubliserte originaldata i et av disse AI-verktøyene for å skrive en oppgave, er det en risiko for at innholdet vil bli brukt til å trene opp oppdaterte versjoner av disse modellene. "Dette er svarte bokser," forklarer Weber-Wulff. "Du aner ikke hva som skjer med dataene du laster opp der."

For å unngå denne risikoen velger noen forskere mindre, lokale modeller i stedet for ChatGPT. "Du kjører den på datamaskinen din og ingenting deles eksternt," sier Pividori. Han legger til at visse ChatGPT-abonnementsplaner sikrer at dataene dine ikke brukes til å trene modellen.

Et stort spørsmål som forskere har forfulgt det siste året er om ChatGPT vil gå utover rollen som en virtuell assistent og en AI-forsker kan være. Noen tidlige anstrengelser tyder på at dette er mulig. Zou leder utviklingen av et virtuelt laboratorium der ulike LLM-er tar på seg rollen som forskere i et tverrfaglig team mens en menneskelig vitenskapsmann gir tilbakemelding på høyt nivå. "De jobber sammen for å formulere nye forskningsprosjekter," sier han. Forrige måned publiserte Zou og hans kolleger resultatene av et av disse prosjektene på preprint-serveren bioRxiv i forkant av fagfellevurdering 8. Det virtuelle laboratoriet designet nanobodies - en type små antistoffer - som er i stand til å binde seg til varianter av SARS-CoV-2-koronaviruset som forårsaket COVID-19-pandemien. Menneskelige forskere validerte arbeidet gjennom eksperimenter og identifiserte to lovende kandidater for videre studier.

Gomes og kollegene hans er også begeistret for muligheten for å bruke ChatGPT i laboratoriet. Hun bruke verktøyet til å utføre flere kjemiske reaksjoner ved hjelp av et robotsystem de implementerte sent i fjor. "Forventningen er at disse modellene vil være i stand til å oppdage ny vitenskap," sier Gomes.

1. Gray, A. Fortrykk på arXiv https://doi.org/10.48550/arXiv.2403.16887 (2024).

2. Kobak, D., González-Márquez, R., Horvát, E.-Á. & Lause, J. Fortrykk på arXiv https://doi.org/10.48550/arXiv.2406.07016 (2024).

3. Liang, W. et al. Fortrykk på arXiv https://doi.org/10.48550/arXiv.2404.01268 (2024).

4. Liang, W. et al. Fortrykk på arXiv https://doi.org/10.48550/arXiv.2403.07183 (2024).

5. Weber-Wulff, D. et al. Int. J. Educ. Integr. 19, 26 (2023).

   Artikkel
   PubMed
   
   Google Scholar

6. Liang, Y., Yang, T. & Zhu, F. Preprint på SSRN https://doi.org/10.2139/ssrn.4992755 (2024).

7. Farquhar, S. et al. Nature 630, 625–630 (2024).

   Artikkel
   PubMed
   
   Google Scholar

8. Swanson, K., Wu, W., Bulaong, N. L., Pak, J. E. & Zou, J. Preprint on bioRxiv https://doi.org/10.1101/2024.11.11.623004 (2024).

Last ned referanser