AI-genererade bilder äventyrar vetenskapen – det är så forskare vill känna igen dem

AI-genererade bilder äventyrar vetenskapen – det är så forskare vill känna igen dem

Forskare manipulerar siffror och massproducerar falska papper Obligatoriska förlag – problematiska manuskript har länge varit ett besvär i den vetenskapliga litteraturen. Vetenskapliga detektiver arbetar outtröttligt, för att avslöja detta fel och korrigera det vetenskapliga underlaget. Men deras jobb blir allt svårare eftersom ett nytt, kraftfullt verktyg för bedragare har dykt upp: generativt artificiell intelligens (AI).

"Generativ AI utvecklas mycket snabbt," säger Jana Christopher, Bildintegritetsanalytiker på FEBS Press i Heidelberg, Tyskland. "Människor som arbetar i mitt område – bildintegritet och publiceringspolicyer – blir allt mer oroliga för de möjligheter det ger."

Lättheten med vilken generativa AI-verktygstexter, bilder och data väcker farhågor för en alltmer opålitlig vetenskaplig litteratur, översvämmad med falska siffror, manuskript och slutsatser som är svåra för människor att upptäcka. En kapprustning håller redan på att växa fram när integritetsspecialister, förlag och teknikföretag arbetar hårt för att Utveckla AI-verktyg, som kan hjälpa till att snabbt identifiera vilseledande, AI-genererade element i specialistartiklar.

"Det är en skrämmande utveckling", säger Christopher. "Men det finns också smarta människor och bra strukturella förändringar som föreslås."

Forskningsintegritetsexperter rapporterar att även om AI-genererad text redan är tillåten under vissa omständigheter av många tidskrifter, kan användning av sådana verktyg för att skapa bilder eller annan data anses vara mindre acceptabelt. "Inom en snar framtid kan vi vara okej med AI-genererad text", säger Elisabeth Bik, bildkriminalteknisk specialist och konsult i San Francisco, Kalifornien. "Men jag drar gränsen när det gäller att generera data."

Bik, Christopher och andra föreslår att data, inklusive bilder, skapade med generativ AI redan används i stor utsträckning i litteraturen, och att obligatoriska utgivare använder AI-verktyg för att producera manuskript i volym (se "Frågesport: Kan du hitta AI-förfalskning?").

Att identifiera AI-producerade bilder utgör en enorm utmaning: de är ofta nästan omöjliga att skilja från riktiga bilder med blotta ögat. "Vi känner att vi stöter på AI-genererade bilder varje dag", säger Christopher. "Men om du inte kan bevisa det finns det egentligen väldigt lite du kan göra."

Det finns några tydliga exempel på användningen av generativ AI i vetenskapliga bilder, som nu ökända bild av en råtta med absurt stora könsorgan och meningslösa etiketter, skapade med bildverktyget Midjourney. Grafiken, som publicerades av en branschtidning i februari, orsakade storm på sociala medier och var dras tillbaka några dagar senare.

De flesta fall är dock inte så uppenbara. Figurer skapade med Adobe Photoshop eller liknande verktyg före tillkomsten av generativ AI - särskilt inom molekylär och cellulär biologi - innehåller ofta slående egenskaper som kan kännas igen av detektiver, som identiska bakgrunder eller den ovanliga bristen på ränder eller fläckar. AI-genererade karaktärer visar ofta inte sådana egenskaper. "Jag ser många papper som får mig att tro att dessa Western blottar inte ser riktiga ut - men det finns ingen rökpistol", säger Bik. "Allt du kan säga är att de bara ser konstiga ut, och det är naturligtvis inte tillräckligt med bevis för att kontakta redaktören."

Det finns dock tecken på att AI-genererade karaktärer förekommer i publicerade manuskript. Texter skrivna med hjälp av verktyg som ChatGPT ökar i artiklar, uppenbart genom typiska chatbot-fraser som författare glömmer att ta bort och distinkta ord som AI-modeller brukar använda. "Så vi måste anta att detta även händer för data och bilder", säger Bik.

En annan indikation på att bedragare använder sofistikerade bildverktyg är att de flesta av de problem som utredarna för närvarande hittar förekommer i verk som är flera år gamla. "De senaste åren har vi sett färre och färre problem med bilder", säger Bik. "Jag tror att de flesta som ertappades med att manipulera bilder började skapa renare bilder."

Att skapa rena bilder med generativ AI är inte svårt. Kevin Patrick, en vetenskaplig bilddetektiv känd som Cheshire på sociala medier, har visat hur enkelt det kan vara och publicerade sina fynd på X. Med hjälp av Photoshops AI-verktyg Generative Fill skapade Patrick realistiska bilder – som skulle kunna dyka upp i vetenskapliga tidningar – av tumörer, cellkulturer, Western blots och mer. De flesta bilder tog mindre än en minut att skapa (se "Generera falsk vetenskap").

"Om jag kan göra det, så kommer säkert de som får betalt för att skapa falska data att göra det också", säger Patrick. "Det finns förmodligen en hel del annan data som skulle kunna genereras med hjälp av verktyg som detta."

Vissa förlag rapporterar att de har hittat bevis på AI-genererat innehåll i publicerade studier. Detta inkluderar PLoS, som har larmats om misstänkt innehåll och hittat bevis på AI-genererad text och data i artiklar och insändare genom interna utredningar, säger Renée Hoch, redaktör för PLoS:s publiceringsetiska team i San Francisco, Kalifornien. (Hoch noterar att användningen av AI inte är förbjuden i PLoS-tidskrifter och att AI-policyn är baserad på författaransvar och transparenta avslöjanden.)

Andra verktyg kan också ge möjligheter för människor som vill skapa falskt innehåll. Förra månaden publicerade forskare en 1 generativ AI-modell för att skapa högupplösta mikroskopbilder – och några integritetsspecialister uttryckte oro över detta arbete. "Den här tekniken kan lätt användas av människor med dåliga avsikter för att snabbt skapa hundratals eller tusentals falska bilder", säger Bik.

Yoav Shechtman från Technion–Israel Institute of Technology i Haifa, verktygets skapare, säger att verktyget är användbart för att skapa träningsdata för modeller eftersom högupplösta mikroskopbilder är svåra att få tag på. Men han tillägger att det inte är användbart för att generera förfalskningar eftersom användarna har liten kontroll över resultaten. Befintlig bildredigeringsprogram som Photoshop är mer användbar för att manipulera figurer, föreslår han.

Även om mänskliga ögon kanske inte kan Känn igen AI-genererade bilder, AI skulle möjligen kunna göra detta (se "AI-bilder är svåra att känna igen").

Utvecklarna av verktyg som Imagetwin och Proofig, som använder AI för att upptäcka integritetsproblem i vetenskapliga bilder, utökar sin programvara för att filtrera bilder skapade av generativ AI. Eftersom sådana bilder är så svåra att känna igen skapar båda företagen sina egna databaser med generativa AI-bilder för att träna sina algoritmer.

Proofig har redan släppt en funktion i sitt verktyg för att känna igen AI-genererade mikroskopbilder. Medgrundare Dror Kolodkin-Gal i Rehovot, Israel, säger att vid testning med tusentals AI-genererade och riktiga bilder från artiklar, identifierade algoritmen AI-bilder korrekt 98 % av gångerna och hade en falsk positiv frekvens på 0,02 %. Dror tillägger att teamet nu försöker förstå vad exakt deras algoritm upptäcker.

"Jag har stora förhoppningar på de här verktygen", säger Christopher. Hon konstaterar dock att deras resultat alltid måste utvärderas av experter som kan verifiera de problem de indikerar. Christopher har ännu inte sett några bevis för att programvara för AI-bildigenkänning är tillförlitlig (Proofigs interna utvärdering har ännu inte publicerats). Dessa verktyg är "begränsade, men verkligen mycket användbara för att tillåta oss att skala våra inlämningsgranskningar", tillägger hon.

Många förlag och forskningsinstitutioner använder det redan Bevis och Imagetwin. Till exempel använder Science-tidskrifter Proofig för att kontrollera integritetsproblem i bilder. Enligt Meagan Phelan, kommunikationschef för Science i Washington DC, har verktyget ännu inte upptäckt några AI-genererade bilder.

Springer Nature, Natures utgivare, utvecklar sina egna text- och bilddetekteringsverktyg, kallade Geppetto och SnapShot, som flaggar oegentligheter som sedan utvärderas av människor. (Nyhetsteamet Nature är redaktionellt oberoende av sin utgivare.)

Publiseringsgrupper vidtar också åtgärder för att svara på AI-genererade bilder. En talesman för International Association of Scientific, Technical and Medical (STM) Publishers i Oxford, Storbritannien, sa att de tar frågan "mycket allvarligt" och reagerar på initiativ som t.ex. United2Act och STM Integrity Hub, som tar upp aktuella frågor med obligatorisk publicering och andra akademiska integritetsfrågor.

Christopher, som leder en STM-arbetsgrupp för bildändringar och dupliceringar, säger att det finns en växande medvetenhet om att det kommer att bli nödvändigt att utveckla sätt att verifiera rådata - till exempel genom att märka bilder tagna med mikroskop med osynliga vattenstämplar liknande de som används Vattenstämplar i AI-genererade texter – Det kan vara rätt sätt. Detta kräver ny teknik och nya standarder för enhetstillverkare, tillägger hon.

Patrick och andra oroar sig för att utgivare inte agerar tillräckligt snabbt för att ta itu med hotet. "Vi fruktar att detta bara kommer att bli ytterligare en generation av problem i litteraturen som de inte tar upp förrän det är för sent", säger han.

Ändå är vissa optimistiska att det AI-genererade innehållet som visas i artiklar idag kommer att upptäckas i framtiden.

"Jag är övertygad om att tekniken kommer att förbättras till den grad att den känner igen den data som skapas idag - för någon gång kommer detta att anses vara relativt grovt", säger Patrick. "Bedragare ska inte sova gott på natten. De kan lura den pågående processen, men jag tror inte att de kan lura processen för alltid."

1. Saguy, A. et al. Small Meth. https://doi.org/10.1002/smtd.202400672 (2024).

   Artikel  
   
   Google Scholar  

Ladda ner referenser