Forskere bruker teknikker fra astronomi for å lage datamaskingenererte "Deepfake" bilder å gjenkjenne - som ved første øyekast kan se identisk ut med ekte bilder.

Ved å analysere bilder av ansikter som vanligvis brukes til å studere fjerne galakser, kan astronomer måle hvordan en persons øyne reflekterer lys, noe som kan indikere tegn på bildemanipulasjon.

"Det er ikke et universalmiddel siden vi har falske positive og falske negative," sier Kevin Pimbblet, direktør for Center for Data Science, Artificial Intelligence and Modeling ved University of Hull, Storbritannia. Han presenterte forskningen på Royal Astronomical Societys National Astronomy Meeting 15. juli. "Men denne forskningen tilbyr en potensiell metode, et viktig skritt fremover, for potensielt å legge til testene som kan brukes for å finne ut om et bilde er ekte eller falskt."

Uttrykte bilder

Fremskritt innen kunstig intelligens (AI) gjør det stadig vanskeligere å se forskjellen mellom ekte bilder, videoer og lyd de som er laget av algoritmer, å gjenkjenne. Deepfakes erstatter trekk ved én person eller miljø med andre og kan få det til å se ut som om enkeltpersoner har sagt eller gjort ting de ikke gjorde. Myndighetene advarer om at denne teknologien militariserer og bidrar til spredning av feilinformasjon, for eksempel ved valg, kan brukes.

Ekte bilder bør ha "konsistent fysikk," forklarer Pimbblet, "så refleksjonene du ser i venstre øyeeplet bør være veldig like, men ikke nødvendigvis identiske, med refleksjonene i høyre øyeeplet." Forskjellene er subtile, så forskerne vendte seg til teknikker utviklet for å analysere lys i astronomiske bilder.

Arbeidet, som ennå ikke er publisert, dannet grunnlaget for Adejumoke Owolabis masteroppgave. Owolabi, en dataforsker ved University of Hull, Storbritannia, hentet ekte bilder fra Flickr Faces HQ-datasett og laget falske ansikter ved hjelp av en bildegenerator. Owolabi analyserte deretter refleksjonene fra lyskilder i øynene i bildene ved å bruke to astronomiske målinger: CAS-systemet og Gini-indeksen. CAS-systemet kvantifiserer konsentrasjonen, asymmetrien og jevnheten til et objekts lysfordeling. Denne teknikken har gjort det mulig for astronomer, inkludert Pimbblet, å karakterisere lyset til ekstragalaktiske stjerner i flere tiår. Gini-indeksen måler ulikheten i lysfordelingen i bilder av galakser.

Eine Serie klarer und annotierter Bilder von Deepfake-Augen, die inkonsistente Reflexionen in jedem Auge zeigen.

Ved å sammenligne refleksjonene i en persons øyeepler, var Owolabi i stand til å forutsi riktig om bildet var falskt omtrent 70 % av tiden. Til syvende og sist fant forskerne at Gini-indeksen var bedre enn CAS-systemet til å forutsi om et bilde hadde blitt manipulert.

Brant Robertson, en astrofysiker ved University of California, Santa Cruz, ønsker forskningen velkommen. "Men hvis du kan beregne en verdi som kvantifiserer hvor realistisk et dypfalsk bilde kan se ut, kan du også trene AI-modellen til å produsere enda bedre dypfalske ved å optimalisere den verdien," advarer han.

Zhiwu Huang, en AI-forsker ved University of Southampton, Storbritannia, sier at hans egen forskning ikke har identifisert noen inkonsekvente lysmønstre i øynene til dypfalske bilder. Men "selv om den spesifikke teknikken med å bruke inkonsekvente refleksjoner i øyeeplene kanskje ikke er allment anvendelig, kan slike teknikker være nyttige for å analysere subtile anomalier i belysning, skygger og refleksjoner i forskjellige deler av et bilde," sier han. "Å oppdage inkonsistens i de fysiske egenskapene til lys kan utfylle eksisterende metoder og forbedre den generelle nøyaktigheten til dypfalsk deteksjon."