Las imágenes generadas por IA ponen en peligro la ciencia: así quieren reconocerlas los investigadores

Las imágenes generadas por IA ponen en peligro la ciencia: así quieren reconocerlas los investigadores

Científicos manipulan números y producen en masa documentos falsos Editores obligatorios – Los manuscritos problemáticos han sido durante mucho tiempo una molestia en la literatura científica. Los detectives científicos trabajan incansablemente, para exponer estas irregularidades y corregir el registro científico. Pero su trabajo se está volviendo cada vez más difícil a medida que ha surgido una nueva y poderosa herramienta para los estafadores: la generación de energía. inteligencia artificial (AI).

"La IA generativa se está desarrollando muy rápidamente", afirma Jana Cristóbal, Analista de integridad de imagen en FEBS Press en Heidelberg, Alemania. "La gente que trabaja en mi área (integridad de imagen y políticas editoriales) está cada vez más preocupada por las posibilidades que presenta".

La facilidad con la que textos de herramientas de IA generativa, imágenes y datos hacen temer una literatura científica cada vez menos fiable, inundada de cifras falsas, manuscritos y conclusiones difíciles de detectar para los humanos. Ya está surgiendo una carrera armamentista a medida que los especialistas en integridad, los editores y las empresas de tecnología trabajan diligentemente para Desarrollar herramientas de IA, que puede ayudar a identificar rápidamente elementos engañosos generados por IA en artículos especializados.

"Es un hecho aterrador", dice Christopher. "Pero también hay gente inteligente y se proponen buenos cambios estructurales".

Los expertos en integridad de la investigación informan que, aunque muchas revistas ya permiten el texto generado por IA en determinadas circunstancias, el uso de dichas herramientas para crear imágenes u otros datos puede considerarse menos aceptable. "En un futuro próximo, es posible que estemos de acuerdo con el texto generado por IA", dice Elisabeth Bik, especialista y consultor forense de imágenes en San Francisco, California. "Pero trazo un límite cuando se trata de generar datos".

Bik, Christopher y otros sugieren que los datos, incluidas las imágenes, creados con IA generativa ya se utilizan ampliamente en la literatura, y que los editores obligatorios están utilizando herramientas de IA para producir manuscritos en grandes cantidades (consulte 'Prueba: ¿Puedes detectar falsificaciones de IA?').

Identificar imágenes producidas por IA plantea un enorme desafío: a menudo es casi imposible distinguirlas de las imágenes reales a simple vista. "Sentimos que nos topamos con imágenes generadas por IA todos los días", dice Christopher. "Pero a menos que puedas demostrarlo, en realidad es muy poco lo que puedes hacer".

Hay algunos ejemplos claros del uso de la IA generativa en imágenes científicas, como el imagen ahora infame de una rata con genitales absurdamente grandes y etiquetas sin sentido, creadas con la herramienta de imágenes Midjourney. El gráfico, publicado por una revista especializada en febrero, causó una tormenta en las redes sociales y fue retirado unos días después.

Sin embargo, la mayoría de los casos no son tan obvios. Las figuras creadas con Adobe Photoshop o herramientas similares antes de la llegada de la IA generativa (particularmente en biología molecular y celular) a menudo contienen características sorprendentes que los detectives pueden reconocer, como fondos idénticos o la inusual falta de rayas o manchas. Los personajes generados por IA a menudo no muestran tales características. "Veo muchos artículos que me hacen pensar que estas manchas occidentales no parecen reales, pero no hay prueba irrefutable", dice Bik. "Todo lo que se puede decir es que se ven extraños y, por supuesto, eso no es evidencia suficiente para contactar al editor".

Sin embargo, hay indicios de que están apareciendo personajes generados por IA en manuscritos publicados. Los textos escritos con herramientas como ChatGPT están aumentando en los artículos, lo que se evidencia en las frases típicas de los chatbots que los autores olvidan eliminar y en las palabras distintivas que los modelos de IA tienden a usar. “Por tanto, debemos suponer que esto también ocurre con los datos y las imágenes”, afirma Bik.

Otro indicio de que los estafadores están utilizando sofisticadas herramientas de imágenes es que la mayoría de los problemas que los investigadores encuentran actualmente aparecen en trabajos que tienen varios años de antigüedad. "En los últimos años hemos visto cada vez menos problemas con las imágenes", afirma Bik. "Creo que la mayoría de las personas que fueron sorprendidas manipulando imágenes comenzaron a crear imágenes más limpias".

Crear imágenes limpias con IA generativa no es difícil. Kevin Patrick, un detective de imágenes científico conocido como Cheshire en las redes sociales, demostró lo fácil que puede ser y publicó sus hallazgos sobre X. Utilizando la herramienta de inteligencia artificial Generative Fill de Photoshop, Patrick creó imágenes realistas, que podrían aparecer en artículos científicos, de tumores, cultivos celulares, transferencias Western y más. La mayoría de las imágenes tardaron menos de un minuto en crearse (consulte "Generación de ciencia falsa").

"Si puedo hacer eso, seguramente aquellos a quienes se les paga por crear datos falsos también lo harán", dice Patrick. "Probablemente haya muchos otros datos que podrían generarse utilizando herramientas como esta".

Algunos editores informan haber encontrado evidencia de contenido generado por IA en estudios publicados. Esto incluye a PLoS, que ha sido alertado sobre contenido sospechoso y encontró evidencia de texto y datos generados por IA en artículos y presentaciones a través de investigaciones internas, dice Renée Hoch, editora del equipo de ética de publicaciones de PLoS en San Francisco, California. (Hoch señala que el uso de IA no está prohibido en las revistas PLoS y que la política de IA se basa en la responsabilidad del autor y la divulgación transparente).

Otras herramientas también podrían brindar oportunidades a las personas que quieran crear contenido falso. El mes pasado, los investigadores publicaron un 1 modelo generativo de IA para crear imágenes microscópicas de alta resolución, y algunos especialistas en integridad expresaron preocupaciones sobre este trabajo. "Esta tecnología puede ser utilizada fácilmente por personas con malas intenciones para crear rápidamente cientos o miles de imágenes falsas", dice Bik.

Yoav Shechtman del Technion-Instituto de Tecnología de Israel en Haifa, el creador de la herramienta, dice que la herramienta es útil para crear datos de entrenamiento para modelos porque las imágenes microscópicas de alta resolución son difíciles de obtener. Pero añade que no sirve para generar falsificaciones porque los usuarios tienen poco control sobre los resultados. Los programas de edición de imágenes existentes, como Photoshop, son más útiles para manipular figuras, sugiere.

Aunque es posible que los ojos humanos no puedan Reconocer imágenes generadas por IA, la IA podría hacer esto (consulte “Las imágenes de IA son difíciles de reconocer”).

Los desarrolladores de herramientas como Imagetwin y Proofig, que utilizan IA para detectar problemas de integridad en imágenes científicas, están ampliando su software para filtrar imágenes creadas por IA generativa. Debido a que estas imágenes son tan difíciles de reconocer, ambas empresas están creando sus propias bases de datos de imágenes generativas de IA para entrenar sus algoritmos.

Proofig ya ha lanzado una función en su herramienta para reconocer imágenes microscópicas generadas por IA. El cofundador Dror Kolodkin-Gal en Rehovot, Israel, dice que al realizar pruebas con miles de imágenes reales y generadas por IA de artículos, el algoritmo identificó correctamente imágenes de IA el 98% de las veces y tuvo una tasa de falsos positivos del 0,02%. Dror añade que el equipo ahora está intentando comprender qué detecta exactamente su algoritmo.

"Tengo grandes esperanzas en estas herramientas", dice Christopher. Sin embargo, señala que sus resultados siempre deben ser evaluados por expertos que puedan verificar los problemas que indican. Christopher aún no ha visto ninguna evidencia de que el software de reconocimiento de imágenes con IA sea confiable (la evaluación interna de Proofig aún no se ha publicado). Estas herramientas son "limitadas, pero ciertamente muy útiles para permitirnos ampliar nuestros esfuerzos de revisión de envíos", añade.

Muchas editoriales e instituciones de investigación ya lo están utilizando. Prueba y Imagen gemela. Por ejemplo, las revistas científicas utilizan Proofig para comprobar problemas de integridad en imágenes. Según Meagan Phelan, directora de comunicaciones de Science en Washington DC, la herramienta aún no ha descubierto ninguna imagen generada por IA.

Springer Nature, el editor de Nature, está desarrollando sus propias herramientas de detección de texto e imágenes, llamadas Geppetto y SnapShot, que señalan irregularidades que luego son evaluadas por humanos. (El equipo de noticias de Nature es editorialmente independiente de su editor).

Los grupos editoriales también están tomando medidas para responder a las imágenes generadas por IA. Un portavoz de la Asociación Internacional de Editores Científicos, Técnicos y Médicos (STM) en Oxford, Reino Unido, dijo que se estaba tomando el tema "muy en serio" y que estaba respondiendo a iniciativas como United2Act y el STM Integrity Hub, que aborda problemas actuales relacionados con la publicación obligatoria y otras cuestiones de integridad académica.

Christopher, que dirige un grupo de trabajo de STM sobre alteraciones y duplicaciones de imágenes, dice que existe una creciente conciencia de que será necesario desarrollar formas de verificar los datos sin procesar, por ejemplo, etiquetando imágenes tomadas con microscopios con marcas de agua invisibles similares a las utilizadas. Marcas de agua en textos generados por IA – esa podría ser la manera correcta. Esto requiere nuevas tecnologías y nuevos estándares para los fabricantes de dispositivos, añade.

A Patrick y otros les preocupa que los editores no estén actuando con la suficiente rapidez para abordar la amenaza. "Tememos que esto sea sólo otra generación de problemas en la literatura que no abordan hasta que sea demasiado tarde", dice.

Aún así, algunos son optimistas de que el contenido generado por IA que aparece en los artículos de hoy se descubrirá en el futuro.

"Tengo plena confianza en que la tecnología mejorará hasta el punto de reconocer los datos que se crean hoy, porque en algún momento esto se considerará relativamente burdo", afirma Patrick. "Los estafadores no deberían dormir bien por la noche. Podrían engañar al proceso actual, pero no creo que puedan engañarlo para siempre".

1. Saguy, A. et al. Pequeña metanfetamina. https://doi.org/10.1002/smtd.202400672 (2024).

   Artículo  
   
   Google Académico  

Descargar referencias