«Un problema real»: la IA usa estudios científicos retirados para responder a tus preguntas sin advertirte

La fiabilidad de la inteligencia artificial (IA) ha sido objeto de debate en los últimos tiempos, especialmente tras el controvertido lanzamiento de GPT-5 por parte de OpenAI, donde la propia compañía admitió errores significativos. Este episodio ha suscitado inquietudes entre los desarrolladores de tecnología, quienes se enfrentan a un desafío mayor: la utilización de material de investigaciones científicas que han sido retractadas por parte de chatbots y otras herramientas de IA. Este hallazgo, confirmado por MIT Technology Review, plantea serias dudas sobre la credibilidad de la información generada por estas plataformas, lo que podría poner en riesgo futuras inversiones en el ámbito científico.

Los buscadores y chatbots de IA, aunque son capaces de generar enlaces y respuestas, corren el riesgo de basarse en contenido de artículos que han sido desautorizados. Weikuan Gu, un investigador médico, advierte que la mezcla de información real y engañosa puede convertirse en un problema grave si los usuarios no verifican la validez de los datos que reciben, especialmente en el contexto de investigaciones científicas. En un estudio reciente, el equipo de Gu interrogó a ChatGPT (GPT-4o) sobre 21 artículos retractados de imagenología médica, encontrando que el chatbot citó trabajos desautorizados en cinco ocasiones y solo advirtió sobre la retractación en tres.

El uso de la IA se ha expandido a diversas áreas, incluyendo la orientación médica y la revisión de literatura académica, impulsado por inversiones significativas, como los 75 millones de dólares otorgados por la Fundación Nacional de Ciencias de EE. UU. para el desarrollo de modelos de IA. Yuanxi Fu, experta en ciencia de la información, enfatiza la necesidad de que las herramientas públicas indiquen las retractaciones como un indicador de calidad, dado que estos trabajos han sido eliminados del registro científico.

El problema no se limita a ChatGPT. En junio, MIT Technology Review evaluó otras herramientas de investigación como Elicit, Ai2 ScholarQA, Perplexity y Consensus, encontrando que al investigar 21 artículos retractados, estas plataformas referenciaron entre cinco y dieciocho sin ninguna advertencia. Algunas empresas, como Consensus, han comenzado a reaccionar; Christian Salem, representante de esta compañía, ha integrado datos de retractación, logrando reducir a cinco los artículos citados en una prueba realizada en agosto.

Sin embargo, la solución no es tan sencilla como crear bases de datos de retractaciones. Ivan Oransky, de Retraction Watch, señala que establecer un registro exhaustivo requeriría un esfuerzo considerable y un tiempo notable, ya que implicaría «hacerlo todo a mano». Además, la falta de uniformidad entre editores en las notificaciones de retractación, que pueden variar entre «corrección», «expresión de preocupación» o «erratum», complica la identificación automática de estos artículos.

Por último, la desactualización de los datos que alimentan a la IA agrava aún más la situación, ya que un artículo que se revoque después del corte de entrenamiento de la IA no se reflejará en sus respuestas. Expertos como Oransky y Aaron Tay abogan por ofrecer más contexto y fomentar la prudencia tanto entre usuarios como desarrolladores. «Hay que ser escéptico», concluyen, subrayando la importancia de la verificación en un mundo donde la información es cada vez más accesible pero también más engañosa.

¿NO ES IRÓNICO QUE EN UNA ERA DE INFORMACIÓN INSTANTÁNEA, LA VERDAD SEA LO MÁS DIFÍCIL DE ENCONTRAR?

—

APARECEN EN EL ARTÍCULO ORIGINAL:
Aaron Tay
Christian Salem
Fundación Nacional de Ciencias de EE. UU.
Ivan Oransky
MIT Technology Review
Retraction Watch
Weikuan Gu
Yuanxi Fu

Fuente: LA RAZÓN | URL: Ver noticia original