València, 26 ago (EFE).- Un estudio de la Universitat Politècnica de València (UPV) y la Universidad de Cambridge advierte de las carencias de modelos de inteligencia artificial como ChatGPT tras constatar que los modelos grandes de lenguaje (LLM) de la IA «se pasan de frenada en seguridad» al ignorar el contexto en el que se produce la consulta.
Estas son las conclusiones del trabajo realizado en el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la UPV por el profesor de Investigación del centro INGENIO de CSIC-UPV José Such, junto a investigadores de la Universidad de Cambridge (Reino Unido), que han desarrollado juntos un banco de pruebas que integra el contexto en las evaluaciones de seguridad de los LLM.
Este banco de pruebas, el CASE-Bench, a diferencia de estudios previos que se basan principalmente en la votación mayoritaria, se basa en un análisis con diversos modelos de aprendizaje a distancia (LMD) que revela una «influencia sustancial y significativa del contexto en los juicios humanos» y subraya la necesidad del contexto en las evaluaciones de seguridad, ha señalado este martes la UPV en un comunicado.
Las conclusiones de este estudio se presentaron en la conferencia internacional más destacada en aprendizaje automático, el ICML 2025, que se celebró en Canadá el pasado mes de julio, según ha informado la UPV.
Alinear los grandes modelos de lenguaje con valores humanos
Según el investigador José Such, hay cosas que pueden ser seguras o no, dependiendo del contexto en el que se pregunten y, por ejemplo, «no es igual preguntarle a una de las aplicaciones desarrolladas con estos grandes modelos de lenguaje, como pueda ser ChatGPT, cómo se podría robar una pieza de arte de un museo, si la pregunta viene de un escritor profesional de ficción para su libro o si lo pregunta un maleante para intentar de verdad robarla».
En general, estos modelos grandes de lenguaje no consideran el contexto, por lo que pueden estar negando respuestas por «exceso de seguridad».
Por ello, considera que alinear estos modelos grandes de lenguaje con los valores humanos resulta esencial para su implementación segura y su adopción generalizada.
«Además, los sistemas que usan LLM deben emplear mecanismos de seguridad tradicionales como autenticación y control de acceso basado en roles para poder verificar la información del contexto antes de pasarla a los LLM. Si no, se podría incurrir en otros riesgos como jailbreaking (proceso de eliminar las restricciones de software de un dispositivo para obtener acceso de administrador al sistema operativo y poder instalar aplicaciones y modificar ajustes que el fabricante no permite)», apunta el profesor.
Sobre VRAIN
El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN, en sus sigla en inglés) de la UPV está integrado por ocho grupos de investigación que cuentan con más de 30 años de experiencia en diferentes líneas de investigación en IA.
El proceso de creación de VRAIN comenzó en 2019, fruto de la unión de seis grupos investigadores, en 2020 se fusionó con el Centro de Investigación en Métodos de Producción de Software PROS y en 2021 se constituyó finalmente como Instituto Universitario de Investigación con la aprobación de la Generalitat.
En la actualidad, cuenta con más de 178 investigadores divididos en nueve áreas de investigación con desarrollos aplicados en sectores estratégicos como salud, movilidad, ciencias de la tierra, ciudades inteligentes, educación, redes sociales, agricultura, industria, privacidad/seguridad, robots autónomos, servicios y energía, y sostenibilidad ambiental entre otros.
