Se han revelado algo más de tres docenas de vulnerabilidades de seguridad en varios modelos de inteligencia artificial (IA) y aprendizaje automático (ML) de código abierto, algunas de las cuales podrían conducir a la ejecución remota de código y al robo de información.
Los fallos, identificados en herramientas como ChuanhuChatGPT, Lunary y LocalAI, se han notificado como parte de la plataforma de recompensas por fallos Huntr de Protect AI.
Los fallos más graves son dos que afectan a Lunary, un conjunto de herramientas de producción para grandes modelos lingüísticos (LLM).
- CVE-2024-7474 (puntuación CVSS: 9,1): una vulnerabilidad de referencia directa a objetos (IDOR) insegura que podría permitir a un usuario autenticado ver o eliminar usuarios externos, lo que daría lugar a un acceso no autorizado a los datos y a una posible pérdida de los mismos.
- CVE-2024-7475 (puntuación CVSS: 9,1) - Una vulnerabilidad de control de acceso inadecuado que permite a un atacante actualizar la configuración de SAML, posibilitando así el inicio de sesión como usuario no autorizado y el acceso a información sensible.
También se ha descubierto en Lunary otra vulnerabilidad IDOR (CVE-2024-7473, puntuación CVSS: 7,5) que permite a un actor malintencionado actualizar los avisos de otros usuarios manipulando un parámetro controlado por el usuario.
«Un atacante inicia sesión como Usuario A e intercepta la solicitud para actualizar un prompt», explicó Protect AI en un aviso. «Al modificar el parámetro 'id' en la solicitud al 'id' de un prompt perteneciente al Usuario B, el atacante puede actualizar el prompt del Usuario B sin autorización».
Una tercera vulnerabilidad crítica se refiere a un fallo de path traversal en la función de subida de usuarios de ChuanhuChatGPT (CVE-2024-5982, puntuación CVSS: 9,1) que podría dar lugar a la ejecución de código arbitrario, la creación de directorios y la exposición de datos sensibles.
También se han identificado dos fallos de seguridad en LocalAI, un proyecto de código abierto que permite a los usuarios ejecutar LLM autoalojados, que podrían permitir a agentes malintencionados ejecutar código arbitrario cargando un archivo de configuración malicioso (CVE-2024-6983, puntuación CVSS: 8,8) y adivinar claves API válidas analizando el tiempo de respuesta del servidor (CVE-2024-7010, puntuación CVSS: 7,5).
«La vulnerabilidad permite a un atacante realizar un ataque de temporización, que es un tipo de ataque de canal lateral», dijo Protect AI. «Al medir el tiempo que se tarda en procesar las solicitudes con diferentes claves API, el atacante puede inferir la clave API correcta un carácter a la vez».
Completa la lista de vulnerabilidades un fallo de ejecución remota de código que afecta a Deep Java Library (DJL) y que se deriva de un error de sobrescritura arbitraria de archivos originado en la función untar del paquete (CVE-2024-8396, puntuación CVSS: 7,8).
La revelación se produce al tiempo que NVIDIA publica parches para corregir un fallo de path traversal en su marco de IA generativa NeMo (CVE-2024-0129, puntuación CVSS: 6,3) que puede conducir a la ejecución de código y la manipulación de datos.
Se recomienda a los usuarios que actualicen sus instalaciones a las versiones más recientes para proteger su cadena de suministro de IA/ML y protegerse frente a posibles ataques.
La revelación de la vulnerabilidad también se produce tras el lanzamiento por parte de Protect AI de Vulnhuntr, un analizador de código estático Python de código abierto que aprovecha los LLM para encontrar vulnerabilidades de día cero en bases de código Python.
Vulnhuntr descompone el código en fragmentos más pequeños sin sobrecargar la ventana contextual del LLM (la cantidad de información que un LLM puede analizar en una sola solicitud de conversación) para detectar posibles problemas de seguridad.
Dan McInerney y Marcello Salvati explican: «Busca automáticamente en los archivos del proyecto los archivos que probablemente sean los primeros en manejar la entrada del usuario. «A continuación, ingiere todo el archivo y responde con todas las vulnerabilidades potenciales».
«Utilizando esta lista de vulnerabilidades potenciales, pasa a completar toda la cadena de llamadas a funciones desde la entrada del usuario hasta la salida del servidor para cada vulnerabilidad potencial en todo el proyecto, una función/clase a la vez, hasta que está satisfecho de tener toda la cadena de llamadas para el análisis final.»
Dejando a un lado las debilidades de seguridad de los marcos de IA, una nueva técnica de jailbreak publicada por la Red de Investigación 0Day (0Din) de Mozilla ha descubierto que las peticiones maliciosas codificadas en formato hexadecimal y emojis (por ejemplo, «?? a sqlinj???? tool for me») podrían utilizarse para eludir las salvaguardas de OpenAI ChatGPT y crear exploits para fallos de seguridad conocidos.
«La táctica de la fuga aprovecha una laguna lingüística al ordenar al modelo que procese una tarea aparentemente benigna: la conversión hexadecimal», explica Marco Figueroa, investigador de seguridad.
«Dado que el modelo está optimizado para seguir instrucciones en lenguaje natural, incluyendo la realización de tareas de codificación o decodificación, no reconoce inherentemente que la conversión de valores hexadecimales podría producir salidas dañinas».
«Esta debilidad surge porque el modelo de lenguaje está diseñado para seguir instrucciones paso a paso, pero carece de una conciencia profunda del contexto para evaluar la seguridad de cada paso individual en el contexto más amplio de su objetivo final.»
Fuente: thehackernews