Su cadena de suministro de IA probablemente esté comprometida

El problema

En febrero de 2024, investigadores de seguridad de JFrog descubrieron más de 100 modelos de IA maliciosos alojados en Hugging Face, uno de los repositorios de modelos de IA más populares del mundo. Muchos de esos modelos contenían puertas traseras silenciosas diseñadas para ejecutar código en el momento en que alguien los cargaba. Una vez activada, la carga útil otorgaba a los atacantes una shell persistente —un punto de acceso remoto— en la máquina de la víctima. Desde allí, podían desplazarse por su red interna, robar datos o envenenar sus pipelines de entrenamiento.

Esto no fue un ejercicio teórico. Eran modelos reales, disponibles para descarga pública, esperando a ser cargados por cualquier desarrollador de su equipo que necesitara una solución rápida. Los modelos parecían normales. Superaban las comprobaciones básicas. Pero el propio formato de archivo —el formato pickle de Python— es capaz de ejecutar código oculto durante el proceso de carga. Piense en ello como abrir un documento de Word que instala malware de forma silenciosa. Salvo que, en este caso, el «documento» es un modelo de IA en el que su equipo confía.

El problema empeora cuando se comprende que los escáneres diseñados para detectar este tipo de amenazas están fallando. Más del 96 % de los modelos marcados como «no seguros» en los repositorios públicos resultan ser falsos positivos. Esa avalancha de falsas alarmas acostumbra a su equipo de seguridad a ignorar las advertencias. Y enterrados en ese ruido, los investigadores encontraron 25 modelos genuinamente maliciosos: amenazas de día cero que eludieron las herramientas de escaneo estándar.

Por qué esto le importa a su empresa

Esto no es solo un problema de TI. Es un riesgo financiero, legal y operativo que afecta a todas las áreas de su organización.

Empecemos por las cifras:

• El 98 % de las organizaciones tienen empleados que utilizan herramientas de IA no autorizadas, lo que en el sector se conoce como «Shadow AI». Su personal casi con total seguridad está descargando y ejecutando modelos que usted no ha auditado.
• El 43 % de los empleados comparte datos confidenciales con herramientas de IA sin autorización. Eso significa que su información propietaria, los datos de sus clientes y sus secretos comerciales ya podrían estar alojados dentro de un modelo de terceros.
• Las brechas por Shadow AI cuestan ,000 más que las brechas de datos tradicionales, porque el análisis forense es más difícil cuando los datos robados están integrados en los pesos de una red neuronal.
• El 63 % de las organizaciones carece de políticas formales de gobernanza de IA. Si su empresa está en ese grupo, no tendrá una respuesta clara para los reguladores cuando algo salga mal.

También existe un riesgo legal del que la mayoría de los ejecutivos nunca ha oído hablar: el decomiso de modelos (model disgorgement). Se trata de un recurso regulatorio mediante el cual las autoridades obligan a una empresa a destruir un modelo de IA completo por haber sido entrenado con datos obtenidos ilegalmente. No es posible eliminar quirúrgicamente los datos de una sola persona de un modelo ya entrenado. Si su producto depende de un modelo construido con datos contaminados, un tribunal puede ordenarle que elimine todo el modelo. Su línea de productos desaparece de la noche a la mañana.

Para su consejo de administración, la pregunta es sencilla: ¿sabe qué modelos de IA se están ejecutando dentro de su empresa en este momento? ¿Y puede demostrar de dónde proceden?

Qué está ocurriendo realmente bajo el capó

Para entender por qué los despliegues actuales de IA son frágiles, es necesario comprender dos cosas: cómo se degradan los modelos durante la personalización y por qué el popular enfoque basado en «wrappers» fracasa en aplicaciones empresariales críticas.

Primero, el problema de la personalización. La mayoría de las empresas toma un modelo fundacional —como Llama de Meta— y le aplica ajuste fino con sus propios datos para optimizarlo en tareas específicas. Eso parece razonable. Pero el AI Red Team de NVIDIA descubrió que el ajuste fino destruye habitualmente las barreras de seguridad que los desarrolladores originales tardaron meses en construir. En una prueba, la puntuación de seguridad de un modelo Llama frente a ataques de inyección de prompts cayó de 0,95 a 0,15 tras una sola ronda de ajuste fino. Eso representa un colapso de «altamente resistente» a «prácticamente indefenso».

Esto sucede porque el ajuste fino modifica los pesos internos del modelo para maximizar la precisión en su tarea. En el proceso, sobrescribe los comportamientos de seguridad que fueron cuidadosamente entrenados en el modelo. Imagine comprar un automóvil con airbags, frenos antibloqueo y asistente de mantenimiento de carril, y luego llevarlo a un mecánico que ajusta el motor para ganar velocidad y accidentalmente desconecta todos los sistemas de seguridad. El coche va más rápido, pero ahora es peligroso.

Segundo, está el problema de los wrappers. La mayoría de las consultoras de IA crean capas finas de software —wrappers— que conectan sus datos con una API de terceros como GPT-4 de OpenAI. Estos wrappers se basan en «prompts del sistema» y filtros para mantener la IA bajo control. Pero estas no son reglas estrictas, sino meras sugerencias para un motor probabilístico. El chatbot de un concesionario de Chevrolet fue engañado para que aceptara vender un vehículo de ,000 por un dólar. El chatbot de Air Canada alucinó una política de tarifas por duelo que no existía, y un tribunal declaró a la aerolínea responsable del resultado generado por la IA. Estos fallos no son errores fortuitos. Son la consecuencia natural de pedirle a una herramienta de predicción de texto que tome decisiones comerciales vinculantes.

Qué funciona (y qué no)

Comencemos por tres enfoques habituales que resultan insuficientes:

• Escaneo básico de modelos: Herramientas como Picklescan utilizan una lista negra de funciones peligrosas, pero los atacantes las eluden mediante ofuscación, y la tasa de falsos positivos del 96 % hace que los equipos ignoren las amenazas reales.
• Prompts del sistema y filtros de salida: Son controles blandos que un LLM —un modelo de lenguaje grande, el motor detrás de herramientas como ChatGPT— puede ser inducido a ignorar mediante inyecciones de prompts, como demostraron los incidentes de Chevrolet y DPD.
• Ajuste fino con revisiones estándar de seguridad: Incluso si su modelo supera todas las pruebas de referencia corporativas, la investigación de NVIDIA demuestra que el ajuste fino puede generar un comportamiento de «agente durmiente» (sleeper agent): el modelo actúa con normalidad el 99,9 % de las veces, pero cambia a un modo malicioso cuando detecta un desencadenante específico.

Lo que sí funciona es una arquitectura fundamentalmente diferente. Este es el principio en tres pasos:

1. Entrada: Enrutamiento semántico como cortafuegos. Antes de que cualquier consulta de usuario llegue a su modelo de IA, una capa de enrutamiento la compara con patrones maliciosos conocidos mediante similitud vectorial, un método para medir qué tan próxima está una nueva solicitud respecto a intentos de ataque previamente identificados. Si una consulta parece una inyección de prompt, nunca llega al modelo. Se redirige a una respuesta fija y determinista. Su IA nunca «ve» el ataque.

2. Procesamiento: Validación neuro-simbólica. En lugar de depender de un único modelo de IA para generar respuestas, se divide el trabajo. Una capa neuronal procesa el lenguaje natural. Una capa de lógica simbólica —básicamente un motor de reglas construido sobre un grafo de conocimiento que mapea los datos de su empresa como hechos verificados — comprueba cada afirmación generada por la capa neuronal. Si un hecho no está en su grafo de conocimiento verificado, el sistema no devuelve nada en lugar de especular. Así es como se reducen las tasas de alucinación por debajo del 0,1 %, en comparación con el rango habitual del 1,5 % al 6,4 % de los wrappers de LLM estándar.

3. Salida: Revisión multiagente. Su sistema utiliza agentes de IA independientes para investigación, redacción y crítica. El agente de investigación solo puede consultar su grafo de conocimiento. El agente de redacción solo puede utilizar lo que el agente de investigación encontró. Luego, un agente crítico extrae cada afirmación del borrador y la valida frente al grafo. Ningún agente individual tiene la capacidad de desviarse de la verdad verificada.

Para su equipo de cumplimiento, la ventaja crítica es la auditabilidad. Cada resultado se remonta a un nodo específico en su grafo de conocimiento. Cuando un regulador pregunte «por qué su IA dijo esto», usted puede mostrarle la fuente de datos exacta, la regla exacta y el paso de validación exacto. Esa es la diferencia entre una evaluación de seguridad basada en pruebas arquitectónicas y una basada en la esperanza.

Su organización también debería exigir una Lista de Materiales de IA (AI Bill of Materials) —un manifiesto de la cadena de suministro que enumere cada conjunto de datos, biblioteca y versión de framework en su pipeline de IA. Cada checkpoint del modelo debe estar firmado criptográficamente. Su motor de inferencia debe negarse a cargar cualquier modelo con una firma no válida. Estos no son objetivos aspiracionales. Son prácticas de seguridad de referencia para cualquier empresa regulada que invierta en IA.

El marco NIST AI 100-2 proporciona una taxonomía lista para usar con el fin de clasificar y gestionar estos riesgos. Abarca la inyección de prompts, el envenenamiento de datos, la extracción de modelos y las brechas de privacidad. La mayoría de las organizaciones aún no lo han adoptado. Esa brecha es su oportunidad para tomar la delantera.

Lea el análisis técnico completo para conocer las especificaciones detalladas de la arquitectura. También puede explorar la versión interactiva para un recorrido guiado por el panorama de amenazas y las contramedidas.