Un marco estratégico para la inteligencia artificial de seguridad crítica
El acuerdo de $8,5M de Uber, la suspensión de GM Cruise y más de 40 investigaciones a Tesla no son razones para abandonar la IA. Son razones para diseñarla correctamente. Este whitepaper analiza los fallos arquitectónicos y presenta el camino hacia una autonomía verificable y de alta seguridad.
Por un lado: wrappers de LLM rápidos que priorizan la fluidez conversacional. Por el otro: ingeniería rigurosa de Deep AI con verificación formal y seguridad determinista. A medida que los sistemas autónomos ingresan al mundo físico, esta distinción se convierte en una cuestión de vida o muerte.
Cuatro incidentes de alto perfil que exponen la fragilidad sistémica de la IA estocástica en despliegues críticos para la seguridad.
Tempe, Arizona • Marzo de 2018 • Mortal
El sistema Uber ATG detectó por primera vez a Elaine Herzberg 5,6 segundos antes del impacto a 378 pies. Este tiempo era más que adecuado para una frenada de emergencia estándar. Pero la lógica de percepción del sistema sufrió de oscilación de clasificación — reclasificando repetidamente a la peatona como «objeto desconocido», luego como «vehículo» y luego como «bicicleta».
Cada reclasificación reiniciaba la trayectoria predicha del objeto. El sistema no pudo establecer una identidad persistente, no pudo calcular una trayectoria fiable y determinó que se necesitaba una frenada de emergencia solo 1,3 segundos antes del impacto — cuando las leyes de la física hacían que la colisión fuera inevitable.
Uber había desactivado el sistema AEB de fábrica y la prevención de colisiones del Volvo XC90 para evitar un «comportamiento errático del vehículo». Reemplazaron capas de seguridad deterministas y verificadas con código estocástico experimental y no verificado.
| Componente con fallo | Mecanismo técnico |
|---|---|
| Pipeline de percepción | Oscilación de clasificación (Desconocido → Vehículo → Bicicleta) |
| Supresión lógica | Desactivación manual del AEB de fábrica |
| Interfaz HMI | Exceso de confianza en un monitor humano distraído |
| Motor de predicción | Suposición de trayectoria estática para actores dinámicos |
Cada reclasificación destruyó la predicción de trayectoria del objeto, impidiendo una intervención oportuna.
San Francisco • Octubre de 2023 • Permiso revocado
Un vehículo conducido por un humano atropelló a una peatona, lanzándola hacia la trayectoria de un robotaxi de Cruise. El vehículo de Cruise golpeó a la peatona y se detuvo inicialmente. Pero la lógica de detección de impacto del sistema era insuficientemente granular — diagnosticó erróneamente un atropello frontal como una colisión por impacto lateral.
Este diagnóstico erróneo desencadenó una maniobra de «Condición de Riesgo Mínimo» (MRC): apartarse a un lado de la carretera. Debido a que la capa de percepción había «olvidado» a la peatona tras el impacto, el vehículo arrastró a la víctima 20 pies a 7 mph. Se detuvo únicamente cuando detectó un «deslizamiento excesivo de las ruedas» — que interpretó como un fallo mecánico y no como una obstrucción humana.
La investigación posterior reveló que la dirección estaba «obsesionada con corregir la narrativa mediática inexacta» y no fue transparente con los reguladores. La multa penal de 500.000 dólares por presentar informes falsos subraya que la seguridad de la IA no puede tratarse como un problema de marketing.
«Los empleados admitieron haber 'dejado que el video hablara por sí mismo' durante las reuniones con el DMV, sabiendo que los problemas de conectividad a menudo impedían que se reprodujera la parte del arrastre».
A nivel nacional • 2024-2025 • 40+ investigaciones de la NHTSA
El sistema Full Self-Driving (FSD) de Tesla exhibe «Teatro de capacidades» (Capability Theater) — un rendimiento óptimo en condiciones despejadas que colapsa ante casos límite ambientales. La NHTSA ha abierto más de 40 investigaciones centradas en patrones de fallo específicos y repetibles.
La dependencia de Tesla de una arquitectura de solo visión — prescindiendo de LiDAR y radar — crea una vulnerabilidad fundamental a la saturación de sensores. En niebla, polvo o reflejos solares sobre asfalto mojado, la relación señal-ruido óptica cae por debajo de los umbrales de navegación segura. Una colisión fatal en 2023 ocurrió exactamente en esta condición.
| Modo de fallo | Causa técnica |
|---|---|
| Incumplimiento de semáforo en rojo | Fallo en la detección del estado de la señal en la pila de visión |
| Infracción de marcas viales | Incapacidad para distinguir carriles exclusivos de giro vs. carriles directos |
| Accidente por baja visibilidad | Saturación de sensores ópticos (reflejos/niebla/polvo) |
| Entrada en carril contrario | Fallo en la reconstrucción de la geometría 3D del carril |
La ingeniería de Deep AI exige diversidad de sensores. No se puede corregir mediante software una limitación de hardware.
Los Ángeles / San Francisco • 2025 • Nuevos desafíos
Waymo ha acumulado más de 56 millones de millas con tasas de lesiones significativamente más bajas que los conductores humanos. Pero a medida que el sistema escala, se enfrenta a una nueva clase de fallos: fricción sociotécnica — no solo cómo conduce la IA, sino cómo interactúa con entornos sociales humanos complejos y a menudo hostiles.
Durante un corte de energía, docenas de robotaxis de Waymo quedaron atrapados en intersecciones sin semáforos. Programados para tratar los semáforos apagados como señales de alto de cuatro vías, se vieron abrumados por solicitudes concentradas de asistencia remota. Robotaxis bloqueando a otros robotaxis — un «bloqueo multiagente» — que el centro de control central no pudo resolver.
A principios de 2025, vehículos de Waymo fueron atacados por multitudes durante disturbios civiles en LA: neumáticos rajados, vehículos incendiados. Programados para «seguridad pasiva», simplemente se detuvieron al verse rodeados. Esto expuso la necesidad de un «Modo de escape ante el peligro» (Danger Escape Mode) que pueda pasar del cumplimiento pasivo al escape activo sin estar programado nunca para causar daño.
Estos incidentes ponen de relieve la «trampa de la independencia» — la suposición de que un vehículo autónomo puede operar de manera segura como un agente solitario. Deep AI debe incorporar protocolos V2V (vehículo a vehículo) y V2I (vehículo a infraestructura) que permitan la resolución de bloqueos a nivel de flota.
Cada fallo anterior proviene de la misma raíz: la brecha entre lo que la IA percibe y lo que debería concluir lógicamente. Ajuste el umbral de confianza para ver cómo las compuertas deterministas evitan decisiones catastróficas.
La confianza de percepción está por debajo del umbral de seguridad determinista. Un sistema estocástico continuaría; la compuerta de aseguramiento de Veriprajna activa una transición a prueba de fallos.
Compuerta de aseguramiento de Veriprajna: Si cualquier entrada de seguridad cae por debajo del umbral verificado, el sistema pasa a una Condición de Riesgo Mínimo — no basándose en probabilidades, sino en una prueba matemática de que la salida no se puede garantizar segura.
La respuesta arquitectónica a la oscilación de clasificación, la ceguera post-impacto y la saturación de sensores.
Las redes de ocupación rastrean el volumen, no las etiquetas. El sistema sabe que un espacio está ocupado incluso si no puede decidir si el objeto es un peatón o una bicicleta. Esto elimina la oscilación de clasificación de Uber ATG.
Las redes de ocupación capturan estructuras verticales y objetos debajo del chasis que los mapas BEV 2D ignoran. Esto habría permitido que el vehículo Cruise «viera» a la peatona debajo de él durante la maniobra posterior al impacto.
Utilizando arquitecturas BEVFormer con autoatención temporal, el sistema recuerda dónde estaba un objeto incluso durante oclusiones temporales — un peatón que camina detrás de un camión estacionado sigue siendo rastreado.
Arquitectura de fusión BEV unificada
La arquitectura Transformer no sirve como una herramienta conversacional, sino como un motor de razonamiento espacial que fusiona datos de sensores heterogéneos en un «Lienzo Compartido» unificado para la navegación.
Las pruebas tradicionales preguntan: «¿Supera N pruebas?» La verificación formal pregunta: «¿Existe alguna entrada que conduzca a una salida insegura?» La diferencia es la brecha entre la esperanza y la prueba.
Si un solucionador SMT devuelve un contraejemplo, ha encontrado una perturbación específica que causaría el fallo de la IA — lo que permite «endurecer» el modelo durante el entrenamiento.
Las redes grandes son demasiado complejas para un análisis exhaustivo del solucionador. Veriprajna aborda esto mediante la poda de neuronas (Neuron Pruning) — eliminando neuronas redundantes y no linealidades que no contribuyen a la precisión, produciendo un modelo matemáticamente más fácil de verificar sin sacrificar el rendimiento.
| Técnica | Metodología | Beneficio |
|---|---|---|
| Ajuste de límites | Análisis simbólico de los rangos de activación de neuronas | Reduce el espacio de búsqueda del solucionador SMT |
| Análisis de alcanzabilidad | Cálculo de todas las salidas alcanzables para un conjunto de entradas | Garantiza que la IA permanezca dentro del «Politopo Seguro» |
| Aprox. lineal por tramos | Reemplazo de activaciones complejas por segmentos ReLU | Pruebas sólidas y completas |
| Filtro de seguridad formal | Supervisión en tiempo de ejecución frente a una línea base verificada | «Recuperación segura» si la IA se comporta de forma irracional |
ISO 21448 (SOTIF) cubre la brecha que ISO 26262 no puede: peligros que ocurren cuando el sistema funciona exactamente como fue programado pero encuentra un entorno «Desconocido/Inseguro».
El objetivo de Veriprajna: maximizar el cuadrante Conocido/Seguro mientras se reducen sistemáticamente los escenarios Desconocidos/Inseguros.
ODD verificado. Probado y demostrado seguro bajo condiciones documentadas.
Casos límite identificados con transiciones a prueba de fallos.
Escenarios aún no probados pero inherentemente de bajo riesgo.
Peligros no identificados — la fuente de todos los fallos importantes en VA.
Maneja fallos de componentes de hardware/software (mal funcionamiento de sensores, cortocircuitos), pero es insuficiente para los riesgos específicos de la IA. insuficiente para riesgos específicos de la IA.
Seguridad de la funcionalidad prevista. Aborda peligros cuando la IA está funcionando según lo programado pero encuentra entornos novedosos.
El primer estándar global para gestionar el ciclo de vida completo de la IA en automoción — desde la adquisición de datos hasta el monitoreo posterior al despliegue.
Tres pilares de ingeniería que abordan directamente cada modo de fallo sistémico identificado en este análisis.
Migración de clientes de percepción 2D por cámara a redes de ocupación BEV basadas en Transformer — garantizando permanencia del objeto y estabilidad de seguimiento incluso ante oclusiones, reclasificaciones y saturación de sensores.
Implementación de verificación formal basada en SMT para demostrar matemáticamente que las arquitecturas de control impulsadas por IA nunca violarán las propiedades de seguridad fundamentales — no solo probar, sino proporcionar pruebas de corrección.
Desarrollo de «Modos de escape» sofisticados y marcos de comunicación V2X para gestionar la realidad de disturbios civiles, bloqueos multiagente y fallos de infraestructura — donde el cumplimiento pasivo se vuelve peligroso.
«La era de la IA estocástica está terminando. El wrapper 'barato' se convierte en el error más costoso que una empresa puede cometer cuando el costo de una sola víctima mortal autónoma entra en las decenas de millones. La era del Deep AI Engineering ha comenzado».
— Marco estratégico de Veriprajna
El sistema Uber ATG detectó a Elaine Herzberg 5,6 segundos antes del impacto a 378 pies, tiempo más que suficiente para una frenada de emergencia. Sin embargo, la oscilación de clasificación reclasificó repetidamente a la peatona como «objeto desconocido», luego «vehículo», luego «bicicleta», reiniciando cada vez la predicción de trayectoria. El frenado de emergencia se determinó necesario solo 1,3 segundos antes del impacto, cuando la física hacía inevitable la colisión. Uber también había desactivado el AEB de fábrica de Volvo. Las redes de ocupación BEV resuelven esto rastreando el volumen en lugar de etiquetas: el sistema sabe que el espacio está ocupado independientemente de la clasificación.
Las pruebas tradicionales preguntan: «¿Supera N pruebas?» La verificación formal pregunta: «¿Existe alguna entrada que conduzca a una salida insegura?» Utilizando solucionadores SMT como Marabou y alpha-beta-CROWN, el sistema demuestra matemáticamente las propiedades de seguridad; por ejemplo, que para todas las entradas en «Baja visibilidad», la respuesta de frenado de la IA siempre superará el umbral mínimo. Si existe un contraejemplo, el solucionador identifica la perturbación específica, lo que permite endurecer el modelo durante el entrenamiento.
ISO 26262 maneja fallos de componentes de hardware/software (mal funcionamiento de sensores, cortocircuitos), pero es insuficiente para los riesgos específicos de la IA. ISO 21448 (SOTIF) aborda los peligros cuando la IA funciona exactamente como fue programada pero se encuentra con entornos novedosos: los escenarios «Desconocidos/Inseguros» que causaron todos los fallos importantes en VA. Requiere análisis de peligros y riesgos para errores de percepción, identificación de condiciones desencadenantes y simulación de alta fidelidad para casos límite peligrosos. El objetivo de Veriprajna es maximizar el cuadrante Conocido/Seguro mientras se reducen sistemáticamente los escenarios Desconocidos/Inseguros.
Veriprajna proporciona la experiencia de ingeniería profunda para construir IA que no solo funciona en el laboratorio — sino que perdura en el mundo real.
Asóciese con nosotros para diseñar autonomía verificable y de alta seguridad para sus sistemas críticos.
Análisis estratégico completo: modos de fallo de Uber ATG, GM Cruise, Tesla FSD y Waymo. Arquitectura BEV, verificación formal, marco de cumplimiento ISO y el camino hacia la garantía determinista.