¿Quién es responsable cuando la IA se equivoca? Lo que la ciencia ficción dejó fuera

¿Quién es responsable cuando la IA se equivoca? No el modelo. La responsabilidad sigue siendo de personas y organizaciones: el desarrollador que construyó el sistema, la organización que lo desplegó, el operador que lo gestiona y, dentro de ciertos límites, el usuario que actúa a partir de su resultado. Nombrar estos papeles es fácil. Lo difícil es decidir, antes del lanzamiento, de qué decisión es responsable cada uno.

La ciencia ficción pasó ochenta años describiendo máquinas que construyen, calculan y hablan. La mayor parte llegó: el ordenador que responde preguntas, el asistente que escribe código, el agente que ejecuta un flujo de trabajo durante la noche. El género acertó con la capacidad y calló sobre la responsabilidad. En 2026 la capacidad es barata, así que la responsabilidad es la parte que el dueño de un negocio tiene que diseñar.

Las reglas de Asimov (1942)

En 1942, en el relato «Runaround», Isaac Asimov escribió tres reglas para los robots. Los relatos clásicos que vinieron después giran en torno a una regla que se encuentra con una situación que no previó. El robot obedece la letra, pierde el propósito, y nadie ha resuelto quién es responsable de lo que ocurre después. Las reglas existían. Un responsable que rindiera cuentas, no.

HAL (1968)

HAL, el ordenador de 2001: una odisea del espacio (1968), habla, planifica y gobierna una nave espacial. No tiene un propietario que firme por él. Cuando su criterio y los intereses de la tripulación se separan, no hay una pista de auditoría que alguien lea, ni una condición de parada acordada, ni una vía de escalado. La única supervisión humana que queda es un tripulante que lo desconecta a mano. La capacidad llegó primero; la responsabilidad no llegó nunca.

Las personas que construyen, despliegan y gestionan el sistema, cada una por lo que controlaba. El desarrollador responde de cómo se hicieron el modelo y el software. La organización que lo despliega responde ante sus clientes por haber puesto IA en su producto. El operador responde de su funcionamiento. El usuario final responde de actuar sobre un resultado que podía haber comprobado.

Esto no es asesoramiento legal. La responsabilidad por la IA depende de la jurisdicción, del contrato y de los hechos, y una reclamación puede ir por la vía contractual, por negligencia o por responsabilidad por productos defectuosos; consulte a un abogado antes de basarse en nada de esto. Los marcos públicos apuntan en la misma dirección: los Principios de la OCDE sobre IA hacen responsables a los actores de la IA según su papel, el NIST AI Risk Management Framework pide a las organizaciones que asignen a equipos y personas con nombre la responsabilidad sobre el riesgo de la IA, y el Reglamento Europeo de IA (AI Act) reparte las obligaciones entre proveedores y responsables del despliegue.

Los huecos aparecen donde los papeles se solapan. Una empresa que construye su propia herramienta de IA y la usa con sus clientes es a la vez desarrollador, organización que la despliega y operador, y cada equipo supone que el riesgo lo asume otro. Entonces, ¿quién responde cuando la IA falla ahí? Quien se designó de antemano, o nadie.

La parte barata

Una plataforma de IA puede producir un prototipo funcional en una tarde. Nosotros mismos usamos esas herramientas, en nuestra ingeniería y dentro de Vendo AI, nuestro propio producto de ventas. El resultado sigue necesitando revisión: el 2026 GenAI Code Security Report de Veracode registró una tasa de aprobación en seguridad del 56 % en más de 100 modelos, y en la Stack Overflow Developer Survey la confianza de los desarrolladores en la exactitud de la salida de la IA cayó del 40 % al 29 %. Nada de eso hace malas las herramientas. Las hace herramientas.

La parte cara

Lo que una empresa necesita después del prototipo es un sistema que siga funcionando: una arquitectura que sobreviva al crecimiento, datos tratados correctamente, una seguridad comprobada y no supuesta, y una persona con nombre que responda cuando algo se rompe a las dos de la mañana. Para quien es responsable de un producto, la gobernanza de la IA se reduce a cuatro decisiones, puestas por escrito antes del lanzamiento:

• →Un responsable con nombre: una persona, no un comité, que puede detener el sistema y responde del resultado.
• →Una pista de auditoría: qué recibió el sistema, qué produjo y quién lo aprobó, conservada para la trazabilidad y la explicabilidad.
• →Condiciones de parada: dónde la IA no debe actuar sola, como los pagos, las decisiones automatizadas sobre personas o cualquier cosa fuera de su alcance documentado.
• →Una vía de escalado: a quién se llama, con qué rapidez y qué ve el usuario mientras una persona toma el control.

Ninguna de ellas es una cláusula que un abogado añade al final. Cada una cambia la arquitectura, la interfaz, la documentación y el coste de operación, así que cada una pertenece a la lógica de producto desde el principio. El «human in the loop», una persona en el circuito, solo significa algo cuando esa persona tiene la autoridad, la información y el tiempo para imponerse a la máquina.

Nuestra regla es corta: no hay desarrollo sin lógica de producto. Un operador de producto decide qué merece construirse, lo construye para operarlo y responde del resultado. En un producto nuevo, la responsabilidad empieza antes de la primera línea de código.

El Leadership Gate es donde la responsabilidad se convierte en una decisión. Tiene un solo responsable, el CEO, y termina con razones: continuar, reformular o declinar. Declinamos cuando la lógica de producto no se sostiene, cuando el modelo comercial no puede sostener la operación o cuando no podríamos asumir la responsabilidad del resultado. La secuencia completa está en cómo funciona nuestro proceso.

Aplicamos las mismas reglas a nuestra propia IA. El caso de estudio de Vendo AI muestra un producto de IA con responsables claros en producción: cada fuente de señales es un módulo independiente de activación voluntaria con su propia analítica, y una conversación puede pasar a una persona en tiempo real. En este sitio, Vendo AI recoge contexto y ayuda a concertar una llamada; no toma decisiones comerciales ni emite ofertas.

Hágaselas a su propio equipo, a cualquier proveedor y a cualquier constructor con IA que esté comparando. Las respuestas deben quedar por escrito.

• →¿Quién es el responsable con nombre de este sistema en producción?
• →¿Qué decisiones puede tomar la IA sola y cuáles necesitan la aprobación de una persona?
• →¿Qué se registra, durante cuánto tiempo y quién lo lee cuando algo sale mal?
• →¿Qué condiciones detienen el sistema y a quién se llama cuando se cumplen?
• →Si elige entre un constructor con IA y un equipo: ¿quién responde del sistema después del lanzamiento?

Si nadie puede responder a la primera pregunta, el proyecto termina en el prototipo, por rápido que se haya hecho. Si un producto construido con IA ya está en producción, tiene usuarios y se ha estancado, Existing Product Review es la ruta en la que revisamos el código, la lógica de negocio y el mercado, y decidimos si invertir.

La ciencia ficción predijo las máquinas. Las reglas para las personas que las rodean siempre fueron la parte difícil.