Quem é responsável quando a IA erra? O que a ficção científica deixou de fora

Quem é responsável quando a IA erra? Não o modelo. A responsabilidade fica com pessoas e organizações: o desenvolvedor que construiu o sistema, a organização que o implantou, o operador que o mantém em funcionamento e, dentro de certos limites, o usuário que age com base no resultado. Nomear esses papéis é fácil. O difícil é decidir, antes do lançamento, qual deles é dono de qual decisão.

A ficção científica passou oitenta anos descrevendo máquinas que constroem, calculam e falam. A maior parte chegou: o computador que responde perguntas, o assistente que escreve código, o agente que executa um fluxo de trabalho durante a noite. O gênero acertou sobre a capacidade e silenciou sobre a responsabilidade. Em 2026 a capacidade é barata, então a responsabilidade é a parte que o dono de um negócio precisa projetar.

As regras de Asimov (1942)

Em 1942, no conto “Runaround”, Isaac Asimov escreveu três regras para os robôs. As histórias clássicas que vieram depois giram em torno de uma regra que encontra uma situação que ela não previu. O robô obedece à letra, perde o propósito, e ninguém definiu quem responde pelo que acontece em seguida. As regras existiam. Um dono responsável, não.

HAL (1968)

HAL, o computador de 2001: Uma Odisseia no Espaço (1968), fala, planeja e comanda uma nave espacial. Não tem um dono que assine por ele. Quando o julgamento dele e os interesses da tripulação se separam, não há trilha de auditoria que alguém leia, nem condição de parada combinada, nem rota de escalonamento. A única supervisão humana que resta é um tripulante desligando-o à mão. A capacidade chegou primeiro; a responsabilidade nunca chegou.

As pessoas que constroem, implantam e operam o sistema, cada uma pelo que controlava. O desenvolvedor responde por como o modelo e o software foram feitos. A organização que implanta responde perante os clientes por colocar IA no seu produto. O operador responde pela operação. O usuário final responde por agir com base em um resultado que poderia ter verificado.

Isto não é aconselhamento jurídico. A responsabilidade civil por IA depende da jurisdição, do contrato e dos fatos, e uma reclamação pode se basear em contrato, em negligência ou em responsabilidade pelo produto; consulte um advogado antes de se apoiar em qualquer parte disto. Os marcos públicos apontam na mesma direção: os Princípios de IA da OCDE responsabilizam os atores de IA de acordo com o seu papel, o NIST AI Risk Management Framework pede que as organizações tornem equipes e pessoas nomeadas responsáveis pelo risco de IA, e o AI Act da União Europeia divide as obrigações entre fornecedores e responsáveis pela implantação.

As lacunas aparecem onde os papéis se sobrepõem. Uma empresa que constrói a própria ferramenta de IA e a usa com clientes é, ao mesmo tempo, desenvolvedora, organização que implanta e operadora, e cada equipe presume que outra carrega o risco. Então, quem responde quando a IA falha nesse caso? Quem foi nomeado com antecedência, ou ninguém.

A parte barata

Uma plataforma de IA consegue produzir um protótipo funcional em uma noite. Nós mesmos usamos essas ferramentas, na nossa engenharia e dentro do Vendo AI, nosso próprio produto de vendas. O resultado ainda precisa ser verificado: o 2026 GenAI Code Security Report da Veracode encontrou uma taxa de aprovação de 56% em segurança entre mais de 100 modelos, e na Stack Overflow Developer Survey a confiança dos desenvolvedores na exatidão dos resultados de IA caiu de 40% para 29%. Nada disso torna as ferramentas ruins. Torna-as ferramentas.

A parte cara

O que uma empresa precisa depois do protótipo é um sistema que continue funcionando: arquitetura que sobreviva ao crescimento, dados tratados corretamente, segurança verificada em vez de presumida, e uma pessoa com nome que responda quando algo quebra às duas da manhã. Para o dono de um produto, a governança de IA se resume a quatro decisões, registradas por escrito antes do lançamento:

• →Um dono nomeado: uma pessoa, não um comitê, que pode parar o sistema e responde pelo resultado.
• →Uma trilha de auditoria: o que o sistema recebeu, o que produziu e quem aprovou, guardada para rastreabilidade e explicabilidade.
• →Condições de parada: onde a IA não pode agir sozinha, como pagamentos, decisões automatizadas sobre pessoas ou qualquer coisa fora do escopo documentado.
• →Um caminho de escalonamento: quem é chamado, em quanto tempo, e o que o usuário vê enquanto uma pessoa assume.

Nenhuma dessas decisões é uma cláusula que um advogado acrescenta no fim. Cada uma muda a arquitetura, a interface, a documentação e o custo de operação, então cada uma pertence à lógica de produto desde o início. Ter um humano no circuito (human in the loop) só significa algo quando essa pessoa tem autoridade, informação e tempo para contrariar a máquina.

Nossa regra é curta: nenhum desenvolvimento sem lógica de produto. Um operador de produto decide o que merece ser construído, constrói para operar e responde pelo resultado. Em um produto novo, a responsabilidade começa antes da primeira linha de código.

O Leadership Gate é onde a responsabilidade se torna uma decisão. Tem um único dono, o CEO, e termina com uma justificativa: prosseguir, reformular ou recusar. Recusamos quando a lógica de produto não se sustenta, quando o modelo comercial não consegue sustentar a operação ou quando não poderíamos assumir a responsabilidade pelo resultado. A sequência completa está em como funciona o nosso processo.

Aplicamos as mesmas regras à nossa própria IA. O case do Vendo AI mostra em produção um produto de IA com responsabilidade definida: cada fonte de sinais é um módulo separado, ativado por opção e com analytics próprios, e uma conversa pode passar para uma pessoa em tempo real. Neste site, o Vendo AI coleta contexto e ajuda a agendar uma conversa; ele não toma decisões comerciais nem faz ofertas.

Faça-as à sua própria equipe, a qualquer fornecedor e a qualquer construtor com IA que você esteja comparando. As respostas devem ficar por escrito.

• →Quem é o dono nomeado deste sistema em produção?
• →Quais decisões a IA pode tomar sozinha e quais precisam da aprovação de uma pessoa?
• →O que é registrado, por quanto tempo, e quem lê esses registros quando algo dá errado?
• →Quais condições param o sistema, e quem é chamado quando isso acontece?
• →Se você está escolhendo entre um construtor com IA e uma equipe: quem responde pelo sistema depois do lançamento?

Se ninguém consegue responder à primeira pergunta, o projeto termina no protótipo, por mais rápido que ele tenha sido feito. Se um produto construído com IA já está no ar, tem usuários e estagnou, o Existing Product Review é a rota em que analisamos o código, a lógica de negócio e o mercado e decidimos se vamos investir.

A ficção científica previu as máquinas. As regras para as pessoas ao redor delas sempre foram a parte difícil.