Kdo nese odpovědnost za chyby AI? Co sci-fi vynechalo

Kdo nese odpovědnost za chyby AI? Model to není. Odpovědnost zůstává u lidí a organizací: u vývojáře, který systém postavil, u organizace, která ho nasadila, u provozovatele, který ho provozuje, a v určitých mezích i u uživatele, který podle jeho výstupu jedná. Pojmenovat tyto role je snadné. Těžké je rozhodnout ještě před spuštěním, která z nich odpovídá za které rozhodnutí.

Sci-fi osmdesát let popisovalo stroje, které staví, počítají a mluví. Většina z toho dorazila: počítač, který odpovídá na otázky, asistent, který píše kód, agent, který přes noc odpracuje celý proces. V otázce schopností měl žánr pravdu, o odpovědnosti mlčel. V roce 2026 jsou schopnosti levné, a odpovědnost je proto tou částí, kterou musí majitel firmy navrhnout.

Asimovova pravidla (1942)

V roce 1942 napsal Isaac Asimov v povídce „Runaround“ tři pravidla pro roboty. Klasické příběhy, které následovaly, stojí na tom, že pravidlo narazí na situaci, kterou nepředvídalo. Robot dodrží literu, mine účel a nikdo nevyřešil, kdo odpovídá za to, co se stane potom. Pravidla existovala. Odpovědný vlastník ne.

HAL (1968)

HAL, počítač z filmu 2001: Vesmírná odysea (1968), mluví, plánuje a řídí kosmickou loď. Nemá vlastníka, který by za něj podepsal. Když se jeho úsudek a zájmy posádky rozejdou, neexistuje auditní stopa, kterou by někdo četl, žádná dohodnutá podmínka zastavení ani eskalační cesta. Jediný lidský dohled, který zbývá, je člen posádky, který ho ručně odpojí. Schopnosti dorazily první; odpovědnost nikdy.

Lidé, kteří systém staví, nasazují a provozují – každý za to, co měl pod kontrolou. Vývojář odpovídá za to, jak vznikl model a software. Nasazující organizace odpovídá svým zákazníkům za to, že AI dala do svého produktu. Provozovatel odpovídá za provoz. Koncový uživatel odpovídá za to, že jednal podle výstupu, který mohl ověřit.

Toto není právní poradenství. Odpovědnost za AI závisí na jurisdikci, smlouvě a skutkovém stavu a nárok může vzniknout ze smlouvy, z nedbalosti nebo z odpovědnosti za vadný výrobek; než se na cokoli z toho spolehnete, zeptejte se právníka. Veřejné rámce míří stejným směrem: Zásady OECD pro AI činí aktéry AI odpovědnými podle jejich role, NIST AI Risk Management Framework žádá, aby organizace učinily za rizika AI odpovědné konkrétní týmy a jednotlivce, a evropský AI Act rozděluje povinnosti mezi poskytovatele a zavádějící subjekty.

Mezery vznikají tam, kde se role překrývají. Firma, která si postaví vlastní AI nástroj a používá ho se zákazníky, je zároveň vývojářem, nasazující organizací i provozovatelem – a každý tým předpokládá, že riziko nese někdo jiný. Kdo tedy odpovídá, když tam AI selže? Ten, kdo byl jmenován předem. Nebo nikdo.

Levná část

AI platforma dokáže za večer vytvořit fungující prototyp. Tyto nástroje používáme sami, v našem inženýrství i uvnitř Vendo AI, našeho vlastního prodejního produktu. Výstup je přesto potřeba kontrolovat: 2026 GenAI Code Security Report společnosti Veracode zjistil 56% úspěšnost v bezpečnostních testech napříč více než 100 modely a podle Stack Overflow Developer Survey klesla důvěra vývojářů v přesnost výstupů AI ze 40 % na 29 %. Nic z toho nedělá nástroje špatnými. Dělá z nich nástroje.

Drahá část

Co firma po prototypu potřebuje, je systém, který dál funguje: architektura, která přežije růst, správně zpracovaná data, bezpečnost, která se ověřuje, a ne předpokládá, a jmenovaný člověk, který odpovídá, když se něco rozbije ve dvě ráno. Pro vlastníka produktu se správa AI (AI governance) zužuje na čtyři rozhodnutí, sepsaná před spuštěním:

• →Jmenovaný vlastník: jeden člověk, ne výbor, který může systém zastavit a odpovídá za výsledek.
• →Auditní stopa: co systém dostal, co vytvořil a kdo to schválil – uchované kvůli dohledatelnosti a vysvětlitelnosti.
• →Podmínky zastavení: kde AI nesmí jednat sama, například u plateb, automatizovaných rozhodnutí o lidech nebo čehokoli mimo její zdokumentovaný rozsah.
• →Eskalační cesta: komu se volá, jak rychle a co uživatel vidí, zatímco věc přebírá člověk.

Nic z toho není doložka, kterou na konci doplní právník. Každé z těch rozhodnutí mění architekturu, rozhraní, dokumentaci i provozní náklady, a proto patří do produktové logiky od začátku. Human in the loop, tedy člověk ve smyčce, něco znamená, jen když má ten člověk pravomoc, informace i čas stroj přehlasovat.

Naše pravidlo je krátké: žádný vývoj bez produktové logiky. Produktový operátor rozhoduje, co si zaslouží postavit, staví to pro provoz a odpovídá za výsledek. U nového produktu začíná odpovědnost ještě před prvním řádkem kódu.

Na Leadership Gate se z odpovědnosti stává rozhodnutí. Leadership Gate má jednoho vlastníka, CEO, a končí odůvodněním: pokračovat, přepracovat, nebo odmítnout. Odmítáme, když produktová logika neobstojí, když komerční model neunese provoz, nebo když bychom za výsledek nemohli převzít odpovědnost. Celý postup popisuje stránka jak funguje náš proces.

Stejná pravidla platí i pro naši vlastní AI. Případová studie Vendo AI ukazuje odpovědný AI produkt v produkci: každý zdroj signálů je samostatný modul, který se zapíná na vyžádání a má vlastní analytiku, a konverzace může v reálném čase přejít na člověka. Na tomto webu Vendo AI sbírá kontext a pomáhá domluvit hovor; nečiní obchodní rozhodnutí ani nevydává nabídky.

Položte je vlastnímu týmu, každému dodavateli i každému AI staviteli aplikací, kterého porovnáváte. Odpovědi patří na papír.

• →Kdo je jmenovaným vlastníkem tohoto systému v produkci?
• →Která rozhodnutí smí AI přijímat sama a která vyžadují schválení člověkem?
• →Co se loguje, jak dlouho a kdo to čte, když se něco pokazí?
• →Které podmínky systém zastaví a komu se pak volá?
• →Pokud vybíráte mezi AI stavitelem aplikací a týmem: kdo odpovídá za systém po spuštění?

Pokud nikdo nedokáže odpovědět na první otázku, projekt končí u prototypu, ať vznikl jakkoli rychle. Pokud už je produkt postavený s pomocí AI v provozu, má uživatele a stagnuje, Existing Product Review je cesta, na které posoudíme kód, byznysovou logiku a trh a rozhodneme, zda investovat.

Sci-fi předpovědělo stroje. Pravidla pro lidi kolem nich byla vždy tou těžší částí.