Кто отвечает за ошибки ИИ? О чём умолчала фантастика

Кто отвечает за ошибки ИИ? Не модель. Ответственность остаётся за людьми и организациями: за разработчиком, который создал систему, за организацией, которая её внедрила, за оператором, который её ведёт, и — в определённых пределах — за пользователем, который действует на основе её результата. Назвать эти роли легко. Трудно другое: до запуска решить, кто из них за какое решение отвечает.

Восемьдесят лет фантастика описывала машины, которые строят, считают и говорят. Большая часть сбылась: компьютер, отвечающий на вопросы, ассистент, который пишет код, агент, который за ночь выполняет рабочий процесс. В части возможностей жанр оказался прав, об ответственности — промолчал. В 2026 году возможности стоят дёшево, поэтому ответственность — это то, что владельцу бизнеса приходится проектировать.

Правила Азимова (1942)

В 1942 году в рассказе «Хоровод» (Runaround) Айзек Азимов сформулировал три правила для роботов. Классические истории, которые последовали за ним, строятся на том, что правило сталкивается с ситуацией, которую оно не предусмотрело. Робот следует букве, упускает смысл, и никто не продумал, кто отвечает за то, что происходит дальше. Правила были. Ответственного владельца не было.

HAL (1968)

HAL, компьютер из фильма «2001 год: Космическая одиссея» (1968), говорит, планирует и управляет космическим кораблём. У него нет владельца, который бы за него расписался. Когда его суждения расходятся с интересами экипажа, нет журнала аудита, который кто-нибудь читает, нет согласованного условия остановки и нет пути эскалации. Единственный оставшийся человеческий контроль — член экипажа, который отключает его вручную. Возможности появились первыми; ответственность так и не появилась.

Люди, которые создают, внедряют и ведут систему, — каждый за то, что контролировал. Разработчик отвечает за то, как сделаны модель и программное обеспечение. Внедряющая организация отвечает перед своими клиентами за то, что встроила ИИ в свой продукт. Оператор отвечает за работу системы. Конечный пользователь отвечает за действия на основе результата, который мог проверить.

Это не юридическая консультация. Юридическая ответственность за ИИ зависит от юрисдикции, договора и обстоятельств, а претензия может строиться на договоре, небрежности или ответственности за продукт; прежде чем на что-то из этого полагаться, спросите юриста. Публичные рамочные документы указывают в ту же сторону: Принципы ОЭСР в области ИИ возлагают ответственность на участников в сфере ИИ в соответствии с их ролью, NIST AI Risk Management Framework предлагает организациям закрепить ответственность за риски ИИ за конкретными командами и людьми, а Регламент ЕС об ИИ (EU AI Act) распределяет обязанности между поставщиками (providers) и внедряющими организациями (deployers).

Пробелы возникают там, где роли пересекаются. Компания, которая сама создаёт ИИ-инструмент и использует его в работе с клиентами, одновременно разработчик, внедряющая организация и оператор, и каждая команда полагает, что риск несёт другая. Так кто отвечает, когда ИИ даёт сбой в такой ситуации? Тот, кого назначили заранее, — или никто.

Дешёвая часть

ИИ-платформа может собрать работающий прототип за вечер. Мы сами пользуемся этими инструментами — в своей инженерии и внутри Vendo AI, нашего собственного продукта для продаж. Результат всё равно нужно проверять: отчёт Veracode 2026 GenAI Code Security Report показал 56% прохождения проверок безопасности на более чем 100 моделях, а по данным опроса разработчиков Stack Overflow доверие разработчиков к точности вывода ИИ упало с 40% до 29%. Ничто из этого не делает инструменты плохими. Это делает их инструментами.

Дорогая часть

После прототипа бизнесу нужна система, которая продолжает работать: архитектура, которая выдерживает рост, корректно обработанные данные, безопасность, которую проверяют, а не предполагают, и названный человек, который отвечает, когда что-то ломается в два часа ночи. Для владельца продукта управление ИИ (AI governance) сводится к четырём решениям, записанным до запуска:

• →Названный владелец: один человек, а не комитет, который может остановить систему и отвечает за результат.
• →Журнал аудита: что система получила, что выдала и кто это одобрил, — для прослеживаемости и объяснимости.
• →Условия остановки: где ИИ не должен действовать сам, например платежи, автоматизированные решения о людях или всё, что выходит за задокументированные рамки.
• →Путь эскалации: кому звонят, как быстро и что видит пользователь, пока управление берёт на себя человек.

Ни одно из них не пункт, который юрист добавляет в конце. Каждое меняет архитектуру, интерфейс, документацию и стоимость работы системы, поэтому каждое с самого начала относится к продуктовой логике. «Человек в контуре» (human in the loop) что-то значит, только когда у этого человека есть полномочия, информация и время, чтобы отменить решение машины.

Наше правило короткое: никакой разработки без продуктовой логики. Продуктовый оператор решает, что стоит строить, строит так, чтобы это работало, и отвечает за результат. Для нового продукта ответственность начинается до первой строки кода.

Leadership Gate — это точка, где ответственность становится решением. У него один владелец, CEO, и он заканчивается решением с причинами: продолжить, переработать или отказать. Мы отказываем, когда продуктовая логика не держится, когда коммерческая модель не может обеспечить дальнейшее ведение продукта или когда мы не смогли бы взять на себя ответственность за результат. Вся последовательность описана на странице как устроен наш процесс.

К собственному ИИ мы применяем те же правила. Кейс Vendo AI показывает подотчётный ИИ-продукт в продакшене: каждый источник сигналов — отдельный модуль со своей аналитикой, который включают только осознанно, а диалог может перейти к человеку в реальном времени. На этом сайте Vendo AI собирает контекст и помогает договориться о звонке; он не принимает коммерческих решений и не делает предложений.

Задайте их своей команде, любому подрядчику и любому ИИ-конструктору, которые вы сравниваете. Ответы должны быть письменными.

• →Кто названный владелец этой системы в продакшене?
• →Какие решения ИИ может принимать сам, а какие требуют одобрения человека?
• →Что записывается в журнал, как долго хранится и кто читает его, когда что-то идёт не так?
• →Какие условия останавливают систему и кому звонят, когда это происходит?
• →Если вы выбираете между ИИ-конструктором и командой: кто отвечает за систему после запуска?

Если на первый вопрос никто не может ответить, проект на прототипе и заканчивается, как бы быстро его ни сделали. Если продукт, собранный с помощью ИИ, уже работает, у него есть пользователи и он остановился в росте, Existing Product Review — маршрут, в котором мы разбираем код, бизнес-логику и рынок и решаем, инвестировать ли.

Фантастика предсказала машины. Правила для людей вокруг них всегда были самой трудной частью.