Wer haftet für KI-Fehler? Was die Science-Fiction ausließ

Wer haftet für KI-Fehler? Nicht das Modell. Die Verantwortung bleibt bei Menschen und Organisationen: beim Entwickler, der das System gebaut hat, bei der Organisation, die es einsetzt, beim Operator, der es betreibt, und in Grenzen beim Nutzer, der auf seine Ausgabe hin handelt. Diese Rollen zu benennen ist leicht. Schwierig ist, vor dem Launch zu entscheiden, wer von ihnen welche Entscheidung verantwortet.

Die Science-Fiction hat achtzig Jahre lang Maschinen beschrieben, die bauen, rechnen und sprechen. Das meiste davon ist eingetroffen: der Computer, der Fragen beantwortet, der Assistent, der Code schreibt, der Agent, der über Nacht einen Workflow abarbeitet. Bei der Fähigkeit lag das Genre richtig, zur Verantwortung schwieg es weitgehend. 2026 ist Fähigkeit billig, und damit ist Verantwortung der Teil, den Unternehmerinnen und Unternehmer gestalten müssen.

Asimovs Regeln (1942)

1942 schrieb Isaac Asimov in der Erzählung „Runaround“ drei Regeln für Roboter. Die klassischen Geschichten, die folgten, drehen sich darum, dass eine Regel auf eine Situation trifft, die sie nicht vorhergesehen hat. Der Roboter befolgt den Wortlaut, verfehlt den Zweck, und niemand hat geklärt, wer für das Folgende verantwortlich ist. Die Regeln gab es. Eine verantwortliche Person nicht.

HAL (1968)

HAL, der Computer in „2001: Odyssee im Weltraum“ (1968), spricht, plant und steuert ein Raumschiff. Es gibt niemanden, der für ihn unterschreibt. Als sein Urteil und die Interessen der Crew auseinandergehen, gibt es keinen Audit-Trail, den jemand liest, keine vereinbarte Stoppbedingung und keinen Eskalationsweg. Die einzige menschliche Aufsicht, die bleibt, ist ein Crewmitglied, das ihn von Hand abschaltet. Die Fähigkeit kam zuerst; die Verantwortung kam nie.

Die Menschen, die das System bauen, einsetzen und betreiben, jeweils für das, was sie kontrollierten. Der Entwickler steht dafür ein, wie Modell und Software entstanden sind. Die einsetzende Organisation steht gegenüber ihren Kunden dafür ein, dass sie KI in ihr Produkt gebracht hat. Der Operator steht für den Betrieb ein. Der Endnutzer steht dafür ein, auf eine Ausgabe hin gehandelt zu haben, die er hätte prüfen können.

Das ist keine Rechtsberatung. Die KI-Haftung hängt von Rechtsordnung, Vertrag und Sachverhalt ab, und ein Anspruch kann sich auf Vertrag, Fahrlässigkeit oder Produkthaftung stützen; fragen Sie eine Anwältin oder einen Anwalt, bevor Sie sich auf etwas davon verlassen. Die öffentlichen Rahmenwerke weisen in dieselbe Richtung: Die OECD-KI-Prinzipien machen KI-Akteure entsprechend ihrer Rolle rechenschaftspflichtig, das NIST AI Risk Management Framework verlangt, dass Organisationen benannte Teams und Personen für KI-Risiken verantwortlich machen, und die KI-Verordnung der EU (AI Act) teilt die Pflichten zwischen Anbietern und Betreibern auf.

Die Lücken entstehen dort, wo Rollen sich überschneiden. Ein Unternehmen, das sein eigenes KI-Werkzeug baut und es mit Kunden einsetzt, ist zugleich Entwickler, einsetzende Organisation und Operator, und jedes Team nimmt an, ein anderes trage das Risiko. Wer ist also verantwortlich, wenn KI dort versagt? Wer vorab benannt wurde – oder niemand.

Der billige Teil

Eine KI-Plattform kann an einem Abend einen funktionierenden Prototyp erzeugen. Wir nutzen diese Werkzeuge selbst, in unserem Engineering und in Vendo AI, unserem eigenen Vertriebsprodukt. Die Ausgabe muss trotzdem geprüft werden: Veracodes 2026 GenAI Code Security Report ermittelte über mehr als 100 Modelle eine Bestehensquote von 56 % bei Sicherheitsprüfungen, und im Stack Overflow Developer Survey sank das Vertrauen der Entwickler in die Genauigkeit von KI-Ausgaben von 40 % auf 29 %. Nichts davon macht die Werkzeuge schlecht. Es macht sie zu Werkzeugen.

Der teure Teil

Was ein Unternehmen nach dem Prototyp braucht, ist ein System, das weiterläuft: eine Architektur, die Wachstum übersteht, korrekt behandelte Daten, Sicherheit, die geprüft statt angenommen wird, und eine benannte Person, die antwortet, wenn um zwei Uhr nachts etwas ausfällt. Für Produktverantwortliche läuft KI-Governance auf vier Entscheidungen hinaus, schriftlich festgehalten vor dem Launch:

• →Eine benannte verantwortliche Person: ein Mensch, kein Gremium, der das System stoppen kann und für das Ergebnis einsteht.
• →Ein Audit-Trail: was das System erhalten hat, was es erzeugt hat und wer es freigegeben hat, aufbewahrt für Nachvollziehbarkeit und Erklärbarkeit.
• →Stoppbedingungen: wo KI nicht allein handeln darf, etwa bei Zahlungen, automatisierten Entscheidungen über Menschen oder allem außerhalb ihres dokumentierten Einsatzbereichs.
• →Ein Eskalationsweg: wer gerufen wird, wie schnell und was der Nutzer sieht, während ein Mensch übernimmt.

Nichts davon ist eine Klausel, die ein Anwalt am Ende ergänzt. Jede dieser Entscheidungen verändert Architektur, Oberfläche, Dokumentation und Betriebskosten, also gehört jede von Anfang an in die Produktlogik. Human in the Loop bedeutet nur dann etwas, wenn diese Person die Befugnis, die Information und die Zeit hat, die Maschine zu überstimmen.

Unsere Regel ist kurz: keine Entwicklung ohne Produktlogik. Ein Produktoperator entscheidet, was gebaut werden sollte, baut es für den Betrieb und steht für das Ergebnis ein. Bei einem neuen Produkt beginnt Verantwortung vor der ersten Codezeile.

Am Leadership Gate wird Verantwortung zur Entscheidung. Es hat eine verantwortliche Person, den CEO, und es endet mit einer Begründung: fortfahren, umgestalten oder ablehnen. Wir lehnen ab, wenn die Produktlogik nicht trägt, wenn das kommerzielle Modell den Betrieb nicht tragen kann oder wenn wir die Verantwortung für das Ergebnis nicht übernehmen könnten. Die vollständige Abfolge steht unter So funktioniert unser Prozess.

Für unsere eigene KI gelten dieselben Regeln. Die Fallstudie zu Vendo AI zeigt ein KI-Produkt mit klarer Verantwortung im Produktivbetrieb: Jede Signalquelle ist ein eigenes, bewusst zu aktivierendes Modul mit eigener Analytik, und ein Gespräch kann in Echtzeit an einen Menschen übergehen. Auf dieser Website sammelt Vendo AI Kontext und hilft, ein Gespräch zu vereinbaren; es trifft keine kommerziellen Entscheidungen und gibt keine Angebote ab.

Stellen Sie sie Ihrem eigenen Team, jedem Anbieter und jedem KI-Builder, den Sie vergleichen. Die Antworten gehören schriftlich festgehalten.

• →Wer ist die benannte verantwortliche Person für dieses System im Produktivbetrieb?
• →Welche Entscheidungen darf die KI allein treffen, und welche brauchen die Freigabe eines Menschen?
• →Was wird protokolliert, wie lange, und wer liest es, wenn etwas schiefgeht?
• →Welche Bedingungen stoppen das System, und wer wird dann gerufen?
• →Wenn Sie zwischen einem KI-Builder und einem Team wählen: Wer steht nach dem Launch für das System ein?

Wenn niemand die erste Frage beantworten kann, endet das Projekt beim Prototyp, so schnell er auch entstanden ist. Wenn ein mit KI gebautes Produkt bereits live ist, Nutzer hat und stagniert, ist Existing Product Review die Route, auf der wir Code, Geschäftslogik und Markt prüfen und entscheiden, ob wir investieren.

Die Science-Fiction hat die Maschinen vorhergesagt. Die Regeln für die Menschen um sie herum waren immer der schwere Teil.