KI-Agenten erstellen heute in kürzester Zeit Analysen und Entscheidungsgrundlagen. Verantwortung übernehmen können sie nicht.
Ein Bereichsleiter zeichnet an einem Vormittag 40 Vorlagen ab, die ein Agent erstellt hat. Lieferantenbewertungen, Risikoeinschätzungen, zwei Vertragsentwürfe. Jede einzelne ist sauber gegliedert, mit Quellen belegt und sprachlich besser als vieles, was früher auf seinem Schreibtisch landete. Ganz gelesen hat er drei davon. Was genau verantwortet er mit seinem Kürzel unter den anderen 37?
Die ehrliche Antwort lautet: zunächst einmal nur, dass es eine Freigabe gegeben hat. Das ist etwas anderes als das, wofür eine Freigabe ursprünglich gedacht war. Und es ist kein Problem, das die KI geschaffen hat. Sie trifft auf eines, das in vielen Unternehmen seit Jahren wächst, und macht es grösser.
Abraham Thomas beschreibt in „Trust Is The Scarce Asset“, wie jede Technik, die etwas billig macht, zuerst eine Flut auslöst und erst danach die Regeln hervorbringt, mit denen eine Gesellschaft diese Flut beherrscht. Bei der Schrift waren es Siegel und Zeugen, bei den Münzen die königlichen Prägestätten, beim Buchdruck das Urheberrecht und die Fachgutachter. Bei der KI stehen wir mitten in der Flut. Mich interessiert, was in dieser Phase in den Unternehmen passiert, denn dort entscheidet sich gerade, ob aus billiger Intelligenz Verantwortung entsteht oder ihr Gegenteil.
Nachweis statt Verantwortung
Ulrich Beck hat 1988 unter dem Eindruck von Tschernobyl einen Begriff geprägt, der heute besser passt als damals: organisierte Unverantwortlichkeit. Gemeint ist ein System, in dem jeder Beteiligte korrekt handelt und am Ende trotzdem niemand für das Ergebnis einsteht. Beck dachte an Atomkraftwerke und Chemieunfälle. Heute findet man das Muster in jeder Compliance-Abteilung.
ESG-Berichte, Lieferkettengesetz, Nachhaltigkeitsberichterstattung: Die Regelwerke der letzten Jahre haben in den Unternehmen eine bestimmte Logik verankert. Verantwortung wird nachgewiesen, nicht getragen. Geprüft wird, ob der Prozess dokumentiert ist, ob die Risikoanalyse vorliegt und ob die Freigabekette vollständig ist. Ob jemand für das Ergebnis geradesteht, fragt kein Formular. Wer in diesem System arbeitet, lernt schnell, dass ein lückenloser Nachweis mehr schützt als eine gute Entscheidung, denn wenn etwas schiefgeht, wird nach dem Nachweis gefragt.
Die EU baut inzwischen selbst zurück. Seit März 2026 gilt die Omnibus-Richtlinie: Nachhaltigkeitsberichte müssen nur noch Unternehmen ab 1000 Beschäftigten und 450 Millionen Euro Umsatz vorlegen, die Sorgfaltspflichten in der Lieferkette greifen erst ab 5000 Mitarbeitern und 1,5 Milliarden Euro. In Deutschland nimmt das BAFA seit Oktober 2025 keine Berichte nach dem Lieferkettengesetz mehr an. Die Pflichten schrumpfen. Die Abteilungen, die Freigabestufen und das Denken in Nachweisen bleiben, sie sind längst Teil der Organisation geworden.
Madeleine Clare Elish hat für die Rolle des Menschen in solchen Systemen einen genauen Begriff gefunden, die moralische Knautschzone. Am Ende einer automatisierten Kette nimmt ein Mensch die Schuld auf, obwohl er kaum Kontrolle hatte. Jede Freigabestufe, die ein Unternehmen als Antwort auf ein Risiko einzieht, schafft eine weitere. Der Bereichsleiter mit den 40 Vorlagen ist eine.
Ein System, das nichts zu verlieren hat
Auf diese Organisation trifft jetzt ein Werkzeug, das genau liefert, wonach sie verlangt: Nachweise. Eine Risikoanalyse für jeden Lieferanten, eine Begründung für jede Freigabe, ein vollständiges Protokoll, alles zu Kosten nahe null. Früher hat der Aufwand begrenzt, wie viel Papier entsteht. Diese Grenze ist gefallen.
Der Agent bringt dabei zwei Eigenschaften mit, die das Problem von seiner Seite verschärfen. Die erste: Er hat nichts zu verlieren. Ein Mitarbeiter, der schlampig arbeitet, riskiert seinen Ruf und die nächste Beförderung, und weil er das weiss, arbeitet er in der Regel sorgfältig. Ein Sprachmodell kennt keine nächste Runde. Schreibt es „Ich übernehme die Verantwortung“, ist das ein Satz wie jeder andere.
Die zweite: Er ist nicht vorhersagbar. Ein Sprachmodell rechnet mit Wahrscheinlichkeiten, und dieselbe Aufgabe führt nicht verlässlich zum selben Ergebnis. Das habe ich an anderer Stelle ausführlich beschrieben. Andreas Matthias hat schon 2004 die Konsequenz gezogen: Wenn das Verhalten eines Systems nicht vollständig vorhersehbar ist, kann Verantwortung nicht einfach an das System delegiert werden. Er nannte das die Verantwortungslücke. Gut zwanzig Jahre später steht diese Lücke in jedem Unternehmen, das Agenten einsetzt, und sie ist nicht kleiner geworden.
Wenn beides zusammenkommt
Unangenehm wird es dort, wo sich beide Seiten treffen. Eine Investitionsvorlage besteht aus Marktanalyse, Geschäftsplan und Bewertung. Entstehen alle drei mit demselben Modell und aus denselben Ausgangsdaten, können sie auf derselben ungeprüften Annahme aufbauen. Dann stimmen drei Dokumente überein, und gerade diese Übereinstimmung beruhigt alle Beteiligten, obwohl niemand etwas unabhängig geprüft hat. Formal ist alles in Ordnung: Die Vorlage ist vollständig, die Quellen sind angegeben, die Freigaben liegen vor.
Man kann das ohne viel Phantasie weiterdenken. Der Agent des Unternehmens schreibt den Nachhaltigkeitsbericht, der Agent des Wirtschaftsprüfers prüft ihn, und am Ende unterschreiben zwei Menschen, die keinen der beiden Läufe nachvollzogen haben. Jeder Beteiligte hat korrekt gehandelt, und verantwortlich ist niemand. Das ist Becks organisierte Unverantwortlichkeit in ihrer bisher konsequentesten Form, und sie zeigt die eigentliche Gefahr: KI kann nicht nur Erkenntnis skalieren. Sie kann auch Scheinsicherheit skalieren.
Verantwortung muss konstruiert werden
Ein Agent kann keine Verantwortung tragen. Das bedeutet nicht, dass ein Unternehmen mit Agenten unverantwortlich handeln muss. Es bedeutet vielmehr, dass Verantwortung in das System eingebaut werden muss.
Filippo Santoni de Sio und Jeroen van den Hoven haben dafür zwei Bedingungen formuliert, ursprünglich für autonome Waffensysteme. 1. Das System muss nachweislich auf die Gründe der Menschen reagieren, die es einsetzen, und auf die Fakten der Lage. 2. Jedes seiner Ergebnisse muss sich auf mindestens einen Menschen zurückführen lassen, der versteht, was das System tut, und der es ändern kann. Sie nennen das wirksame menschliche Kontrolle. Wer nur unterschreibt, erfüllt keine der beiden Bedingungen.
Für ein Unternehmen heisst das zuerst: klare Ketten. Das bedeutet, zu jedem Ergebnis eines Agenten gehört ein Mensch, der Aufgabe, Grenzen und Prüfung festgelegt hat und diese bei Bedarf ändert. Es muss allerdings erkennbar bleiben, ob eine Ablaufänderung auf einer bewussten Entscheidung beruht oder auf einer Ableitung des Agenten, die nie jemand bestätigt hat. Und wer eine Kette verantwortet, braucht vor allem die reale Befugnis, sie anzuhalten, sonst ist er nur Zuschauer.
Kontrolle braucht Unabhängigkeit
Hinzu kommt eine zweite Voraussetzung: ein Ergebnis gilt erst, wenn es mehr als einen Lauf überstanden hat, und zwar unabhängige Läufe. Dreimal dasselbe Modell zu fragen, liefert keine unabhängigen Einschätzungen. Das wusste man lange vor der KI. John Knight und Nancy Leveson liessen 1986 27 Studierende an zwei Universitäten unabhängig voneinander dasselbe Programm schreiben und testeten die Fassungen mit einer Million Eingaben. Die Programme scheiterten auffällig oft an denselben Stellen, weil Menschen über viele Wissensgebiete doch in ähnlichen Mustern denken. Im Juni 2026 hat eine Gruppe an der KTH Stockholm den Versuch mit Coding-Agenten wiederholt. Die Fehler hingen wieder zusammen, aber Dreiergruppen mit Mehrheitsentscheid senkten die Fehlerzahl im Mittel um rund zwei Drittel. Unabhängigkeit ist also erreichbar, nur entsteht sie nicht von selbst. Man muss sie bewusst konstruieren, mit verschiedenen Modellen, verschiedenen Daten, einer separaten Prüfung oder menschlichem Urteil. Dabei geht es nicht darum, jedes Ergebnis mehrfach vollständig zu bearbeiten. Es geht darum, Abhängigkeiten zu erkennen, bevor aus Wiederholung vermeintliche Gewissheit wird.
Daraus folgt eine Verschiebung, die vielen nicht gefallen wird. Verantwortung wandert vom Ergebnis zur Konstruktion. Das Vertrauen in diese Konstruktion wiederum entsteht dann aus einer Geschichte überprüfter Leistung. Also nicht auf einmal, sondern dadurch, dass die Leistung des Agenten beobachtet, bewertet und sein Mandat schrittweise erweitert wird. Auch erkannte Wissenslücken und die gezielte Übergabe an einen Menschen gehören zur positiven Leistungsbilanz. Im Fall des Bereichsleiter-Beispiels heisst das konkret: er verantwortet nicht die einzelne Vorlage, die er ohnehin nicht prüfen kann, sondern die Maschine, die Vorlagen herstellt: welche Läufe es gibt, wie unabhängig sie sind, wer prüft, und was mit einem Fehler geschieht, der durchgerutscht ist. Ein solcher Fehler wird zum festen Prüffall für jede künftige Fassung, sonst lernt die Konstruktion nichts. Das ist genau genommen eine Ingenieurs- und Führungsaufgabe, und sie lässt sich nicht an die Compliance-Abteilung abgeben.
Was wirklich teuer wird
Dass Intelligenz billig wird, ist längst keine Prognose mehr. Ein Modell, das einem Unternehmen heute einen Vorsprung verschafft, kann morgen auch der Wettbewerber nutzen. Wertvoll wird etwas anderes: eine Organisation, in der für ein Ergebnis tatsächlich jemand einsteht, weil er die Konstruktion darunter kennt. Das lässt sich nicht einfach einkaufen. Es entsteht aus Erfahrung, klaren Verantwortlichkeiten, technischen Grenzen, unabhängiger Prüfung und der Fähigkeit, aus Fehlern tatsächlich zu lernen.
Die meisten Unternehmen bauen gerade das Gegenteil. Sie setzen Agenten in Abläufe, die über Jahre darauf trainiert wurden, Nachweise zu erzeugen, und freuen sich über das Tempo. Als Investor frage ich bei einem solchen Unternehmen nicht, welches KI-Modell es nutzt. Ich frage, wer die Kette anhalten darf, und wann das zuletzt passiert ist.
