Warum jeder KI-Pilot gelingt und jeder Rollout enttäuscht
Ein Pilot ist definitionsgemäss der beste von mehreren Versuchen. Das ist kein Vorwurf an irgendjemanden, das ist die Bauart der Sache. Man probiert, man justiert, und man stellt das Ergebnis vor, das funktioniert hat.
Der Betrieb zeigt anschliessend etwas ganz anderes.
Das hat nichts mit Halluzinieren zu tun. Ein Sprachmodell liefert immer ein Ergebnis, und es liefert selten zweimal genau dasselbe. Diese Systeme rechnen mit Wahrscheinlichkeiten, nicht mit Gewissheiten. Die eigentliche Ingenieursleistung des beginnenden KI-Zeitalters besteht deshalb nicht darin, ein besseres Modell zu schaffen. Sie besteht darin, aus wahrscheinlichkeitsbasierten Einzelteilen ein Gesamtsystem zu bauen, auf das man sich verlassen kann.
Das ist Arbeit an Prozessen, und zwar eine Menge davon.
Einer von k, oder alle k
In der Bewertung von KI-Systemen gibt es dafür seit kurzem zwei Zahlen. Um diese beiden Zahlen und den Unterschied zwischen ihnen geht es hier. Die erste fragt: gelingt mindestens einer von acht Versuchen. Die zweite fragt: gelingen alle acht.
Ein Vergleichstest von 2024 hat das an zwei alltäglichen Aufgaben gemessen, einem Kundendienst im Handel und einer Umbuchung bei einer Fluggesellschaft. Ein damaliges Spitzenmodell löste die Handelsaufgaben im ersten Versuch zu 61,2 Prozent. Über acht Versuche hinweg fiel die Quote auf unter 25 Prozent. Bei der Fluggesellschaft lag schon der erste Versuch bei 35,2 Prozent.
Dieselbe Aufgabe. Derselbe Aufbau. Dasselbe Modell. Anderes Ergebnis.
Das ist die Stelle, an der die meisten Gespräche über KI zu früh aufhören. Es geht nicht darum, ob eine Maschine ein Ergebnis liefern kann. Sie kann es, jedes Mal. Es geht darum, wie oft dieses Ergebnis im erwarteten Rahmen liegt, wenn niemand mehr hinsieht. Diese Zahl steht in keiner Vorführung.
Das ist auch kein Fehler der Technik, es ist ihr Grundprinzip. Und genau hier liegt die verbreitetste Fehlannahme: dass sich das mit der nächsten Modellgeneration von selbst erledigt. Es erledigt sich nicht. Besser werden muss nicht das Modell, sondern das Gesamtsystem darum herum, also die Art, wie eine Aufgabe in Teilschritte zerlegt, geprüft und wieder zusammengesetzt wird. Das ist die eigentliche Arbeit bei der Einführung von KI in einem Unternehmen, und sie ist nicht einkaufbar.
Das falsche Verständnis von Fehlern in KI-Systemen
Wer glaubt, die Fehler seien spektakulär, irrt. Von 115 untersuchten Gesprächsverläufen scheiterten 40. Vier davon gingen auf Tippfehler oder Mehrdeutigkeiten des Kunden zurück, die übrigen 36 auf das System. Und die häufigste Fehlerart ist nicht die falsche Entscheidung. Es ist der richtige Handgriff mit einem falsch gefüllten Feld.
Das System weiss genau, dass es umbuchen soll. Es bucht nur den falschen Flug.
Es geht noch eine Schicht tiefer. Man kann bei diesen Modellen den Zufall abschalten, so dass sie bei gleicher Frage immer dieselbe Antwort geben sollen. Sie tun es trotzdem nicht. Die übliche Erklärung lautet, das liege an Rundungsfehlern auf der Grafikkarte, quasi Ungenauigkeiten bei der Berechnung, aber der Grund dafür ist ein anderer und deutlich unangenehmer: die Rechnung fällt unterschiedlich aus, je nachdem wie viele fremde Anfragen im selben Moment mitverarbeitet werden. Tausend identische Anfragen ergaben in einem Test achtzig verschiedene Antworten.
Anders gesagt: die Antwort hing davon ab, wer sonst gerade gefragt hat. Das Problem ist inzwischen gelöst, aber es musste eigens gelöst werden. Verlässlichkeit war hier keine Eigenschaft, die man einschalten konnte. Sie war ein Bauteil, das erst hergestellt werden musste.
Wann Wiederholung überhaupt hilft
Der übliche Reflex an dieser Stelle ist, das System einfach mehrfach laufen und sich selbst korrigieren zu lassen. Das hilft, aber nur unter einer Bedingung, und die ist präzise.
Eine begutachtete Übersicht über die Selbstkorrektur solcher Modelle kommt zu einem nüchternen Befund: sie trägt dort, wo das Prüfen deutlich leichter ist als das Herstellen. Wo Prüfen dieselbe Sachkenntnis verlangt wie Herstellen, trägt sie nicht. Beim Programmieren funktioniert die Schleife, weil ein Test in Sekunden sagt, ob es läuft. Bei einem Angebot, einem Gutachten oder einer Personalentscheidung sagt das niemand in Sekunden, und deshalb dreht sich die Schleife dort nur schneller.
Daraus folgt das eigentliche Kriterium, und es hat mit dem Modell nichts zu tun. Zerfällt das Ergebnis einer Aufgabe in einzeln prüfbare Aussagen, wandert sie zur Maschine. Zerfällt es nicht, bleibt sie beim Menschen, unabhängig davon, welche Modellgeneration gerade vorgestellt wird.
Dazu kommt eine Rechnung, die jeder Ingenieur im Schlaf kennt und die in kaum einem Vorstandsgespräch auftaucht. Eine Kette aus zehn Schritten, jeder einzelne zu 85 Prozent verlässlich, kommt am Ende auf unter 20 Prozent. Nicht weil ein Schritt schlecht wäre, sondern weil es zehn sind.
Das ist kein Modellproblem, das ist Multiplikation.
Wir hatten nie verlässliche Bauteile
Und jetzt der Teil, der beunruhigen müsste und es seit Jahrhunderten nicht tut, weder bei Verfahren zwischen Menschen noch bei technischen Anlagen mit vielen Teilen.
Wir stellen seit gut 200 Jahren Verlässlichkeit aus unzuverlässigen Bauteilen und Teilschritten her. Die doppelte Buchführung geht davon aus, dass sich jemand verrechnet. Das Vieraugenprinzip geht davon aus, dass einer etwas übersieht. Die Checkliste im Cockpit geht davon aus, dass ein erfahrener Pilot unter Druck einen Schritt vergisst, und sie hat recht mit der Annahme. Kein einzelnes Bauteil in diesen Verfahren ist zuverlässig. Das Verfahren selbst ist es.
Was gerade passiert, ist also nichts Neues in der Sache. Es ist nur das erste Mal, dass das unzuverlässige Bauteil selbstbewusst antwortet und in vollständigen Sätzen erklärt, warum es richtig liegt.
In einem Portfoliounternehmen lief ein Pilot zur Angebotserstellung mit KI, das Vorzeigeprojekt der KI-Initiative. Vierzig Angebote, die Trefferquote lag bei über neunzig Prozent, das Team war überzeugt, die Entscheidung fiel schnell. Was in der Auswertung nicht auftauchte: in diesen vierzig Fällen hatte der Vertriebsleiter jedes Angebot vor dem Versand angesehen. Er war Teil des Systems, das gemessen wurde. Im Rollout fiel diese Prüfung weg, denn sie war die Einsparung. Gemessen worden war ein Verfahren mit Prüfinstanz. Betrieben wurde eines ohne.
Der Fehler steckt nicht im Modell. Er steckt im Abnahmekriterium, und Abnahmekriterien sind Chefsache, nicht IT. Die Abnahmeentscheidung ist die eine Position, die sich auch mit KI nicht wegoptimieren lässt. Aber KI legt die Schwelle fest.
Die Frage an das eigene Geschäft
Für einen Eigentümer, der KI in seinem Unternehmen einführt, folgt daraus eine Prüffrage, und sie ist unangenehm, weil sie nicht delegierbar: lässt sich die Leistung dieses Geschäfts, oder wenigstens dieser einen Teilleistung, in einzeln belegbare Aussagen zerlegen.
Nicht: gibt es dafür einen automatischen Test. Nicht: liesse sich das digitalisieren. Sondern: kann jemand, der die Sache nicht selbst gemacht hat, in vertretbarer Zeit feststellen, ob das Ergebnis stimmt.
Bei Dienstleistung und Wissensarbeit lautet die ehrliche Antwort fast immer nein. Und daraus folgt die Richtung. Der Hebel liegt nicht im Einkauf von Modellen, sondern darin, die eigene Leistung in prüfbare Blöcke aufzuteilen. Das ist Prozessarbeit, nur diesmal nicht zwischen Menschen, sondern zwischen Menschen und Maschinen. Es ist keine Technikentscheidung, und sie beginnt mit demselben Vorgang, mit dem sich Unternehmen für ihre Agenten lesbar machen. Wer sie nicht macht, wird die Zahlen aus dem Pilot in seinem Betrieb nie wiedersehen.
Ein Lauf misst, was möglich ist. Erst der achte misst, was man verkaufen kann.
