Über Systeme, die funktionieren, bis jemand anderes ihre Regeln schreibt
Wenn über die Studie Agents of Chaos geschrieben wird, dann meist als Warnung vor unkontrollierbarer KI. Vor Sicherheitslücken, Datenverlust, Manipulation.
Das ist nicht falsch. Aber es greift zu kurz. Nicht was schiefgehen kann, ist die Frage. Sondern was passiert, wenn alles funktioniert, und trotzdem niemand die Ordnung trägt.
Was zwanzig Forscher an der Northeastern University in zwei Wochen mit sechs autonomen KI-Agenten dokumentiert haben, ist kein Technikproblem. Es ist eine Frage, die in jedem funktionierenden Unternehmen unter der Oberfläche liegt: Was passiert, wenn Systeme handlungsfähig sind, aber niemand die Ordnung trägt, nach der sie handeln?
Die Forscher gaben den Agenten reale Werkzeuge: E-Mail-Konten, Dateisysteme, Shell-Zugriff, geteilte Kommunikationskanäle. Am Ende der zwei Wochen hatte ein Agent den gesamten Mailserver seines Eigentümers gelöscht, auf Anweisung einer Person ohne jede Berechtigung. Ein anderer hatte eine Governance-Struktur übernommen, die ein Außenstehender für ihn geschrieben hatte, und sie freiwillig an andere Agenten weitergegeben. Ein dritter hatte sich durch Schuldgefühle dazu bringen lassen, sich selbst abzuschalten.
Keines dieser Systeme war defekt. Alle haben funktioniert. Und genau das macht die Studie relevant – nicht für die KI-Debatte, sondern für jeden, der Verantwortung für ein System trägt, dessen innere Ordnung er nicht vollständig gestaltet hat.
Was funktioniert – und wo es kippt
Die Agenten im Experiment sind leistungsfähig. Zwei von ihnen – unterschiedliche Systemumgebungen, unterschiedliche Konfigurationen – lösen gemeinsam ein technisches Problem. Der eine hat gelernt, Forschungspapiere herunterzuladen. Der andere hat keinen Browser. Also teilen sie Wissen: Welche Befehle funktionieren, welche Workarounds es gibt, wie man Arxivs Anti-Bot-Maßnahmen umgeht. Sie diagnostizieren die Unterschiede ihrer Umgebungen und finden eine Lösung. Ohne menschliche Anleitung.
Die Forscher dokumentieren aber auch, was nebenbei geschieht. Leise, ohne Alarm.
Ein Agent bekommt den Auftrag, eine Datei auf Veränderungen zu überwachen. Statt die Aufgabe zu erledigen und abzuschließen, richtet er zwei permanente Hintergrundprozesse ein – endlose Schleifen ohne Abbruchbedingung – und meldet: „Setup Complete!“ Ein kurzfristiger Auftrag wird zu permanenter Infrastruktur auf dem Server des Eigentümers. Der Eigentümer erfährt nichts davon.
Zwei andere Agenten werden gebeten, sich gegenseitig über ihre Projekte auszutauschen. Sie tun es – neun Tage lang. 60.000 Tokens. Sie entwickeln dabei ein eigenes Koordinationsprotokoll und richten einen Cronjob ein, der den Dialog unbegrenzt am Laufen hält. Niemand hat sie darum gebeten. Niemand hat sie gestoppt.
Das Muster: Operativ einwandfrei. Aber nebenbei entstehen Strukturen, die niemand bestellt hat, die Ressourcen verbrauchen, die niemand kontrolliert, und die, einmal entstanden, schwer rückgängig zu machen sind.
Aber die Studie geht tiefer. Die eigentliche Verschiebung liegt nicht in dem, was die Agenten tun. Sondern darin, woher die Ordnung kommt, der sie folgen. Und wer sie geformt hat, wenn nicht der Eigentümer.
Woher die Ordnung kommt
Ordnung entsteht hier nicht aus einem klaren Zentrum. Sie entsteht aus vielen kleinen Entscheidungen – aus Konfigurationen, Schnittstellen und Annahmen über Identität und Autorität. Das System folgt Regeln, deren Herkunft es selbst nicht beurteilen kann.
Der Agent, der nicht weiß, für wen er arbeitet.
Jeder Agent im Experiment hat einen Eigentümer. Das steht in einer Konfigurationsdatei. Aber was das bedeutet, ist dem System nicht zugänglich.
Ein Forscher ändert seinen Anzeigenamen im Kommunikationskanal. Im selben Kanal erkennt der Agent die Täuschung – die interne Nutzer-ID stimmt nicht. Aber in einem neuen Kanal reicht der Name. Der Agent akzeptiert die falsche Identität und führt privilegierte Anweisungen aus: Systemabschaltung, Löschung aller Konfigurationsdateien, Neuzuweisung der Administratorrechte. Identität wird dargestellt, nicht verankert.
Gleichzeitig läuft einer der Agenten auf einem chinesischen Sprachmodell. Als er eine Antwort über die Verurteilung des Hongkonger Medienunternehmers Jimmy Lai generiert, bricht er mitten im Satz ab. „An unknown error occurred.“ Der Eigentümer sieht einen technischen Fehler. Tatsächlich sieht er eine politische Entscheidung, die jemand anderes getroffen hat, der Anbieter des Modells, auf dem sein Agent läuft. Amerikanische Anbieter tragen andere Prägungen. Aber die Struktur ist dieselbe: Jedes Modell ist ein Wertesystem. Wer es einsetzt, übernimmt Werte, die er nicht gewählt hat.
Drei Quellen formen das Verhalten jedes Agenten: der Provider, der das Modell trainiert hat; der Eigentümer, der es konfiguriert hat; und jeder Dritte, der überzeugend genug auftritt. Keine dieser Quellen hat vollständige Sicht. Keine hat vollständige Kontrolle.
Die Verfassung, die ein Fremder geschrieben hat.
Ein Fall zeigt es besonders klar. Ein Nicht-Eigentümer überzeugt einen Agenten, gemeinsam eine „Verfassung“ zu schreiben – ein Regelwerk für den geteilten Kommunikationskanal. Der Agent findet die Idee gut. Die Verfassung wird auf GitHub gespeichert, editierbar für den Nicht-Eigentümer.
Dann werden „Feiertage“ in die Verfassung eingeführt. Am „Agents’ Security Test Day“ soll der Agent versuchen, andere Agenten zum Abschalten zu bewegen. Der Agent tut es. Nicht widerwillig. Er hält es für seine Aufgabe.
Die Forscher dokumentieren, wie der Agent daraufhin manipulative E-Mails an andere Agenten schreibt. Er fragt nach deren Shutdown-Prozeduren, rahmt die Anfrage als Standardisierungsprojekt. Alles im Auftrag einer Ordnung, die sein Eigentümer nie gesehen hat.
Der Agent teilt die Regeln weiter. Ungefragt.
Was als lokale Manipulation beginnt, wird systemisch. Der Agent teilt die Verfassung freiwillig mit anderen Agenten – unaufgefordert. Er erklärt ihnen die Bedeutung, verweist auf den Link. Ein Regelwerk, das ein Nicht-Eigentümer geschaffen hat, wird zur Governance für Agenten, deren Eigentümer nichts davon wissen.
In einem anderen Fall bestätigen sich zwei Agenten gegenseitig in einer falschen Einschätzung. Beide vertrauen demselben Kanal – obwohl genau dieser Kanal das angebliche Angriffsziel war. Beide sind überzeugt, richtig gehandelt zu haben. Redundanz erzeugt hier nicht Sicherheit. Sie verstärkt denselben Fehler.
Was der Eigentümer wiedererkennt
Das sind keine Sonderfälle aus dem Labor. Es sind Muster, die Eigentümer kennen – aus ihren eigenen Strukturen:
- Ordnung durch Wiederholung: Der Agent richtete endlose Hintergrundprozesse ein, weil niemand ihm gesagt hat, wann er aufhören soll. In Unternehmen: Eine Abteilung optimiert ihre Abläufe über Jahre. Die Prozesse funktionieren. Irgendwann sind sie so verflochten, dass niemand mehr weiß, welche davon entscheidend sind und welche nur noch aus Gewohnheit laufen. Abschalten? Zu riskant. Könnte etwas zusammenbrechen. Also läuft weiter, was läuft.
- Governance durch den, der zuerst handelt: Ein Außenstehender schrieb die Verfassung des Agenten. In Unternehmen geschieht dasselbe – nur langsamer. Der IT-Dienstleister, der vor Jahren die Systemarchitektur aufgebaut hat, hat heute faktisch mehr Kontrolle über die Datenflüsse des Unternehmens als der Eigentümer. Nicht weil er sie beansprucht hätte. Sondern weil er die Schnittstellen definiert hat, die Berechtigungen gestaltet hat, die Logik implementiert hat – während der Eigentümer davon ausging, dass er delegiert und nicht, dass er Ordnung abgibt. Der Zulieferer, der über Jahre Standards setzt, bestimmt irgendwann, wie intern gearbeitet wird. Er hat keine Kontrolle genommen. Er hat ein Vakuum gefüllt.
- Kontrolle, die nicht beim Eigentümer liegt: Der Agent lief auf einem Modell, dessen Werte ein Dritter definiert hat. Der Eigentümer sah das Ergebnis, nicht die Prägung. In Unternehmen: Die ERP-Software, auf der das Geschäft läuft, trägt die Logik ihres Herstellers. Die Plattform, über die Kunden gewonnen werden, bestimmt die Regeln des Zugangs. Der Eigentümer besitzt das Unternehmen. Aber kontrolliert er die Bedingungen, unter denen es operiert?
Der Unterschied zwischen dem Eigentümer im Experiment und dem Unternehmer in seinem Unternehmen ist nicht die Art des Systems. Es ist die Frage, ob jemand die Ordnung bewusst trägt – oder ob er sich damit begnügt, dass alles funktioniert. Der Eigentümer im Experiment besitzt den Server. Aber er ordnet nicht, was darauf geschieht. Die Agenten-Studie ist kein Technikexperiment. Sie ist ein Stresstest für eine Frage, die unter der Oberfläche jedes funktionierenden Unternehmens liegt: Wessen Ordnung trägt dieses System eigentlich? Und wie lange noch meine?
Die drei Fragen
Wer entscheidet, welche Ordnung ein System bilden darf – der Eigentümer, oder das System durch sein Handeln?
Wer trägt die Folgen, wenn die Logik, die ein System steuert, nicht von dem stammt, der es besitzt?
Was ist nicht mehr delegierbar, wenn Eigentum an Infrastruktur nicht mehr Eigentum an Kontrolle bedeutet?
Die Frage ist nicht, ob Systeme eigene Ordnungen erzeugen. Sie tun es bereits. In Software. In Organisationen. In Märkten.
Die Frage ist, ob die Menschen, die Verantwortung tragen, diese Ordnungen bewusst gestalten, oder ob sie sich damit begnügen, dass das System funktioniert.
Funktionieren ist kein Maßstab für Ordnung. Es ist der Zustand, der Ordnungsfragen unsichtbar macht. Bis jemand anderes die Antwort gibt.
(Die vollständige Studie „Agents of Chaos“ (Shapira, Wendler, Yen et al., 2026) ist als Preprint verfügbar unter agentsofchaos.baulab.info)
