ARTIKEL / AI Engineering

Ein AI Agent sollte nicht alles selbst entscheiden.

Warum kontrollierte Autonomie oft interessanter ist als vollständige Automatisierung.

Autonomie braucht einen Rahmen.

Ein Agent kann Informationen zusammenführen, Werkzeuge auswählen und nächste Schritte vorbereiten. Daraus folgt noch nicht, dass er jede Aktion eigenständig ausführen sollte. Die spannende technische Frage ist: Welche Entscheidung lässt sich verlässlich delegieren – und wo muss ein Mensch übernehmen?

Für einen Posteingang ist diese Grenze sehr konkret. Eine Anfrage einem bekannten Kunden zuzuordnen, ist ein anderer Eingriff als Preise zu ändern, eine Bestellung auszulösen oder verbindliche Zusagen zu versenden.

Die Einheit der Kontrolle ist die Aktion, nicht der Agent.

Lesen, vorbereiten, ausführen.

Wir trennen drei Fähigkeiten. Der Agent darf Informationen lesen, innerhalb definierter Zugriffsrechte. Er darf einen Vorschlag vorbereiten, dessen Grundlagen sichtbar bleiben. Eine Ausführung benötigt abhängig von der Aktion eine zusätzliche Freigabe.

Ein Modellwert wie „Confidence / High“ ersetzt dabei keine technische Berechtigung. Auch ein überzeugender Vorschlag darf ausschließlich die Werkzeuge verwenden, die für den konkreten Prozess freigegeben sind.

Human-in-the-loop als Teil des Systems.

Eine sinnvolle Review-Oberfläche zeigt nicht nur einen Ja- oder Nein-Button. Sie macht sichtbar, welche Daten verwendet wurden, was das System daraus abgeleitet hat und welche Aktion tatsächlich ausgeführt werden soll. Ein Mensch muss korrigieren oder ablehnen können.

Für die Umsetzung bedeutet das: Vorschlag und Ausführung sind getrennte Zustände. Eine Freigabe gilt für genau den angezeigten Vorschlag. Änderungen danach benötigen eine neue Freigabe. Schreibende Werkzeuge prüfen diese Freigabe serverseitig.

Ein Audit Trail, der Fragen beantwortet.

Nachvollziehbarkeit entsteht durch protokollierte Quellen, Tool-Aufrufe, Vorschläge und Freigaben. Wenn ein Schritt scheitert, sollte das System einen sicheren Zustand behalten, statt die nächste Aktion auf unsicherer Grundlage auszuführen.

Im Inbox-Lab lässt sich diese Grenze anhand synthetischer Anfragen ausprobieren. Die Demo macht die Zustände sichtbar. Ein produktives System braucht zusätzlich echte Berechtigungen, Validierung und Monitoring.