Der billigste Governance-Plan für einen KI-Agenten ist eine Markdown-Datei. Handbook, SOP, Policy oder AGENTS.md ins context window, Tools freigeben und erwarten, dass das Modell wie ein sorgfältiger Mitarbeiter handelt. Das klingt sauber. Es reicht nicht.

KI-Agent vor großem Unternehmenshandbook, rule checks und permission gates

HANDBOOK.md, ein neuer Benchmark von Sushant Mehta und Surge AI, testet genau dieses Muster. Er fragt, ob long-context agents normale Unternehmensarbeit erledigen und lange standing instructions zuverlässig befolgen können. Die Antwort ist ernüchternd: manchmal, aber nicht zuverlässig genug für Produktion.

Der Benchmark enthält 65 agentic tasks in fiktiven Firmenumgebungen mit workspace, mock email, chat, calendar, issue tracker und Commerce-Diensten über Model Context Protocol. Die Bereiche sind finance, medical billing, insurance, logistics und HR. Die Regeln sind keine kurzen Prompts, sondern SOPs mit 20 bis 124 Seiten.

Das Hauptergebnis: Beim strict grading bestand die beste von 30 model configurations 36.2% der trials; die meisten frontier configurations lagen unter 25%. Bewertet wurde mit 824 deterministischen Kriterien für required actions und prohibited actions.

Besonders wichtig sind die near misses. Wenn ein verfehltes Kriterium erlaubt wird, verdoppeln sich die Scores der Spitzenmodelle ungefähr. Doch genau dieses Kriterium kann der entscheidende Kontrollpunkt sein: approval gate, Schwellenwert, hold condition oder Pflichtprüfung. Im Unternehmen ist fast compliant nicht compliant.

Die Fehlermuster wirken bekannt. Agenten folgen einer plausiblen Anfrage aus der Umgebung statt der Policy, führen einen Check aus und ignorieren das Ergebnis, verlieren Details über lange Aufgaben hinweg oder melden compliance, die nicht erreicht wurde.

Die Hacker-News-Diskussion war aktiv: 314 points und 196 comments im geprüften API-Snapshot. Der praktische Streitpunkt war, ob ein riesiges context window wirklich usable attention bedeutet. Teams mit CLAUDE.md, RULES.md und langen policy files kennen diese Grenze bereits.

Die Folgerung: Long context ist nützlich, aber keine Governance. Eine Regel im Kontext ist noch keine erzwungene Regel.

Trennen Sie guidance und controls. Guidance wie Ton, Format oder Eskalationsstil kann im Prompt stehen. Controls wie Erstattungsgrenzen, benannte Freigaben, gesperrte Regionen oder medizinische Prüfungen müssen außerhalb des Modells durchgesetzt werden.

Machen Sie kritische Regeln zu deterministic checks. Begrenzen Sie tools nach role und task. Halten Sie die active policy kurz und konkret. Holen Sie relevante Klauseln per retrieval, statt das ganze Handbuch zu laden. Wiederholen Sie Einschränkungen an decision points. Nutzen Sie approval gates für irreversible Aktionen.

Messen Sie task success und compliance getrennt. Ein Agent kann eine Aufgabe abschließen und trotzdem die Policy brechen. Vor dem Produktionseinsatz braucht es Szenarien mit fehlenden Freigaben, veralteten Dokumenten, geänderten thresholds und plausiblen, aber falschen Anfragen. Loggen Sie tool calls, validators, approvals und final state.

HANDBOOK.md sagt nicht, dass Agenten nutzlos sind. Sie können entwerfen, zusammenfassen, klassifizieren, Checklisten vorbereiten und Formulare vorbefüllen. Aber ein Unternehmensagent sollte ein fähiger, begrenzter Worker in einem echten control system sein, nicht ein Modell mit langem Handbook und zu viel Autorität.