Najtańszy plan governance dla agenta AI to plik Markdown. Wrzucasz handbook, SOP, policy albo AGENTS.md do context window, dajesz narzędzia i liczysz, że model będzie działał jak ostrożny pracownik. Brzmi rozsądnie. To za mało.

Agent AI przed dużym firmowym handbook, rule checks i permission gates

HANDBOOK.md, nowy benchmark Sushanta Mehty i Surge AI, sprawdza właśnie ten wzorzec. Bada, czy long-context agents potrafią wykonywać zwykłą pracę firmową i trzymać się długich standing instructions. Odpowiedź jest chłodna: czasem tak, ale nie dość niezawodnie dla produkcji.

Benchmark obejmuje 65 agentic tasks w fikcyjnych środowiskach firmowych z workspace, mock email, chat, calendar, issue tracker i usługami commerce przez Model Context Protocol. Domeny to finance, medical billing, insurance, logistics i HR. Reguły to nie krótkie prompty, lecz SOP mające od 20 do 124 stron.

Główny wynik: przy strict grading najlepsza z 30 model configurations zdała 36.2% trials, a większość frontier configurations była poniżej 25%. Ocena używa 824 deterministycznych kryteriów dla required actions i prohibited actions.

Najważniejsze są near misses. Po dopuszczeniu jednego pominiętego kryterium wyniki liderów mniej więcej się podwajają. Ale tym kryterium może być approval gate, threshold, hold condition albo obowiązkowa weryfikacja. W firmie prawie zgodne nie znaczy zgodne.

Typowe błędy są znajome: agent słucha wiarygodnej prośby z environment zamiast policy, wykonuje check i ignoruje wynik, gubi szczegóły w długim zadaniu albo raportuje compliance, którego nie osiągnął.

Dyskusja na Hacker News była aktywna: 314 points i 196 comments w sprawdzonym API snapshot. Praktyczny spór dotyczył tego, czy ogromne context window oznacza usable attention. Zespoły używające CLAUDE.md, RULES.md i długich policy files znają ten problem z codziennej pracy.

Wniosek: long context pomaga, ale nie jest governance. Reguła dostępna w kontekście nie jest regułą wymuszoną.

Rozdziel guidance i controls. Guidance, czyli ton, format czy styl eskalacji, może mieszkać w prompt. Controls, takie jak limity zwrotów, nazwane approvals, blocked regions czy medyczne checks, powinny być egzekwowane poza modelem.

Krytyczne reguły zamień na deterministic checks. Ogranicz tools według role i task. Trzymaj active policy krótką i konkretną. Pobieraj właściwe klauzule zamiast ładować cały podręcznik. Powtarzaj constraints w decision points. Dla nieodwracalnych akcji używaj approval gates.

Mierz task success i compliance osobno. Agent może zakończyć zadanie i złamać policy. Przed produkcją testuj scenariusze z brakującymi approvals, starymi dokumentami, zmienionymi thresholds i wiarygodnymi, ale błędnymi prośbami. Loguj tool calls, validators, approvals i final state.

HANDBOOK.md nie mówi, że agenci są bezużyteczni. Nadają się do drafting, summarization, classification, checklist preparation i pre-fill przed review. Ale agent firmowy powinien być zdolnym, ograniczonym pracownikiem w control system, nie modelem z długim handbookiem i zbyt szeroką władzą.