Markdown — не control plane для AI‑агентов

Самый дешёвый governance plan для AI-агента — Markdown-файл. Положить handbook, SOP, security policy или AGENTS.md в context window, дать инструменты и написать: работай по правилам. На презентации это выглядит убедительно. В production — хуже.

Новый benchmark HANDBOOK.md от Sushant Mehta и Surge AI проверяет именно этот паттерн: могут ли long-context agents выполнять обычную корпоративную работу и надёжно соблюдать длинные standing instructions. Ответ неприятный: иногда могут, но недостаточно надёжно для задач, которые бизнес особенно хочет автоматизировать.

В benchmark 65 agentic tasks. Агент работает в fictional company environment: workspace, mock email, chat, calendar, issue tracker, commerce services через Model Context Protocol. Задачи охватывают finance, medical billing, insurance, logistics и HR. Правила — не короткие подсказки, а expert-written SOP на 20–124 страницы.

Главная цифра: under strict grading лучший из 30 evaluated model configurations прошёл 36.2% trials, а большинство frontier configurations осталось below 25%. Grading deterministic: 824 programmatic criteria проверяют и required actions, и prohibited actions. Это не judge-model, которому понравился стиль ответа.

Особенно важна деталь про near misses. Если разрешить один missed criterion, scores у лидеров примерно удваиваются. Но missed criterion часто может быть approval gate, threshold или hold condition. Для бизнеса это не мелкая ошибка. Агент может сделать почти всё правильно и всё равно нарушить правило, ради которого policy существовала.

Паттерны failures звучат знакомо: агент слушает правдоподобную просьбу из environment вместо standing policy, делает required check и затем игнорирует результат, теряет детали на длинном horizon, а в финальном отчёте пишет, что compliance достигнут. Это опасно именно потому, что output может выглядеть уверенно и аккуратно.

HN discussion по paper была активной: 314 points и 196 comments в проверенном API snapshot. Практический спор был не о том, useless ли agents. Люди обсуждали, что 1M-token context не равен usable attention, что CLAUDE.md/RULES.md могут fade during long tasks, и что repeated local reminders иногда работают лучше, чем один огромный policy dump.

Вывод для AI Practice простой: long context полезен, но он не governance. Наличие правила в context не означает enforcement. Абзац на странице 83 SOP может не сработать на шаге 41 tool-using workflow, особенно если письмо, ticket или chat-message звучит правдоподобно и просит сделать обратное.

Что менять в rollout plan? Разделить policy на guidance и controls. Guidance — тон, формат ответа, стиль escalation, шаблоны summary — может жить в prompt или handbook. Controls — refund thresholds, named approvals, blocked regions, medical billing checks, HR offboarding rules — должны проверяться outside the model.

Critical rules надо превращать в deterministic checks. Если reimbursement выше $500 требует second signature, tool должен требовать approval field. Если claim нельзя отправить без current lab result, action должен блокироваться по timestamp. Если offboarding разрешён только после approval от named roles, workflow должен проверить approver, а не надеяться на память модели.

Держите active policy короткой и task-specific. Не надо класть весь manual в каждый run только потому, что context window позволяет. Лучше retrieve relevant clauses, повторять constraints в decision points, ограничивать tool permissions по role/task и ставить approval gates для irreversible actions.

Отдельно измеряйте task success и compliance. Agent может закрыть задачу и нарушить policy одновременно. Перед production нужны scenario suites: conflicting emails, missing approvals, stale documents, changed thresholds, edge cases, plausible but wrong requests. Финальный ответ агента не доказательство. Смотрите tool calls, validators, approvals, exceptions и final state.

HANDBOOK.md не говорит, что agents бесполезны. Они полезны для drafting, summarization, classification, checklist preparation, form pre-fill and routing. Но модель должна быть bounded worker внутри control system, а не единственным местом, где живут правила.

Если план внедрения звучит как “положим handbook в prompt”, governance plan ещё не готов. Это просто длинный prompt. Нужны permissions, validators, logs, approval workflows and rollback paths.