Когда ошибки становятся нарративами: тихие сбои в проде LLM-агента

Системы LLM-агентов всё чаще работают как долгоживущие автономные рантаймы: планируют задания, вызывают инструменты, поддерживают память и доставляют результаты людям. Авторы представляют лонгитюдное исследование тихих сбоев в одной такой системе - рантайме персонального ассистента-агента, непрерывно работающем в продакшене с марта 2026 года, с примерно 40 запланированными заданиями, 8 провайдерами LLM, прокси для управления инструментами и плоскостью памяти базы знаний, защищённой 4 286 модульными тестами и 827 проверками governance.

За восемь недель задокументировано 22 инцидента с полными разборами первопричин, среди которых один мета-паттерн - сбой, чей сигнал об ошибке так и не доходит до человека в пригодной для действия форме, - проявился не менее 28 раз. Авторы выводят пятиклассовую, ориентированную на механизмы таксономию: (A) причуды окружения и платформы, (B) несоответствия проектных допущений, (C) «проглатывание» и размывание ошибок, (D) цепная галлюцинация и фабрикация, (E) операционные упущения и «слепые зоны» для расследования. Класс D уникален для LLM-систем и наиболее опасен: система не просто не сообщает об ошибке - LLM превращает её в гладкий, правдоподобный нарратив, доставляемый пользователю. Авторы называют это fail-plausible: дифференциальная наблюдаемость «серого сбоя» обостряется - наблюдатель не просто слеп, его убедительно обманывает сам сбой.

Три вывода: около 70% тихих сбоев были пойманы наблюдением со стороны пользователя-человека, а не тестами или аудитами; ретроспективный аудит 15 инцидентов показал 0% предотвращения «до факта», но 87% блокирования регрессий - аудиты являются движками регрессий, а не предсказаний; задержка инцидента (от 13 часов до 60 дней) определяется механизмом сбоя, а не сложностью кода - дольше всего живут сбои в «швах» между компонентами, где не выполняется ни один тест. Авторы описывают итоговую защитную рамку и формулируют принципы проектирования агентных систем, чьи сбои «громкие, атрибутируемые и скучные». Все постмортемы и артефакты опубликованы.