Автоматическое сжатие чата
Если чат с агентом становится слишком большим, есть риск уткнуться в размер контекстного окна: качество работы модели снижается, а её цена и время работы растёт.
Автоматическое сжатие уменьшает историю, когда чат становится слишком большим. Сначала плагин использует встроенные правила и не делает дополнительный запрос к LLM. Если этого недостаточно и контекст всё равно переполняется, история отправляется в LLM на суммаризацию. Короткое резюме заменяет старую переписку, а последнее сообщение пользователя остается без изменений.
Сжатие не удаляет сообщения из чата: оно сокращает историю, которую получает модель.
Когда менять порог
По умолчанию автоматическое сжатие запускается при заполнении 80% контекстного окна. Доступный диапазон — от 25 до 100%.
- Выберите более низкий порог, если чат будет долгим и впереди ещё несколько этапов работы. История начнёт сокращаться раньше, поэтому для новых сообщений, результатов инструментов и правок останется больше контекста.
- Выберите более высокий порог, если в текущей переписке важны ранние детали и задачу скоро можно закончить. Сжатие начнётся позже, но запас контекста будет меньше.
Чтобы изменить порог:
- Нажмите на индикатор заполнения контекста рядом с полем ввода.
- Включите Auto compress by threshold.
- Передвиньте ползунок на нужное значение.
Если выключить Auto compress by threshold, автоматическое сжатие не запустится. Ручное сжатие останется доступно.
Когда запускать вручную
Запустите ручное сжатие перед новым этапом длинной задачи, если хотите заранее освободить контекст. Например, агент уже исследовал проект и составил план, а теперь должен перейти к реализации. Дожидаться автоматического порога в этом случае не нужно.
Чтобы сжать чат вручную:
- Нажмите на индикатор заполнения контекста.
- Нажмите Compress.
Ручное сжатие использует встроенные правила и не зависит от выбранного порога. Оно может не уменьшить историю, если в чате ещё нет содержимого, которое можно сократить.