Автоматическое сжатие чата

Если чат с агентом становится слишком большим, есть риск уткнуться в размер контекстного окна: качество работы модели снижается, а её цена и время работы растёт. Мы реализовали автоматическую компрессию чата, которая уменьшает размер чата автоматически, когда он становится слишком большим. Она вызывается автоматически и не делает дополнительные запросы к LLM, а потому не тратит ваше время и токены.

Вы можете настроить момент вызова автоматической компрессии и вызвать компрессию вручную в любой момент прямо из интерфейса чата, как показано на видео.