Работа с кэшем моделей
Многие провайдеры на несколько минут кэшируют начало запроса: системный промпт, инструменты и предыдущую переписку. Следующий запрос с тем же началом читает эту часть из кэша по сниженной цене. Когда кэш истекает, следующий запрос снова оплачивается полностью.
Veai CLI бережёт кэш двумя способами: форками чата и прогревом.
Форки сохраняют кэш
Когда агент поручает часть задачи форку, форк начинает с того же контекста, что и основной чат, и переиспользует кэш провайдера. Побочная работа не засоряет основной контекст и не сбрасывает уже оплаченный кэш. Подробнее — в разделе «Субагенты».
Прогрев кэша
Модели по подписке Veai не прогреваются, и минуты подписки на прогрев не тратятся. Прогрев полезен в первую очередь тем, кто работает со своим ключом Anthropic.
Кэш Anthropic по умолчанию живёт пять минут. Если пауза между запросами дольше, следующий запрос снова оплачивает запись всей истории. Избежать этого можно двумя способами:
- Часовой кэш. Запустите агента с переменной окружения
VEAI_CACHE_RETENTION=long. Запись в такой кэш стоит 2× от базовой цены входных токенов вместо 1,25×. - Прогрев — описан ниже.
Когда прошло 90% срока жизни кэша, но не позже чем за 10 секунд до его истечения, агент повторяет последний запрос с ограничением ответа в один токен. Кэш продлевается, и следующий настоящий запрос снова читает его по сниженной цене.
Когда это выгодно
Прогрев окупается при большом контексте, дорогой модели и долгих паузах внутри задачи: длинной сборке, медленных тестах, долгом инструменте.
Каждый прогрев — настоящий платный запрос: весь промпт оплачивается по цене чтения из кэша плюс один токен ответа. Прогрев, за которым не последовал реальный запрос, — чистый расход. Поэтому агент решает о каждом прогреве сам и прогревает, только если ожидаемая экономия не меньше $0,05. Стоимость прогревов учитывается в расходе сессии, но в переписку они не попадают.
Режимы
| Значение | Что делает |
|---|---|
off | Не прогревает (по умолчанию) |
streaming | Прогревает, пока агент работает над запросом, и останавливается, когда он закончил, но не позже чем через час. Полезно, когда агент дольше пяти минут ждёт сборку, тесты или медленный инструмент |
idle | Дополнительно прогревает до 30 минут после последнего запроса, на случай если вы скоро напишете снова |
idle обходится дороже всего: большинство прогревов между запросами не дожидаются нового запроса вовремя.
Прогрев прекращается через час после последнего реального запроса в задаче (через 30 минут между задачами), при выключении режима, а также когда беседа ушла в другую сторону: вы переключились на другую ветку или сессию либо контекст сжали.
Как включить
Прогрев выключен по умолчанию. Включите его командой veai config в терминале. В меню /settings этой настройки нет:
veai config set cacheWarming streaming # или idle
Проверить текущее значение и выключить:
veai config get cacheWarming
veai config set cacheWarming off
Можно и попросить агента в чате: Включи прогрев кэша. Он объяснит компромисс и изменит настройку.
Настройка хранится в собственных настройках агента, а не в .veai/settings.json, и действует для всех проектов. Изменение применяется к сессиям, запущенным после него. Команда /session в терминале показывает текущее решение о прогреве в сессии.
С какими моделями работает
Только с моделями, для которых известно время жизни кэша. Во встроенном каталоге это модели Anthropic (Claude): кэш живёт 5 минут или 1 час, если агент запущен с переменной окружения VEAI_CACHE_RETENTION=long.
Прогрев не работает:
- с моделями других провайдеров из каталога — для них время жизни кэша неизвестно;
- с моделями аккаунта Veai и своими провайдерами — у них не указаны время жизни кэша и цена, поэтому выгоду прогрева нельзя оценить;
- с моделями Claude, которые рассуждают с фиксированным бюджетом, а не адаптивно.