Skip to main content

Точно измерить расход токенов через Bifrost

Эта инструкция поможет измерить, сколько входных и выходных токенов агент Veai использовал для конкретной задачи. Запросы пойдут через локальный шлюз Bifrost, который сохранит статистику.

Способ подходит, когда вы работаете со своим ключом провайдера. Индикатор заполнения контекста под полем ввода удобен для контроля текущего чата, а Bifrost позволяет задать точный интервал времени.

Что подготовить​

Перед началом понадобятся:

  • установленный и запущенный Docker;
  • API-ключ OpenAI;
  • плагин Veai с агентом Veai;
  • модель OpenAI, которую вы будете использовать для задачи.

Настоящий ключ OpenAI вводите только в Bifrost. Не добавляйте его в настройки агента, файлы проекта, команды или сообщения чата.

Bifrost учитывает только запросы, которые прошли через него. Вызовы с тем же ключом, отправленные напрямую в OpenAI, в локальную статистику не попадут.

1. Запустите Bifrost​

Откройте терминал и загрузите образ:

docker pull maximhq/bifrost

Запустите контейнер и подключите постоянный том для настроек и журналов:

docker run --name bifrost -p 8080:8080 -v bifrost-data:/app/data maximhq/bifrost

Откройте http://localhost:8080 в браузере. Если контейнер уже создан и остановлен, запустите его командой:

docker start bifrost

Подробности установки приведены в официальной инструкции Bifrost.

2. Добавьте ключ OpenAI в Bifrost​

  1. В интерфейсе Bifrost откройте Models | Model Providers.
  2. Нажмите Add New Provider и выберите OpenAI.
  3. Нажмите Add Key, задайте понятное имя и вставьте API-ключ OpenAI.
  4. Разрешите модель, которую будете использовать, и сохраните настройки.

Названия полей и параметры провайдера описаны в документации OpenAI provider.

3. Подключите Bifrost к агенту Veai​

Bifrost подключается к агенту Veai как свой OpenAI-совместимый провайдер. Откройте терминал и запустите агента командой veai (установка общая с плагином, см. «Установка Veai CLI»), затем выполните /custom-provider:

  1. Выберите подключение к любому совместимому адресу API (endpoint).
  2. Адрес: http://localhost:8080/v1 (адрес Bifrost).
  3. API-ключ: виртуальный ключ Bifrost, если в Bifrost включена авторизация. Если авторизация отключена, ключ можно не задавать. Настоящий ключ OpenAI сюда не вставляйте.
  4. Отметьте модель вида openai/<model>, например openai/gpt-4o-mini.

Подробно мастер описан на странице «Свои провайдеры и локальные модели».

Вернитесь в IDE, создайте новый чат, выберите добавленную модель в списке моделей под полем ввода и отправьте короткий безопасный запрос. Если агент отвечает, подключение работает.

4. Подготовьте чистый замер​

На результат влияют все запросы, прошедшие через выбранный ключ Bifrost в заданном интервале. Фоновые задачи, параллельные чаты и другие клиенты также попадут в статистику.

Чтобы измерить одну задачу точнее:

  1. Используйте для Veai отдельный виртуальный ключ Bifrost и отдельный ключ OpenAI.

  2. Остановите другие клиенты и не запускайте параллельные чаты через этот ключ.

  3. Создайте новый чат и выберите модель из Bifrost.

  4. Перед отправкой задачи запишите текущее время UTC в формате RFC3339:

    START_TIME=$(date -u +"%Y-%m-%dT%H:%M:%SZ")
    echo "$START_TIME"
  5. Выполните задачу и дождитесь завершения всех действий агента и субагентов.

  6. Сразу после завершения запишите конечное время:

    END_TIME=$(date -u +"%Y-%m-%dT%H:%M:%SZ")
    echo "$END_TIME"

Команды в этой инструкции написаны для bash (Linux, macOS, Git Bash в Windows). В PowerShell время записывается так:

$START_TIME = (Get-Date).ToUniversalTime().ToString("yyyy-MM-ddTHH:mm:ssZ")

а вместо curl с --data-urlencode используйте curl.exe с теми же параметрами или Invoke-RestMethod.

Не перезапускайте контейнер и не удаляйте том bifrost-data до получения статистики.

5. Получите статистику за интервал​

Получите доступные значения фильтров из Bifrost:

curl --silent --show-error "http://localhost:8080/api/logs/filterdata"

В объекте selected_keys найдите ключ по имени и скопируйте его id.

Выберите id ключа OpenAI, который добавили для замера:

KEY_ID="<OPENAI_KEY_ID>"

Метод и поля ответа описаны в справочнике доступных фильтров.

Запросите агрегированную статистику только по этому ключу и интервалу:

curl --silent --show-error --get \
"http://localhost:8080/api/logs/dashboard" \
--data-urlencode "selected_key_ids=$KEY_ID" \
--data-urlencode "start_time=$START_TIME" \
--data-urlencode "end_time=$END_TIME"

В ответе смотрите overview.stats.total_tokens. Разбивка содержит prompt_tokens, completion_tokens и total_tokens. Для проверки отдельных запросов используйте тот же фильтр с журналом:

curl --silent --show-error --get \
"http://localhost:8080/api/logs" \
--data-urlencode "selected_key_ids=$KEY_ID" \
--data-urlencode "start_time=$START_TIME" \
--data-urlencode "end_time=$END_TIME"

Параметры обоих методов описаны в справочнике Bifrost:

Если Management API защищён, добавьте выданный Bifrost bearer-токен во все запросы /api/logs/*:

BIFROST_MANAGEMENT_TOKEN="<BIFROST_MANAGEMENT_TOKEN>"

curl --silent --show-error --get \
"http://localhost:8080/api/logs/dashboard" \
--header "Authorization: Bearer $BIFROST_MANAGEMENT_TOKEN" \
--data-urlencode "selected_key_ids=$KEY_ID" \
--data-urlencode "start_time=$START_TIME" \
--data-urlencode "end_time=$END_TIME"

Не подставляйте в этот заголовок настоящий ключ OpenAI.

6. Проверьте результат​

Замер готов, если:

  • журнал содержит запросы Veai между $START_TIME и $END_TIME;
  • записи относятся к нужному selected_key_ids;
  • агрегат показывает входные, выходные и общие токены;
  • в интервале нет запросов от других чатов или клиентов.

Если в журнале есть лишние запросы, повторите задачу с отдельным ключом и более узким интервалом. Если записей нет, проверьте адрес провайдера и выбранную модель и убедитесь, что запросы действительно проходят через Bifrost.

Ограничения измерения​

Bifrost измеряет фактические запросы к модели, прошедшие через шлюз. Одна задача агента может состоять из нескольких запросов, включая вызовы инструментов и работу субагентов. Поэтому итог за интервал обычно больше числа токенов, видимых в одном сообщении.

Результат относится только к выбранному ключу и времени замера. Он не показывает расход вызовов, которые обошли Bifrost, и не прогнозирует расход следующей задачи.

Связанные страницы: