Skip to main content

Свои провайдеры и локальные модели

Veai CLI может работать не только через подписку Veai, но и через ваш корпоративный шлюз, локальную модель или собственные API-ключи провайдеров.

Зачем это нужно​

  • Корпоративный шлюз. Запросы идут через инфраструктуру компании, а не напрямую к провайдеру.
  • Локальная модель. Код не покидает машину или внутреннюю сеть.
  • Свои ключи (Community). CLI можно бесплатно использовать с ключами OpenAI, DeepSeek, Anthropic, Gemini или с Ollama.
Бесплатно и без аккаунта

Со своим API-ключом OpenAI, Anthropic, Gemini или DeepSeek, с локальной Ollama и со своим шлюзом через /custom-provider Veai CLI работает бесплатно. Аккаунт Veai для этого не нужен. Подписка нужна только для моделей Veai.

Способы подключения​

Команда /login показывает варианты подключения провайдера модели:

ВариантКогда выбирать
АккаунтПодписка Veai
Встроенные провайдерыУ вас есть ключ известного провайдера
Свой провайдерКорпоративный шлюз или сервер с OpenAI-совместимым API

Свой провайдер: /custom-provider​

/custom-provider — мастер, который добавляет, изменяет и удаляет свои провайдеры.

  1. Введите /custom-provider.
  2. Выберите тип подключения:
    • любой совместимый endpoint — мастер сам найдёт список моделей сервера или даст ввести их вручную;
    • известный API-провайдер (OpenRouter, DeepSeek и другие) — список моделей и их параметры берутся из каталога models.dev.
  3. Введите адрес, например https://api.example.com/v1 или http://localhost:11434/v1.
  4. Введите API-ключ или ссылку на переменную окружения вида $MY_API_KEY. Если ключ не нужен, его можно не задавать.
  5. Отметьте модели, которые нужно добавить.
  6. Выберите новую модель в /model.

Мастер поддерживает форматы API: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini. Для каждой модели можно задать размер контекста, максимальную длину ответа, поддержку изображений, уровень рассуждений и дополнительные HTTP-заголовки.

Через /custom-provider подключаются Ollama, LM Studio, vLLM и любой другой сервер с OpenAI-совместимым API. Позже тот же мастер может заново запросить список моделей у сервера: добавить новые и пометить исчезнувшие.

note

Команда вида !command вместо ключа не поддерживается. Укажите сам ключ или переменную окружения $ИМЯ.

Локальные модели через llama.cpp: /llama​

CLI поддерживает роутер llama.cpp, который находит GGUF-модели в папке и загружает их по требованию.

  1. Запустите роутер без параметра --model:

    llama-server --models-dir ~/models --no-models-autoload --jinja --host 127.0.0.1 --port 8080 -ngl 999 -c 32768

  2. В CLI выполните /login llama.cpp и укажите адрес роутера (по умолчанию http://127.0.0.1:8080) и ключ, если роутер запущен с --api-key. Вместо этого можно задать переменные окружения LLAMA_BASE_URL и LLAMA_API_KEY.

  3. Введите /llama, чтобы загрузить модель или скачать её с Hugging Face.

  4. Выберите модель в /model.

В /llama выбор незагруженной модели загружает её, а выбор загруженной — выгружает. Файлы моделей команда не удаляет.

Если что-то не работает, сначала проверьте роутер:

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/models

Пустой список в /llama означает, что неверен путь --models-dir или структура папки. Если модель не загружается или не хватает памяти, уменьшите -c или выгрузите другую модель.

Ограничения​

  • Прогрев кэша не работает для своих провайдеров: у них не указаны время жизни кэша и цена. См. «Прогрев кэша».
  • Качество работы агента зависит от модели: небольшие локальные модели хуже справляются с вызовом инструментов и длинным контекстом.