Своя модель или API: от чего зависит цена токена

Открытые модели можно скачать бесплатно, и кажется, что свой сервер дешевле любого API. Иногда так и есть, иногда — наоборот. Всё решает одна вещь: насколько загружена ваша видеокарта.

Две разные модели оплаты

В API вы платите за токены: сколько отправили и сколько получили. Нет запросов — нет счёта.

У своей модели вы платите за время GPU — облака, аренды или своего железа. Видеокарта стоит одинаково, работает она с полной нагрузкой или простаивает ночью. Поэтому цена одного токена у своей модели — это стоимость часа GPU, делённая на число токенов, которые он успел выдать за этот час.

Почему загрузка решает всё

Сервер с открытой моделью умеет обрабатывать много запросов сразу — это батчинг. Один пользователь загружает GPU слабо, сто одновременных — почти полностью, и токены выходят во много раз дешевле. Отсюда простое правило: при редких и неравномерных запросах обычно выгоднее API, при большом ровном потоке — свой сервер.

Что ещё влияет на цену

• Память. Модель и её KV-кэш должны поместиться в GPU. Квантизация уменьшает вес модели и позволяет взять карту дешевле или держать больше запросов сразу.
• Длина запросов. Длинный контекст съедает память и время. Если у запросов общий префикс — например, одна и та же системная инструкция, — кэш префиксов экономит работу.
• Движок. vLLM, SGLang и llama.cpp по-разному выжимают одно и то же железо.
• Качество. Дешёвая модель, которая отвечает хуже, обходится дороже, если ответы приходится переделывать.

Когда своя модель нужна не ради денег

Данные нельзя отправлять наружу, нужна предсказуемая задержка, нужно дообучить модель под свою задачу, — тогда свой сервер выбирают даже при сопоставимой цене.

Как сервер генерирует токены, как посчитать память и себестоимость токена, выбрать GPU и выкатывать новую версию модели без тихой деградации — на курсе «MLOps: инференс LLM».