Своя модель или API: от чего зависит цена токена

Открытые модели можно скачать бесплатно, и кажется, что свой сервер дешевле любого API11Токен — кусок текста, которым оперирует модель: обычно часть слова или знак. Русский текст расходует заметно больше токенов на слово, чем английский, поэтому объём считают на своих данных, а не по чужим оценкам.. Окажется ли он дешевле, зависит от того, насколько загружена ваша видеокарта.

Две разные модели оплаты

В API вы платите за токены: сколько отправили и сколько получили. Нет запросов — нет счёта.

У своей модели вы платите за время GPU — облака, аренды или своего железа. Видеокарта стоит одинаково, работает она с полной нагрузкой или простаивает ночью. Поэтому цена одного токена у своей модели — это стоимость часа GPU, делённая на число токенов, которые он успел выдать за этот час22Для сравнения с API считайте одинаковую задачу и качество ответа: стоимость часа GPU ÷ число завершённых задач за час. Холостое время тоже входит в расходы..

Пример на условных цифрах, подставьте свои. Пусть аренда GPU стоит 2 доллара в час, а сервер при полной загрузке выдаёт 2 000 токенов в секунду на всех пользователей вместе. За час это 7,2 миллиона токенов, и миллион обходится примерно в 28 центов. Теперь тот же сервер, но запросы приходят редко и карта занята 5% времени. Те же 2 доллара делятся уже на 360 тысяч токенов: 5,6 доллара за миллион. Железо, модель и код не изменились, а цена токена выросла в двадцать раз.

Почему загрузка решает всё

Сервер с открытой моделью умеет обрабатывать много запросов сразу — это батчинг33Современные серверы используют непрерывный батчинг: не ждут, пока наберётся пачка запросов, а подсаживают новые в уже идущую генерацию на каждом шаге. Так работают vLLM и SGLang.. Один пользователь загружает GPU слабо, сто одновременных — почти полностью, и токены выходят во много раз дешевле. Отсюда простое правило: при редких и неравномерных запросах обычно выгоднее API, при большом ровном потоке — свой сервер.

Слово «ровный» здесь важнее слова «большой». У типичного продукта нагрузка днём в разы выше, чем ночью, а в выходные падает ещё сильнее. Сервер приходится брать под пик, и всё остальное время он недогружен. У провайдера API та же проблема, но он складывает нагрузку тысяч клиентов из разных часовых поясов, и его кривая гораздо ровнее вашей. Часть цены API — плата за то, что простой чужого железа вас не касается.

Выключать сервер на ночь можно, но дорого по времени: модель на десятки гигабайт нужно заново загрузить в память GPU, и первый запрос после паузы ждёт минуты. Для внутреннего ночного отчёта это терпимо, для чата с клиентом — нет44Для чата важны две разные задержки: время до первого токена и скорость генерации. Батчинг повышает общую пропускную способность сервера, но каждому отдельному пользователю токены при этом идут медленнее..

Что ещё влияет на цену

  • Память. Модель и её KV-кэш55KV-кэш хранит промежуточные результаты внимания для уже обработанных токенов, чтобы не пересчитывать их на каждом шаге генерации. Он растёт с длиной контекста и числом одновременных запросов. должны поместиться в GPU. Квантизация уменьшает вес модели и позволяет взять карту дешевле или держать больше запросов сразу.
  • Длина запросов. Длинный контекст съедает память и время. Если у запросов общий префикс — например, одна и та же системная инструкция, — кэш префиксов экономит работу.
  • Соотношение входа и выхода. Входные токены сервер обрабатывает параллельно, выходные генерирует по одному. Поэтому задача «прочитать длинный документ и ответить одним словом» стоит дешевле, чем «по короткой просьбе написать длинный текст», — и в API выходные токены тоже дороже входных.
  • Движок. vLLM, SGLang и llama.cpp по-разному выжимают одно и то же железо.
  • Качество. Дешёвая модель, которая отвечает хуже, обходится дороже, если ответы приходится переделывать.

Квантизация66Квантизация хранит веса с меньшей точностью: например, 4 или 8 бит на параметр вместо 16. Общие бенчмарки просадку на конкретном типе запросов могут не показать. — самый заметный рычаг, но не бесплатный. Модель с весами в 4 бита занимает в несколько раз меньше памяти, чем в 16, и на многих задачах отвечает почти так же. «Почти» у каждой задачи своё: извлечение полей из документа может не пострадать совсем, а длинное рассуждение или код — заметно.

Чего нет в прайсе GPU

Час видеокарты — не вся стоимость своей модели. В расчёт нужно добавить то, что в API уже входит в цену токена.

  • Люди. Кто-то должен поднять сервер, следить за ним и чинить его ночью. Даже четверть ставки инженера обычно дороже самой карты.
  • Запас. Один сервер — одна точка отказа. Для рабочего сервиса нужен второй экземпляр или запасной маршрут на API.
  • Обновления. Новая версия модели или движка может ответить иначе на те же запросы. Нужен набор проверочных задач и прогон перед каждой выкаткой.
  • Наблюдаемость. Задержки, очередь, ошибки, расход памяти — всё это придётся собирать самим.

Поэтому сравнивают не «цену токена в API» с «ценой часа GPU», а два месячных счёта: счёт провайдера при вашем объёме — и аренду железа под ваш пик плюс время людей.

Как посчитать для себя

  1. Соберите реальную статистику: сколько запросов в день, сколько в пиковый час, сколько токенов на входе и на выходе в среднем и в длинном хвосте.
  2. Посчитайте месячный счёт API по прайсу, отдельно вход и выход. Если провайдер даёт скидку на кэшированный префикс или на пакетную обработку без срочности — учтите её.
  3. Выберите открытую модель, которая проходит ваш набор проверочных задач. Не «примерно такую же по рейтингу», а ту, что справляется с вашими запросами.
  4. Оцените, сколько GPU нужно, чтобы выдержать пик с приемлемой задержкой, и сколько они стоят в месяц при круглосуточной работе.
  5. Добавьте время людей и запасной экземпляр.
  6. Сравните два числа — и посмотрите, при каком росте нагрузки они сравняются.

Часто оказывается, что точка безубыточности лежит дальше, чем хотелось, и разумнее начать с API, а к своему серверу вернуться, когда поток вырастет и выровняется.

Средний путь

Между «всё в API закрытой модели» и «всё на своём железе» есть промежуточные варианты.

Открытую модель можно взять у провайдера, который хостит её и берёт плату за токены. Вы получаете цену и управляемость открытой модели без забот о загрузке GPU, но данные всё ещё уходят наружу.

Можно арендовать выделенный экземпляр у облака: железо только ваше, а обслуживание — на провайдере. Платите за часы, как за свой сервер, но без дежурств.

И можно разделить поток. Простые массовые запросы — классификация, извлечение полей, короткие ответы — идут на небольшую свою модель с ровной загрузкой, а сложные и редкие — в API сильной модели77Почему огромная модель может быть дешёвой в API и очень дорогой на своём железе, на конкретных цифрах разобрано в статье о Kimi K3.1 Pro: вычисления там экономит архитектура, а память — нет.. Обычно это и есть самый дешёвый вариант, хотя и самый сложный в поддержке. Маршрутизатору нужно правило, по которому он отличает простой запрос от сложного, и запасной путь на случай, когда своя модель недоступна или не справилась.

Когда своя модель нужна не ради денег

Данные нельзя отправлять наружу, нужна предсказуемая задержка, нужно дообучить модель под свою задачу, — тогда свой сервер выбирают даже при сопоставимой цене. К этому же списку относится независимость: провайдер может поднять цену, снять модель с поддержки или изменить её поведение обновлением, а файл с весами, который лежит у вас, не изменится, пока вы сами его не замените.

В таких случаях вопрос «что дешевле» сменяется вопросом «как сделать подешевле то, что всё равно придётся делать»: поднять загрузку, подобрать квантизацию, собрать запросы в батчи, вынести несрочную работу на ночь.

Как сервер генерирует токены, как посчитать память и себестоимость токена, выбрать GPU и выкатывать новую версию модели без тихой деградации — на курсе «LLMOps и инференс».

Курсы по теме

У каждого курса есть бесплатная часть: оставьте почту и начните сразу.

Рассылка

Раз в месяц — новые курсы, обновления программ и платформы. Отписаться можно в один клик из любого письма.

Начните учиться сегодня

Все курсы за 1500 ₽ в месяц. Доступ откроется сразу после оплаты, отменить можно в любой момент.

Для компаний — 5000 ₽ в месяц за сотрудника