Оформить
КурсыКак учимсяСтоимостьВопросыБлогВойти
НейросетиСредний уровеньТренажёр

Курс «Инференс открытых моделей»

Скачать открытую модель можно за минуту, а отдать её пользователям быстро и недорого — отдельная работа. На курсе вы разберётесь, как сервер генерирует токены: префилл и декод, KV-кэш, батчинг и кэш префиксов. Сравните vLLM, SGLang и llama.cpp, посчитаете память, подберёте GPU и квантизацию, развернёте модель в контейнере с автоскейлингом и шлюзом, посчитаете себестоимость токена и научитесь выкатывать новую версию без тихой деградации. В конце — задачи с собеседований на MLOps.

Начать учитьсяПопробовать бесплатно

Первые 11 уроков бесплатно, нужна только почта. Входит в подписку на все курсы: 1 500 ₽ в месяц или 15 000 ₽ в год

Оценка 4,9 из 5.45 отзывов в Google55выпускников на Хабр Карьере
Уровень
Средний уровень
Формат
Онлайн, в своём темпе
Проверка
Автопроверка в тренажёре
Доступ
Сразу после оплаты

Кому подойдёт курс

  • 01

    Программируете и уже работали с LLM через API

  • 02

    Хотите запускать открытые модели сами и понимать, сколько они стоят

Чему вы научитесь

  • Понимать, как сервер генерирует токены и где теряется скорость
  • Выбирать движок и настраивать vLLM под свою нагрузку
  • Считать память модели, выбирать GPU и квантизацию
  • Разворачивать модель в контейнере с автоскейлингом и шлюзом
  • Считать себестоимость токена и собирать тарифы
  • Выкатывать новую версию модели с мониторингом и откатом

Темы и инструменты

  • vLLM
  • SGLang
  • llama.cpp
  • KV-кэш
  • Квантизация
  • LoRA

Как проходит обучение

Каждая тема — это урок, задача и разбор решения.

  1. 1

    Урок

    Короткий текст со схемами, цифрами и примерами конфигов

  2. 2

    Разбор случая

    Живой сценарий: метрики, логи и конфиг, нужно найти решение

  3. 3

    Проверка

    Ответ проверяется сразу, с разбором

  4. 4

    Тест

    Вопросы по модулю перед следующей темой

Программа курса

11 модулей, 62 урока, из них 14 задач в тренажёре. Уроки открываются по порядку: следующий — когда пройден предыдущий, пройденные остаются открытыми.

Модуль 1Инференс как продукт
  • Как устроен курс
  • Кто продаёт токены
  • Что внутри открытой модели
Модуль 2Как сервер генерирует токены
  • Префилл и декод
  • KV-кэш
  • Батчинг: скорость пользователя против токенов на GPU
  • Кэш префиксов
Модуль 3Движки
  • vLLM: сервер, флаги, метрики
  • SGLang, TensorRT-LLM, llama.cpp: когда какой
  • Нагрузочный тест под свой профиль
Модуль 4Память, квантизация и железо
  • Сколько памяти нужно модели
  • Квантизация весов и KV-кэша
  • Какой GPU
Модуль 5Большие модели
  • Когда модель не влезает в GPU
  • MoE: активные параметры и все параметры
  • Разделение префилла и декода, спекулятивное декодирование
Модуль 6Развёртывание: облако и своя инфраструктура
  • Сервис модели в контейнере
  • Автоскейлинг GPU-сервиса
  • Шлюз перед моделями
  • Облако, аренда или своё железо
Модуль 7Токеномика
  • Себестоимость токена
  • Загрузка кластера
  • Прайс и тарифы
  • Учёт токенов и биллинг
Модуль 8Качество модели
  • Набор для оценки и чтение ответов
  • Проверки кодом и LLM-судья
  • Та же модель, другой ответ
  • Дообучение LoRA
Модуль 9Выкладка, мониторинг и откат
  • Версия модели в проде
  • Метрики инференса
  • Тихая деградация и откат
Модуль 10Итог
  • Ревью конфига и кода агента для инференса
Модуль 11MLOps на собеседовании
  • Как проходит собеседование на MLOps
  • Вопросы на скрининге
  • Задача: чат-ассистент на открытой модели
  • Задача: ночная обработка миллионов документов
  • Задача: платформа с адаптерами для сотни клиентов
  • Задача: заменить модель без деградации

Что ещё входит в подписку

Курс не нужно покупать отдельно: подписка открывает всю школу.

Стоимость обучения

Одна подписка открывает все курсы школы и продлевается автоматически.

Подписка на месяц

1 500 ₽

Подписка на год

15 000 ₽

В любую подписку входит

  • 20 курсов: Вайбкодинг, Claude Code, LLM, AI-агенты, Инференс LLM и ещё 15
  • Новые курсы и обновления без доплат
  • Тренажёр с автопроверкой в браузере: 17 курсов из 20
  • Учёба в своём темпе, без расписания
  • Отмена в любой момент по ссылке из письма об оплате

Оплата на странице Т-Банка: карта, T-Pay или СБП. Доступ открывается сразу после оплаты на courses.moscoding.ru.

Частые вопросы

Что входит в подписку?

Все курсы школы, сейчас их 20: Вайбкодинг, Claude Code, LLM, AI-агенты, Инференс LLM, JavaScript, TypeScript, React, TanStack, Системный дизайн, Python, Алгоритмы, Математика, Solidity, HTML и CSS, Продвинутая вёрстка, Git, SQL, Linux, Rust. Новые курсы и обновления уроков появляются в подписке без доплат.

Нужен ли опыт программирования?

Нет. С нуля начинаются Вайбкодинг, Claude Code, JavaScript, Python, HTML и CSS, Git, SQL и Linux. React, TypeScript, TanStack и Solidity удобнее проходить после основ JavaScript, а LLM, AI-агентов и Rust — когда уже пишете код на любом языке.

Как проходит обучение?

Короткие уроки с примерами и задачи. В 17 курсах из 20 задачи решаются в браузерном тренажёре: решение проверяется сразу, а если не прошло, есть подсказки и разбор. В курсах AI-агенты, TypeScript и React задачи решаете у себя и сверяетесь с разбором. Учитесь в своём темпе, расписания нет.

Нужно ли что-то устанавливать?

Для курсов с тренажёром — нет: редактор кода и тесты работают прямо в браузере, хватит ноутбука или компьютера с интернетом. Для курсов AI-агенты, TypeScript и React понадобится редактор кода на своём компьютере.

Можно попробовать до оплаты?

Да: у 19 из 20 курсов первые уроки бесплатны — от 10 до 23, смотря какой курс. Нажмите «Попробовать бесплатно» на странице курса и оставьте почту: пришлём ссылку, и курс сразу откроется на платформе. Бесплатно открыт один курс за раз: если начнёте другой, прежний закроется, а прогресс в нём сохранится и вернётся после оплаты.

Когда откроется доступ?

Сразу после оплаты. Войдите на courses.moscoding.ru с почтой, которую указали при оформлении, — пришлём ссылку для входа.

Сколько стоит и как платить?

1 500 ₽ в месяц или 15 000 ₽ в год. Оплата картой, через T-Pay или СБП на странице Т-Банка. Подписка продлевается автоматически с той же карты.

Как отменить подписку?

В любой момент по ссылке из письма об оплате или письмом на yo@moscoding.ru. После отмены новых списаний не будет, а доступ сохранится до конца оплаченного периода.

Другие курсы

Начните учиться сегодня

Все курсы за 1 500 ₽ в месяц. Доступ откроется сразу после оплаты, отменить можно в любой момент.

Оформить подпискуВсе курсы

Все курсы в подписке

1 500 ₽ в месяц

Оформить