Kimi K3.1 Pro: 2,8 трлн параметров и 104 млрд активных

23 октября Moonshot AI выпустила Kimi K3.1 Pro и пообещала открыть веса до 4 ноября. Обещание выполнено: веса лежат в репозитории на Hugging Face11Репозиторий открыт без заявки на доступ и занимает около 1,56 ТБ: это 96 файлов safetensors., первый коммит с ними датирован 2 ноября, лицензия своя, Kimi K3.1 Pro License. Подробности есть в техническом блоге, а в анонсе три цифры: контекст на 1 млн токенов, 2,8 трлн параметров всего и 104 млрд активных. Вторая и третья цифры отличаются в 27 раз, и эта разница объясняет, сколько стоит токен модели, почему она быстрая для своего размера и почему запустить её у себя всё равно дорого.

Разница возникает из-за архитектуры Mixture-of-Experts, или MoE. Так устроены многие крупные открытые модели.

Что известно о модели

По оценке Artificial Analysis, K3.1 Pro набирает 55 баллов в их Intelligence Index и занимает четвёртое место. Впереди Claude Opus 5.5 с 58 баллами, Claude Sonnet 5.5 и Muse Wonder Full с 56. Предыдущая Kimi K3 набирала 44. С таким результатом K3.1 Pro на момент выхода стала лучшей открытой моделью в этом рейтинге, а разрыв между лучшими открытыми и закрытыми моделями сократился с 12 баллов до 3.

Сильнее всего модель выросла в агентных задачах. В Terminal-Bench 4.0 Artificial Analysis насчитала 67% против 13% у K3. Сама Moonshot в блоге даёт 65,7% при 66,4% у Opus 5.5. Цифры расходятся, потому что Moonshot мерила в харнесе Claude Code, а у Artificial Analysis своя методика. Цена в API 2 доллара за миллион входных токенов, 10 долларов за миллион выходных и 0,20 доллара за миллион токенов из кэша, на треть дешевле K3. Есть версия Highspeed, которая, по словам Moonshot, работает в 2–3 раза быстрее.

Moonshot называет K3.1 Pro дообученной версией K3, в постобучение которой вложили заметно больше вычислений22В карточке постобучение описано точнее: это совместное обучение с подкреплением на сотнях прикладных доменов. Там же K3.1 Pro названа первой моделью серии K3.1.. Архитектура у неё почти та же, что описана в карточке Kimi K3 на Hugging Face. По карточке K3.1 Pro, параметры MoE не изменились, а в слоях внимания 24 слоя Gated MLA с полным вниманием заменены на Gated DSA, разреженное внимание, которое эффективнее на длинном контексте.

Как устроена MoE

Трансформер состоит из слоёв, и в каждом есть два крупных блока: внимание, где токены обмениваются информацией, и полносвязная сеть, где каждый токен обрабатывается отдельно. В плотной модели каждый токен проходит через все параметры всех слоёв. В MoE полносвязную сеть разрезают на много небольших сетей, экспертов, и каждый токен отправляют только к нескольким из них.

У Kimi K3 и K3.1 Pro в каждом таком слое 896 экспертов33Эксперты не назначаются вручную по темам. Роутер и эксперты учатся вместе, и разделение труда складывается само, по закономерностям в токенах. Поэтому искать в модели «эксперта по химии» бессмысленно.. Решает, к кому идти, роутер: маленький слой, который для каждого токена выставляет оценки всем экспертам и выбирает 16 лучших. Ещё два общих эксперта работают для каждого токена всегда, они держат знания, нужные почти везде. Выбор происходит заново в каждом слое и для каждого токена, так что соседние слова одной фразы могут пройти через совсем разные наборы экспертов.

Сложим, что работает для одного токена: внимание, общие эксперты, 16 выбранных экспертов в каждом слое, эмбеддинги. Получается 104 млрд параметров из 2,8 трлн, около 3,7%.

Почему токен дешёвый, а память дорогая

Вычисления на токен растут с числом активных параметров. Грубое правило: около двух операций с плавающей точкой на параметр. Для 104 млрд это примерно 0,2 трлн операций на токен, а плотной модели на 2,8 трлн понадобилось бы в 27 раз больше. Это сокращает вычислительную часть себестоимости по сравнению с плотной моделью того же полного размера; цену в API провайдер назначает отдельно.

С памятью так не получается. Роутер узнаёт, какие эксперты нужны, только когда токен до него дошёл, а сервер обрабатывает сразу десятки запросов, и их токены разбегаются почти по всем 896 экспертам. Подгружать экспертов с диска на лету слишком медленно, поэтому для быстрого серверного инференса веса всей модели обычно держат в памяти GPU. Выгрузка части весов в оперативную память возможна, но добавляет обмен данными и может резко замедлить генерацию.

Moonshot заранее учла это при обучении. Веса K3 хранятся в формате MXFP444Квантование это хранение весов с меньшей точностью ради экономии памяти. В карточках K3 и K3.1 Pro указаны MXFP4 для весов, MXFP8 для активаций и обучение с учётом квантования (quantization-aware training)., около четырёх бит на параметр, и начиная с этапа SFT модель обучали с расчётом на такую точность. Но и в таком виде чекпоинт весит около 1,56 ТБ, и репозиторий K3.1 Pro на Hugging Face занимает столько же. Требований к железу карточка K3.1 Pro не приводит, только список движков: vLLM, SGLang и TokenSpeed. В руководстве Lambda модель K3 запускают на 16 GPU B200, это два сервера по восемь карт с быстрой сетью между ними. На такой связке при 32 одновременных запросах vLLM выдаёт около 298 токенов в секунду суммарно и около 9 токенов в секунду на пользователя.

Получается, что MoE экономит вычисления, но не память. Провайдер, который держит модель под большой нагрузкой, делит стоимость 16 ускорителей на тысячи запросов, и токен выходит дешёвым. Команда, которая поднимет модель для себя и будет слать ей пару запросов в минуту, платит за те же 16 ускорителей почти вхолостую55Как загрузка GPU превращается в цену токена и при каком потоке запросов свой сервер выгоднее API, посчитано в статье «Своя модель или API»..

Что дают открытые веса

Открытые веса означают, что файл модели можно скачать и запустить на своём железе. У K3 веса вышли под собственной лицензией Kimi K3 License, у K3.1 Pro лицензия тоже своя, Kimi K3.1 Pro License. Она разрешает использовать, менять, дообучать и продавать модель, но ставит два условия крупным игрокам66Оба условия не касаются внутреннего использования, когда модель и её ответы не выходят к третьим лицам. Не касаются они и тех, кто работает с моделью через официальные продукты Moonshot или её сертифицированных партнёров по инференсу.. Компании, которая продаёт доступ к модели как сервис и получает больше 20 млн долларов выручки за 12 месяцев, нужен отдельный договор с Moonshot. А продукт с аудиторией больше 100 млн пользователей в месяц или месячной выручкой больше 20 млн долларов обязан показывать в интерфейсе название Kimi K3.1-Pro. В блоге сказано, что из открытой версии убрали данные по кибербезопасности на этапах дообучения и обучения с подкреплением. В таблице из карточки K3.1 Pro в этой области уступает закрытым моделям: на ExploitBench у неё 74,7 против 91,0 у Claude Opus 5.5.

Для бизнеса открытые веса дают три вещи. Во-первых, данные не уходят к внешнему провайдеру, это важно банкам, медицине и госсектору. Во-вторых, модель можно дообучить под свою задачу. LoRA77LoRA (low-rank adaptation) замораживает исходные веса и обучает небольшие добавки к ним: пары матриц низкого ранга в слоях трансформера. В исходной статье для GPT-3 это сократило число обучаемых параметров в 10 000 раз. уменьшает число обучаемых параметров, но базовые веса всё равно нужно загрузить, а под активации и обучение нужен дополнительный запас памяти. Точный объём зависит от квантования, длины контекста, батча и выгрузки весов; размер чекпоинта для инференса нельзя автоматически считать требованием для дообучения. В-третьих, модель могут хостить сторонние провайдеры, и конкуренция между ними давит на цену за токен. Пока на Hugging Face для K3.1 Pro указан один сторонний провайдер инференса, Together AI.

Большинство разработчиков почувствуют открытость K3.1 Pro через выбор провайдера и цену токена. Запуск на собственном железе остаётся задачей для компаний с серьёзной инфраструктурой.

Что учесть перед выбором модели

Цена токена ещё не стоимость задачи. Artificial Analysis посчитала, что на одну задачу из их индекса K3.1 Pro тратит в среднем 55 тыс. выходных токенов, на 14% больше, чем K3. Поэтому задача обходится примерно в те же 1,98 доллара, хотя токены подешевели на треть. Модель, которая много рассуждает88Глубину рассуждений K3.1 Pro задаёт поле запроса reasoning_effort со значениями low, high и max. По умолчанию стоит max, сказано в карточке модели., может съесть всю разницу в цене.

Сразу после анонса один из блогеров написал в X, что Moonshot работала с инфлюенсерами и раздавала им шаблоны постов о модели. Речь о платных публикациях без пометки о рекламе. Исследователь Натан Ламберт назвал это ошибкой, которую компания, скорее всего, исправит, и предположил, что китайские лаборатории просто перестарались, пытаясь понравиться западной аудитории. Сколько отзывов было оплачено, неизвестно.

Курсы по теме

У каждого курса есть бесплатная часть: оставьте почту и начните сразу.

Рассылка

Раз в месяц — новые курсы, обновления программ и платформы. Отписаться можно в один клик из любого письма.

Начните учиться сегодня

Все курсы за 1500 ₽ в месяц. Доступ откроется сразу после оплаты, отменить можно в любой момент.

Для компаний — 5000 ₽ в месяц за сотрудника