Первые отзывы о Claude Fable 5.2: где модель сильнее и во что она обходится

9 ноября Anthropic выпустила Claude Fable 5.2 и Claude Mythos 5.2. За два дня вышли первые независимые замеры и отзывы. По ним модель сильнее предшественников в длинных инженерных задачах, но обходится дороже, чем обещает прайс.

По данным самой Anthropic, Fable и Mythos — одна и та же модель, у Fable включены защиты в кибербезопасности и биологии, поэтому она доступна всем11В том же анонсе для большинства задач по коду Anthropic советует начинать с Claude Opus 5.5 и переходить на Fable, только когда работа действительно масштабная и открытая. Fable позиционируется не как замена повседневной модели, а как модель для самых трудных задач., а Mythos — только проверенным организациям. Цена Fable 5.2 — 8 долларов за миллион входных токенов и 40 за миллион выходных, на 20% ниже, чем у Fable 5.1. Ответы генерируются до 30% быстрее, есть быстрый режим в 2,5 раза быстрее за двойную цену.

Что показали независимые рейтинги

Три независимых рейтинга поставили Fable 5.2 на первое место:

  • Artificial Analysis: 65 баллов в Intelligence Index, первое место из 74 моделей;
  • Epoch AI: индекс возможностей ECI 173, первое место из 240 отслеживаемых моделей;
  • Vals AI: 71,3% в Vals Index, первое место из 36.

При этом Artificial Analysis ставит модель на 71-е место из 72 по времени до первого токена ответа — около четырёх минут — и на последнее место по стоимости прогона их индекса. У Vals AI она первая в целом, но шестая в финансовых задачах и двадцатая в юридических. А в своём посте о релизе Vals отдельно пишет, что лучший результат даёт уровень усилия high22Уровень усилия (effort) задаёт, сколько модель рассуждает перед ответом: low, medium, high, xhigh, max. В приложениях Claude и в Claude Code по умолчанию стоит medium. Больше рассуждений не всегда значит лучше: на части задач максимум ухудшает результат. — выше, чем low, xhigh и даже max.

SemiAnalysis: сильнее в инженерии, дороже за задачу

SemiAnalysis — исследовательская компания Дилана Пателя, известная анализом полупроводников и дата-центров. У них свой бенчмарк GDPx: задачи, которые, по словам Пателя, составляют настоящие эксперты отраслей.

По замерам SemiAnalysis Fable 5.2 выходит на первое место GDPx с 16,4%. Прирост сосредоточен в проектировании чипов и разработке ПО: здесь она обгоняет Opus 5.5 на 10,8% и 15,5%. Заметно выросли материаловедение и биология, а в количественных финансах и проектировании железа разницы почти нет. Сам Пател подытожил: модель значительно лучше в чипах, разработке, биологии и материаловедении, но не лучше в финансах и юриспруденции.

Главная причина роста, по разбору SemiAnalysis, — тщательность проверки. Fable 5.2 часто генерирует сотни и даже тысячи тест-кейсов для своей работы, тогда как Opus 5.5 и Fable 5.1 останавливались примерно на двадцати.

По подсчёту SemiAnalysis, средняя стоимость задачи у Fable 5.2 на 31% выше, чем у Fable 5.1: 88 долларов против 67, хотя токен подешевел на 20%33Цена за токен и цена за задачу — разные вещи. Модель с дешёвым токеном может решать задачу дороже, если тратит на неё больше токенов. Подробно об этой арифметике — в статье «Своя модель или API».. А в отдельном посте они пишут, что на задачах по материаловедению модель стоит на 89% дороже GPT-6 Astra и тратит в 4,3 раза больше выходных токенов при практически том же результате — во многом потому, что охотно запускает субагентов.

Ещё одно наблюдение SemiAnalysis: в задачах на исследования в области самого AI Fable 5.2 набирает примерно столько же, сколько Sonnet 5.5. Они связывают это с тем, что Anthropic намеренно ограничила рост этих способностей при обучении.

Не все замеры в пользу Fable

Лео Лински с командой прогнал Fable 5.2 через сто ненасыщенных инженерных сред: пространственные задачи, планирование, игры, проектирование схем. Он отмечает, что прогон, как и с прошлыми версиями Fable, был очень дорогим, а главным выигравшим в его сравнении назвал OpenAI: модели семейства GPT-6 нашли лучшие решения сложных открытых задач.

Отрыв от Opus 5.5 заметен не на всех задачах. Один из ранних тестировщиков пишет на Hacker News44Ещё один пример с Hacker News: команда, тестировавшая модель до релиза, за два дня ускорила в 36 раз расчёты по материаловедению в кодовой базе на Fortran в 600 тысяч строк и выложила результат в открытый доступ., что Opus 5.5 стал настолько хорош, что разница с Fable видна, только если задача по-настоящему амбициозная. По словам автора собственного бенчмарка на вайбкодинг игр, графика у Fable 5.2 не стала лучше, зато в играх появилось больше глубины. Там же оспаривают подбор соперников в таблицах Anthropic и показательность примера с операционной системой, которую тысяча субагентов писала восемь дней.

Итан Моллик: «почти AGI», но с зазубринами

Профессор Уортона Итан Моллик, у которого был ранний доступ, назвал свой обзор «Fable 5.2 and Jagged AGI»55Термин «зазубренная граница» (jagged frontier) Моллик использует давно: способности ИИ неравномерны, и модель может блестяще решать сложное, спотыкаясь на кажущемся простым. Новое в его обзоре — где теперь лежат эти зазубрины.. Его вывод — «почти» AGI, если понимать под AGI ИИ, который не хуже большинства экспертов в большинстве интеллектуальных задач за компьютером. Но способности модели неровные, «зазубренные», и провалы теперь не в простых ошибках, а в оценке собственной работы.

Примеры из обзора:

  • без инструкций модель разобралась, как управлять крошечной USB-клавиатурой с подсветкой, прочитав код двух программ к ней, и написала для неё шесть игр;
  • по просьбе «запусти бизнес» отобрала 22 идеи и собрала сервис по закупкам городов, изучив повестки 201 муниципалитета; Моллик, преподающий предпринимательство, сравнил план с работой сильной команды MBA;
  • по просьбе провести исследование написала статью о том, как цена регистрации компании влияет на число новых фирм, — уровня второго курса аспирантуры, по его оценке, но на 182 страницы, потому что каждая критика добавляла новый анализ и ничего не вырезалось.

В обзоре повторяется один мотив: исправления занимали у модели минуты, но сами проблемы она не замечала. Это совпадает с выводом SemiAnalysis: модель тщательно проверяет то, что можно проверить тестами, но вкус и меру по-прежнему задаёт человек.

Саймон Уиллисон: пеликаны и одна фраза в промпте

Саймон Уиллисон в день релиза прогнал свой традиционный тест — SVG с пеликаном на велосипеде — на всех пяти уровнях усилия. Лучший результат дал xhigh, а max не вернул картинку вовсе: модель потратила 128 тысяч токенов на размышления и упёрлась в лимит. Ту же ошибку он раньше видел у Opus 5.5, но у Fable 5 и 5.1 её не было.

На следующий день он процитировал документацию Anthropic о промптах для Fable 5.2. Модель очень чувствительна к тому, чей код она правит. Если в промпте сказано, что код чужой, или ничего не сказано, она достраивает существующую структуру, даже повторяя код. Если написать «эта кодовая база твоя: её назначение и устройство решаешь ты, и ты будешь её развивать», то в тестах Anthropic модель объединяла повторяющийся код примерно в половине попыток против менее чем одной десятой без этой фразы.

Игра для племянника за одну ночь

Лекс Тумбуру описал в посте «Fable 5.2 one-shotted my nephew's dream game», как модель за ночь сделала игру по замыслу его племянника. Младший племянник Лекса племянник нарисовал дизайн-документ своей игры-битэмапа: пять героев из семьи, включая собаку, двенадцать боссов и спасение щенка. Летняя версия, сделанная на прошлых моделях, получилась скучной.

Перед сном Лекс дал Fable 5.2 один промпт со сканами рисунков и ключами к генераторам картинок и звука. Утром игра была готова: модель переписала почти весь старый код, сгенерировала около 175 изображений и 140 звуков и добавила то, о чём не просили, — катсцены, ящики, концовку. По логам рассуждений Лекс увидел, что модель написала бота, который прошёл все двенадцать уровней в браузере без интерфейса, и проверила скриншоты на ошибки66Бот, который сам проходит игру и проверяет скриншоты, — это тот же приём, что Торстен Болл называет «неопровержимым доказательством». Подробнее — в статье о том, как он работает с агентами..

Что из этого следует

Что можно сказать о модели по первым замерам и отзывам:

  1. Модель сильнее там, где работу можно проверить. Разработка, проектирование чипов, длинные инженерные задачи, где модель может сама написать тысячи тестов или пройти игру ботом.
  2. Платить придётся за задачу, а не за токен. Токен подешевел, но настойчивость и субагенты съедают экономию.
  3. Уровень усилия стоит подбирать. По замерам Vals и опыту Уиллисона максимальный уровень не лучший и иногда не доходит до ответа.
  4. Повседневной моделью она не стала. Сама Anthropic советует начинать с Opus 5.5, а тестировщики видят разницу в основном на амбициозных задачах.
  5. Вкус и мера остаются за человеком. Модель исправляет за минуты то, на что ей указали, но не всегда замечает проблему сама.

Как выбирать модель и уровень рассуждений под задачу, считать стоимость работы агента и строить проверки, которые модель может пройти сама, — разбираем на курсе «Основы LLM».

Курсы по теме

У каждого курса есть бесплатная часть: оставьте почту и начните сразу.

Рассылка

Раз в месяц — новые курсы, обновления программ и платформы. Отписаться можно в один клик из любого письма.

Начните учиться сегодня

Все курсы за 1500 ₽ в месяц. Доступ откроется сразу после оплаты, отменить можно в любой момент.

Для компаний — 5000 ₽ в месяц за сотрудника