Первые отзывы о Claude Fable 5.2: где модель сильнее и во что она обходится

9 ноября Anthropic выпустила Claude Fable 5.2 и Claude Mythos 5.2. Пост компании в X собрал больше 95 тысяч лайков, обсуждение на Hacker News — больше тысячи комментариев. Прошло два дня, и первые независимые замеры и отзывы уже складываются в довольно ясную картину: модель действительно сильнее предшественников в длинных инженерных задачах, но обходится дороже, чем обещает прайс.

Сначала о том, что заявляет сама Anthropic. Fable и Mythos — одна и та же модель, у Fable включены защиты в кибербезопасности и биологии, поэтому она доступна всем, а Mythos — только проверенным организациям. Цена Fable 5.2 — 8 долларов за миллион входных токенов и 40 за миллион выходных, на 20% ниже, чем у Fable 5.1. Ответы генерируются до 30% быстрее, есть быстрый режим в 2,5 раза быстрее за двойную цену.¹

Три независимых агрегатора бенчмарков поставили Fable 5.2 на первое место:

• Artificial Analysis: 65 баллов в Intelligence Index, первое место из 74 моделей;
• Epoch AI: индекс возможностей ECI 173, первое место из 240 отслеживаемых моделей;
• Vals AI: 71,3% в Vals Index, первое место из 36.

Но в тех же таблицах видна обратная сторона. Artificial Analysis ставит модель на 71-е место из 72 по времени до первого токена ответа — около четырёх минут — и на последнее место по стоимости прогона их индекса. У Vals AI она первая в целом, но шестая в финансовых задачах и двадцатая в юридических. А в своём посте о релизе Vals отдельно пишет, что лучший результат даёт уровень усилия high — выше, чем low, xhigh и даже max.²

Самый подробный разбор дала SemiAnalysis — исследовательская компания Дилана Пателя, известная анализом полупроводников и дата-центров. У них свой бенчмарк GDPx: задачи, которые, по словам Пателя, составляют настоящие эксперты отраслей.

В треде из семи постов Fable 5.2 выходит на первое место GDPx с 16,4%. Прирост сосредоточен в проектировании чипов и разработке ПО: здесь она обгоняет Opus 5.5 на 10,8% и 15,5%. Заметно выросли материаловедение и биология, а в количественных финансах и проектировании железа разницы почти нет. Сам Пател подытожил: модель значительно лучше в чипах, разработке, биологии и материаловедении, но не лучше в финансах и юриспруденции.

Главная причина роста, по разбору SemiAnalysis, — тщательность проверки. Fable 5.2 часто генерирует сотни и даже тысячи тест-кейсов для своей работы, тогда как Opus 5.5 и Fable 5.1 останавливались примерно на двадцати.

У этой настойчивости есть цена. По подсчёту SemiAnalysis, средняя стоимость задачи у Fable 5.2 на 31% выше, чем у Fable 5.1: 88 долларов против 67, хотя токен подешевел на 20%. А в отдельном посте они пишут, что на задачах по материаловедению модель стоит на 89% дороже GPT-6 Astra и тратит в 4,3 раза больше выходных токенов при практически том же результате — во многом потому, что охотно запускает субагентов.³

Ещё одно наблюдение SemiAnalysis: в задачах на исследования в области самого AI Fable 5.2 набирает примерно столько же, сколько Sonnet 5.5. Они связывают это с тем, что Anthropic намеренно ограничила рост этих способностей при обучении.

Лео Лински с командой прогнал Fable 5.2 через сто ненасыщенных инженерных сред: пространственные задачи, планирование, игры, проектирование схем. Он отмечает, что прогон, как и с прошлыми версиями Fable, был очень дорогим, а главным выигравшим в его сравнении назвал OpenAI: модели семейства GPT-6 нашли лучшие решения сложных открытых задач.

В комментариях на Hacker News звучит похожая мысль. Один из ранних тестировщиков пишет, что Opus 5.5 стал настолько хорош, что разница с Fable видна, только если задача по-настоящему амбициозная. Автор собственного бенчмарка на вайбкодинг игр пишет, что графика у Fable 5.2 не стала лучше, зато в играх появилось больше глубины. Ещё несколько человек спорят с подбором соперников в таблицах Anthropic и с тем, насколько показателен пример операционной системы, которую тысяча субагентов писала восемь дней.⁴

Профессор Уортона Итан Моллик, у которого был ранний доступ, назвал свой обзор «Fable 5.2 and Jagged AGI». Его вывод — «почти» AGI, если понимать под AGI ИИ, который не хуже большинства экспертов в большинстве интеллектуальных задач за компьютером. Но способности модели неровные, «зазубренные», и провалы теперь не в простых ошибках, а в оценке собственной работы.

Примеры из обзора:

Самое показательное — повторяющийся мотив: исправления занимали у модели минуты, но сами проблемы она не замечала. Это хорошо сочетается с выводом SemiAnalysis: модель тщательно проверяет то, что можно проверить тестами, но вкус и меру по-прежнему задаёт человек.

Саймон Уиллисон в день релиза прогнал свой традиционный тест — SVG с пеликаном на велосипеде — на всех пяти уровнях усилия. Лучший результат дал xhigh, а max не вернул картинку вовсе: модель потратила 128 тысяч токенов на размышления и упёрлась в лимит. Ту же ошибку он раньше видел у Opus 5.5, но у Fable 5 и 5.1 её не было.

На следующий день он процитировал документацию Anthropic о промптах для Fable 5.2 с любопытным наблюдением. Модель очень чувствительна к тому, чей код она правит. Если в промпте сказано, что код чужой, или ничего не сказано, она достраивает существующую структуру, даже повторяя код. Если написать «эта кодовая база твоя: её назначение и устройство решаешь ты, и ты будешь её развивать», то в тестах Anthropic модель объединяла повторяющийся код примерно в половине попыток против менее чем одной десятой без этой фразы.

Самым тёплым отзывом недели стал пост Лекса Тумбуру «Fable 5.2 one-shotted my nephew's dream game», собравший около 500 очков на Hacker News. Его младший племянник нарисовал дизайн-документ своей игры-битэмапа: пять героев из семьи, включая собаку, двенадцать боссов и спасение щенка. Летняя версия, сделанная на прошлых моделях, получилась скучной.

Перед сном Лекс дал Fable 5.2 один промпт со сканами рисунков и ключами к генераторам картинок и звука. Утром игра была готова: модель переписала почти весь старый код, сгенерировала около 175 изображений и 140 звуков и добавила то, о чём не просили, — катсцены, ящики, концовку. По логам рассуждений Лекс увидел, что модель написала бота, который прошёл все двенадцать уровней в браузере без интерфейса, и проверила скриншоты на ошибки.⁶

Первые отзывы сходятся в нескольких вещах.

1. Модель сильнее там, где работу можно проверить. Разработка, проектирование чипов, длинные инженерные задачи, где модель может сама написать тысячи тестов или пройти игру ботом.
2. Платить придётся за задачу, а не за токен. Токен подешевел, но настойчивость и субагенты съедают экономию. Считайте стоимость на своих задачах.
3. Уровень усилия стоит подбирать. По замерам Vals и опыту Уиллисона максимальный уровень не лучший и иногда не доходит до ответа.
4. Повседневной моделью она не стала. Сама Anthropic советует начинать с Opus 5.5, а тестировщики видят разницу в основном на амбициозных задачах.
5. Вкус и мера остаются за человеком. Модель исправляет за минуты то, на что ей указали, но не всегда замечает проблему сама.

Как выбирать модель и уровень рассуждений под задачу, считать стоимость работы агента и строить проверки, которые модель может пройти сама, — разбираем на курсе «Основы LLM».