«Лавина, накрывшая математику, идёт на разработку ИИ»: Дваркеш Пател о рекурсивном самоулучшении

Ещё весной Дваркеш Пател, ведущий Dwarkesh Podcast, был уверен, что до сверхинтеллекта ждать как минимум большую часть десятилетия. В новом эссе «The avalanche that hit math is coming for AI development» он называет 2030 год, а то и следующий. Передумать его заставили три месяца споров в подкасте и вне его и то, как быстро ИИ забирает области, где ответ можно проверить, прежде всего математику.

Пател думает, что до систем, которые ведут исследования ИИ на уровне лучших людей, осталась пара лет, а может быть, пара месяцев. Когда они появятся, автоматизация исследований11RSI (recursive self-improvement, рекурсивное самоулучшение) — цикл, в котором ИИ ведёт исследования, улучшающие следующие версии ИИ, а те улучшают исследования ещё быстрее. сожмёт в один год столько прогресса, что вскоре после этого появятся системы не хуже лучших экспертов в любой области. Пател сам называет эту мысль «дикой» и признаётся, что пару месяцев назад в неё не верил.

Ускорение уже видно

Прежде чем переходить к рассуждениям, Пател перечисляет свидетельства того, что ИИ уже ускоряет передний край исследований. Независимая организация METR три месяца работала внутри Anthropic и заключила, что общий темп прогресса компании на чётко поставленных задачах вдвое выше, чем год назад, и что бо́льшая часть ускорения, вероятно, объясняется тем, как широко Anthropic применяет ИИ в собственных исследованиях.

OpenAI в сентябре написала, что 10% её исследователей, сильнее всех использующих ИИ, в начале лета тратили на внутренних агентов для программирования около 1000 долларов в день, а к концу августа — больше 7000. Anthropic в том же месяце сообщила, что к августу Claude «ведёт»22«Ведёт» в терминах Anthropic — делает бо́льшую часть задачи от начала до конца по высокоуровневой постановке, пока человек присматривает. Полностью автономной работы без человека по-прежнему 0%. больше 26% её работы над ИИ, хотя в феврале эта доля была меньше 1%.

Математика как предпросмотр

Главным поводом пересмотреть сроки Пател называет то, как быстро ИИ ворвался в математику. Два года назад он спрашивал Дарио Амодеи, почему языковые модели не соединяют знания из разных областей, чтобы делать открытия. Теперь в полностью проверяемой области модели занимаются именно таким поиском и сопоставлением: сотни результатов, над которыми лучшие математики бились десятилетиями, выходят как побочные задачи для анонсов новых моделей.

В 2023 году модель не могла надёжно сложить четырёхзначные числа, в 2024-м едва решала задачи школьной олимпиады, в 2025-м взяла золото Международной математической олимпиады, в начале 2026-го решала открытые задачи Эрдёша (скептики отвечали, что за них просто никто не брался), а около месяца назад решила одну из задач тысячелетия за 88 часов. Пател вспоминает строку из «К востоку от Эдема» Стейнбека: боги не падают понемногу, они рушатся и разбиваются вдребезги.

Он признаёт, что успехи перекошены в сторону проверяемой части математики, например поиска контрпримеров, а не создания новых теорий. Тоби Орд пишет, что ИИ начинает автоматизировать доказательства, но почти не показывает умения ставить сильные вопросы и открывать новые области. Пател отвечает, что те же системы решили задачу тысячелетия, не умея ставить сильные вопросы.

Для исследований ИИ это важнее, чем для математики. Цель математики — расширить понимание: придумать топологию или теорию групп важнее, чем узнать, сколько пар точек на единичном расстоянии можно составить из n точек. В исследованиях ИИ приоритеты обратные. Лабораториям важно, делает ли новый рецепт обучение эффективнее и модели умнее, а теория сама по себе их почти не интересует, и прогресс глубокого обучения за полтора десятилетия обошёлся без неё. Перебор гипотез, который в математике второстепенен, в машинном обучении ценен очень.

Трансформер можно было придумать раньше

В пример Пател берёт архитектуру трансформер. Его друг, исследователь Шолто Дуглас, давно пишет пост о том, как трансформер можно было изобрести на два года раньше. Ещё до статьи 2017 года многие видели во внимании способ лучше распараллелить обучение и передавать информацию по длинным последовательностям. Крис Ола вспоминает, что трансформер был естественным сочетанием идей, которые порознь уже работали, доведённых до крайности.

Раньше его не придумали, потому что новая архитектура обгоняла лучшие решения, только когда к ней добавляли ещё полдюжины приёмов33Без остальных деталей внимание не обгоняло LSTM. Нужны были остаточные связи (2015), нормализация слоя (2016), оптимизатор Adam (2014), слои MLP между блоками внимания, позиционные кодировки и разогрев скорости обучения., давно описанных в литературе. Соединить их требовало вкуса, но и огромного числа мелких экспериментов. Упорно и разумно перебирать десятки сочетаний идей — ровно то, в чём ИИ силён в математике. Поэтому, по мысли Пателя, даже трансформер, возможно крупнейший прорыв со времён AlexNet, мог бы изобрести Claude 7, если бы Крис Ола попросил его заставить внимание работать лучше.

Прогноз: 2028 год

Часть исследований ИИ проверяется хуже математики, и поэтому OpenAI не уволила исследователей, хотя её модель решает задачи тысячелетия. Но Пател считает, что проверяемости достаточно. Его медианный год для автоматических исследователей уровня лучших людей при условии, что лаборатории не будут нарочно тормозить, — 2028-й.

Пател опирается на то, что везде, где ответы можно проверить и дать ИИ тысячи попыток для практики, будь то олимпиадное программирование или чётко поставленные открытые задачи, модели за несколько лет проходили путь от уровня хуже большинства людей до уровня лучше лучших. Сильную сторону исследователей вроде Ильи Суцкевера, умение за годы угадать верное направление, напрямую не проверишь. Но модели обобщают далеко за пределы обучения: модель OpenAI не тренировали на других задачах тысячелетия, она научилась на более простых.

Пател оставляет 25% на то, что этот рубеж наступит позже 2032 года44Даже без полной автоматизации исследователи ускорятся заметно. Если ИИ работает в 50 раз быстрее на доступных ему задачах, то при доле таких задач 50% человек ускоряется примерно вдвое, при 90% — в 8,5 раза, при 99% — больше чем в 30. Это закон Амдала: темп задаёт то, что ускорить нельзя., если какая-то важная часть исследований останется трудной для автоматизации. И допускает 2027-й: некоторые хорошо информированные исследователи с удачными прогнозами ждут его уже в следующем году. Аджея Котра пишет, что если принять вывод METR о почти удвоившемся темпе и считать ускорение плавным, наивная модель даёт крайний сверхинтеллект в пределах года.

Быстрее, умнее и больше

Когда ИИ сравняется с лучшими исследователями, алгоритмический прогресс ускорится, потому что автоматические исследователи будут быстрее, умнее и многочисленнее людей. Нынешние модели работают примерно в 10 раз быстрее людей и без выходных, так что каждый автоматический исследователь за календарную неделю сделает примерно в 50 раз больше работы. Прогресс от этого не ускорится в 50 раз: эксперименты на вычислительных мощностях быстрее не пойдут. Но даже при сильно убывающей отдаче он пойдёт в разы быстрее55Интуицию Пател берёт у Райана Гринблатта и Эли Лифланда. Представьте OpenAI, где исследователи работают час в неделю: прогресс замедлится не в 50 раз, но, вероятно, хотя бы в пять. По сравнению с компанией автоматических исследователей нынешняя OpenAI и есть такая медленная компания..

Каждый из них к тому же будет на уровне лучших людей. Пател оценивает, что около 80% алгоритмического прогресса в передовой лаборатории дают её 50 лучших исследователей, и напоминает, что Цукерберг был готов платить сотни миллионов долларов за лучших специалистов. В автоматической компании каждый инженер и исследователь будет на уровне этих лучших.

Число агентов помогает не везде: рой не напишет великий роман быстрее одного агента, но формализацию Великой теоремы Ферма, где тысячи независимых подзадач можно проверять по отдельности, ускорил заметно. Исследования ИИ ближе ко второму случаю: в лабораториях уже десятки команд независимо улучшают фильтрацию данных, среды обучения с подкреплением, ядра внимания. Сто тысяч сотрудников не дают стократного ускорения, но на порядки больше труда должно дать хотя бы несколькократное.

Сингулярность или вспышка

Пател считает, что начальный темп важен меньше, чем то, как он будет меняться, а это зависит от двух тенденций. Благодаря самоулучшению автоматические исследователи становятся быстрее, умнее и многочисленнее, но и идеи находить всё труднее, потому что рой съедает простые. Это происходит и сейчас: чтобы держать прежний темп, лаборатории каждый год вчетверо увеличивают вычисления на исследования и вдвое — штат.

Если ИИ умнеет быстрее, чем дорожают идеи, наступает «чисто программная сингулярность»: без новых чипов рой за несколько месяцев доводит себя до сверхинтеллекта, упирающегося в физические пределы нынешнего железа. Если идеи дорожают быстрее, получается то, что Пател называет «вспышкой»: от трёх до шести лет прогресса за один год66Три–шесть лет прогресса соответствуют четырём–девяти годам чисто алгоритмического прогресса: вычисления в такой год растут мало, и алгоритмам приходится восполнять разницу. На верхней границе это путь от изобретения трансформера до рецепта GPT-6 за год., а потом затишье, пока не построят больше вычислений. Оба сценария он оценивает в 50%.

Даже вспышка выглядела бы безумно: примерно четыре года прогресса за первый год — скачок от GPT-3.5 к GPT-6 Astra за 12 месяцев. GPT-3.5 писал сносный лимерик и дополнял простые функции на Python, а Astra с нуля собирает видеоигры и выдаёт математические результаты уровня Филдсовской премии. Такой же скачок, начатый в 2027–2028 годах, по мнению Пателя, дал бы систему, которая лучше Nvidia проектирует ускорители, зарабатывает на рынке больше Citadel и Jane Street и лучше всего человечества ищет сверхпроводник при комнатной температуре, если дать ей удалённый доступ к лаборатории.

Сверхинтеллект как ученик, который быстро учится

Пател разбирает и то, как модель из дата-центра обойдёт людей там, где экспертиза строится на годах реального опыта: в бизнесе, суде, трейдинге, выборах. Он не думает, что ответы на все такие задачи можно зашить в веса, и считает, что масштабирование обучения с подкреплением даст моделям умение быстро осваиваться в новых условиях. Для сложной задачи нужны знания предметной области и общие навыки: искать информацию, строить план, двигаться через ошибки, запоминать уроки, работать с другими.

Во время взрыва интеллекта автоматические инженеры построят в десятки тысяч раз больше сред для обучения, чем есть сейчас, — длиннее, сложнее и открытее. ИИ будет учиться в виртуальных мирах, которые относятся к нынешним играм как Bugatti к телеге: например, сооснует компанию в смоделированной экономике из миллионов других ИИ и пройдёт через столетия корпоративной конкуренции. Модели будут бесконечно проверять себя на истории науки, политики и культуры: например, открывать общую теорию относительности по корпусу текстов до 1700 года или предсказывать ход Карибского кризиса по газетам до 1962-го.

Что навыки перенесутся с проверяемых задач на общие, Пател выводит из двух наблюдений. Перенос виден уже сейчас77Свежий пример Пателя — его эвал по социальной игре Blood on the Clocktower, похожей на «Мафию». Модели этого года разгромили модели его начала: стратегия, связность на длинных партиях и координация заметно лучше, хотя под эту игру их, видимо, не обучали., при масштабе обучения в десятки тысяч раз меньше будущего: Claude Code или Codex в незнакомом проекте сами разбираются, как всё устроено, и берутся за большую задачу. А эволюция оптимизировала людей по грубому критерию — передал ли ты гены, — на задачах вроде охоты и положения в племени, а получился универсальный ученик, который пишет биографии и делает полупроводники. Лаборатории делают то же намеренно и на задачах ближе к нынешнему миру.

Реальный опыт всё равно нужен, но Пател ждёт, что модели получат его быстрее, чем принято думать. Его интуиция опирается на знакомых двадцатилетних, которые строили ведущие компании в незнакомых областях, и на историю: Наполеон к 27 годам громил армии великих держав, Рокфеллер к 25 руководил одним из крупнейших в мире нефтеперерабатывающих заводов через два года после входа в отрасль. Модели к тому же накапливают годы опыта за недели: в первое утро в роли гендиректора компании из списка Fortune 500 копия прочтёт всю переписку компании, а к вечеру параллельные копии опросят всех сотрудников и клиентов.

И всё это лишь первые год-два после автоматизации исследований. Даже если программный прогресс выдохнется, ИИ будет помогать наращивать вычисления, которые и без него растут примерно втрое в год: проектировать чипы, заводы и дата-центры, управлять роботами на стройке. Тогда сверхинтеллект, который для нас будет тем же, чем мы для шимпанзе, придёт не за месяцы, а за годы.

Почему исследования ИИ проверяемы

В приложении Пател объясняет, почему считает исследования ИИ в основном проверяемыми. Начинает он с главного недостатка моделей по сравнению с людьми — низкой эффективности по данным. Её можно измерить: сколько данных нужно до заданной ошибки предобучения, сколько задач до заданного балла в среде, сколько обратной связи внутри одной сессии. Эффективность по данным и обучение на ходу Пател называет глубочайшей открытой проблемой машинного обучения, его аналогом задачи тысячелетия, а математика уже показала, что бывает с проверяемыми задачами.

Исследования ИИ он делит на предобучение, дообучение и эффективность вывода. В предобучении будущую модель можно учить с подкреплением находить множители эффективности, например обучать модель размера GPT-2 до заданной ошибки на минимуме вычислений88Публичный аналог такой задачи уже есть: nanoGPT speedrun, соревнование по скорости обучения модели в духе GPT-2, выросшее из реализации Андрея Карпатого.; ошибка на отложенной выборке проверяется очень легко. Даже вкус, то есть умение угадать, какие улучшения на малом масштабе сработают на большом, тренируется: можно сделать среду, где модель предсказывает, переживёт ли улучшение на 100 млн параметров переход к 10 млрд.

Улучшения предобучения особенно ценны. Они делают модель умнее в целом, позволяют обучать меньшие модели с тем же качеством, а значит, дешевле ставить эксперименты и содержать больше автоматических исследователей. И они сжимают сам цикл самоулучшения: пока идёт трёхмесячный запуск, его обгонит модель поменьше, начатая неделю назад, как корабль к Альфе Центавра, запущенный сегодня, обгонит корабль, запущенный через век. Запас велик: лаборатория Magic сообщила, что обучила модель уровня лучших открытых базовых моделей вроде DeepSeek V4 Pro за половину вычислений, ушедших на исходный GPT-3, — около 500 тысяч долларов по нынешним ценам.

Для дообучения Пател находит три проверяемых ориентира: сколько вычислений и данных нужно, чтобы обучить модель на новом наборе сред; как быстро модель осваивается в незнакомой среде или игре, как в бенчмарке EdgeBench от ByteDance; и прямой замер исследовательских способностей, как во внутреннем бенчмарке Anthropic CoBench из примерно 500 реальных задач, решённых её сотрудниками за год. Эффективность вывода проверить проще всего: загрузку GPU, размер KV-кэша на токен, число операций и задержку измеряют напрямую.

Возражения

Сильнейшие возражения Пател разбирает сам и соглашается, что узкие места снижают вероятность самого резкого сценария. Но горлышко у бутылки, по его словам, довольно широкое.

Первое возражение касается непрерывного обучения. Полтора года Пател сам доказывал, что моделям не хватает умения учиться на опыте работы: каждая сессия для них первый рабочий день. Теперь он считает, что масштабирования обучения в контексте до сессий длиной в месяцы, вероятно, хватит. К тому же для решения задачи о непрерывном обучении не обязательно быть непрерывным учеником: это исследовательская проблема с чистыми ориентирами. Модели решают задачи тысячелетия, оставаясь стажёрами без долгой памяти, — как если бы кто-то шёл колесом и не отставал от Усэйна Болта. Неудача здесь — главная причина его 25% на сроки после 2032 года.

Второе возражение касается ориентиров. Выбор цели, на которую оптимизировать, сам часть исследований, и до 2018 года мало кто верил в предсказание следующего токена. Пател отвечает, что трансформер был виден на существующем бенчмарке перевода, а модели рассуждений — на существующих бенчмарках программирования и математики. И что несложно придумать ориентиры, не зависящие от парадигмы: число решённых задач тысячелетия, время до открытия теории относительности по данным до 1905 года, скорость освоения новых игр.

Третье возражение касается данных. По подсчётам Пателя и Джерри Хана, за шесть лет алгоритмический прогресс предобучения втрое больше обязан данным, чем архитектуре. Но улучшение данных — та же исследовательская работа: какие способы фильтрации и синтеза снижают ошибку на отложенной выборке. DeepSeek в статье о дообучении новой модели пишет, что почти весь выигрыш дали масштаб, разнообразие и проверяемость синтезированных данных и сред, а их построение всё больше автоматизировано.

Четвёртое возражение касается экспериментов. Математику можно двигать ручкой и бумагой, исследованиям ИИ нужны вычисления, и с ростом числа агентов каждому достаётся меньше. Пател отвечает, что при нынешнем росте к концу 2027 года OpenAI сможет дать тысячам агентов по запуску размера GPT-3 почти каждый день99Расчёт Пателя: в конце 2025 года у OpenAI было 1,74 млн эквивалентов H100. Если парк вчетверо растёт два года подряд, к концу 2027-го выйдет около 27,8 млн, что хватает примерно на 7660 запусков размера GPT-3 в день.. Финальная модель из статьи о трансформере обучалась 3,5 дня на восьми P100 — около 50 долларов аренды сегодня. Сейчас эксперименты расточительны, потому что дорого время исследователей; рой будет менять труд на вычисления: читать каждую траекторию, пересобирать сломанные среды, годами субъективного времени продумывать каждый крупный запуск. И искать новые закономерности масштабирования вроде тех, что позволили предсказать ошибку GPT-4 по моделям с вычислениями в 10 000 раз меньше.

Следующее эссе Пател обещает посвятить тому, какими будут эти системы и как они изменят мир.

Курсы по теме

У каждого курса есть бесплатная часть: оставьте почту и начните сразу.

Рассылка

Раз в месяц — новые курсы, обновления программ и платформы. Отписаться можно в один клик из любого письма.

Начните учиться сегодня

Все курсы за 1500 ₽ в месяц. Доступ откроется сразу после оплаты, отменить можно в любой момент.

Для компаний — 5000 ₽ в месяц за сотрудника