В работе «The AI Dilemma: Growth versus Existential Risk» Чарльз Джонс из Стэнфордского университета и Национального бюро экономических исследований (NBER) рассматривает искусственный интеллект как технологию двойного назначения. С одной стороны, ИИ расширяет инновационные возможности экономики и способен вывести темпы роста за пределы, задаваемые численностью и качеством человеческих исследователей: как только машины смогут генерировать идеи, ограничения роста, определяемые количеством и качеством исследователей-людей, могут перестать действовать. С другой стороны, тот же уровень развития технологии, который обеспечивает беспрецедентный рост уровня жизни, создаёт и наиболее вероятный источник экзистенциального риска — появления сверхразума, не согласованного с человеческими ценностями. Автор подчёркивает, что эти два эффекта неразрывно связаны: именно состояние мира, в котором ИИ достаточно силён для радикального ускорения роста, представляется и наиболее опасным. Проще говоря, ИИ может повысить уровень жизни сильнее, чем электричество или интернет, но способен создать риски, превышающие риски от ядерного оружия.

Ключевой формальный результат статьи связан с видом функции полезности, используемой для агрегирования благосостояния. При логарифмической функции полезности модель демонстрирует почти парадоксальное равнодушие к риску вымирания: общество, согласно расчётам, готово принять вероятность гибели человечества вплоть до одного к трём ради очень больших выигрышей в потреблении. Однако при переходе к функции полезности с постоянным относительным неприятием риска (CRRA) и коэффициентом два и выше картина меняется радикально. Такие функции ограничены сверху, а предельная полезность потребления быстро убывает, поэтому модель становится крайне консервативной в вопросе обмена дополнительного потребления на риск исчезновения вида. Этот вывод, по словам Джонса, распространяется и на сценарии сингулярности, в которых самосовершенствующийся ИИ обеспечивает бесконечный рост потребления: даже бесконечный выигрыш не перевешивает риск при достаточно высоком коэффициенте неприятия риска. Именно поэтому ответ на главный вопрос статьи — продолжать стремительное развитие ИИ или остановить его — оказывается в решающей степени зависимым от этической предпосылки о форме функции полезности, а не от технических оценок вероятностей катастрофы.

Модель опирается на классификацию JEL, охватывающую экономику потребителя (D11), критерии принятия решений в условиях риска и неопределённости (D81), оценку проектов и социальную ставку дисконтирования (H43), общее благосостояние (I31), а также инновационные процессы и стимулы (O31). Джонс подчёркивает, что цель работы — не дать точный ответ на вопрос, стоит ли продолжать стремительное развитие ИИ, поскольку итог зависит от параметров, которые невозможно измерить точно. Вместо этого предлагаются простые модели, проясняющие экономические силы, стоящие за выбором между ростом и риском. Автор благодарит за обсуждение работы Жан-Феликса Бруйетта, Тома Дэвидсона, Себастьяна Ди Телле, Майю Иден, Джошуа Ганса, Тома Хоулдена, Пита Кленоу, Антона Коринека, Кевина Курука, Паскуаля Рестрепо, Шарлотту Зигманн, Криса Тонетти, Фила Траммелла, а также участников семинаров в Markus Academy, Федеральном резервном банке Миннеаполиса, конференции NBER по ИИ, Оксфорде, PSE Macro Days 2023, Стэнфорде и USC. Соредактором статьи выступил Габриэль Ходоров-Рейх.

Статья продолжает линию исследований, начатую работами Филиппа Агиона, Бена Джонса и самого Чарльза Джонса (2019), а также Траммелла и Коринека (2020), Дэвидсона (2021), Нордхауса (2021) и Эрдила с Бесироглу (2023). Все эти авторы рассматривали сценарии, в которых ИИ берёт на себя производство идей и выводит экономику на траекторию сингулярности с потенциально бесконечным потреблением. Одновременно значительная часть ИИ-сообщества, включая ведущих исследователей OpenAI и Google, публично предупреждает об экзистенциальных угрозах — как из-за злонамеренного использования технологии «плохими акторами», так и из-за возможного выхода сверхразума из-под контроля. Джонс помещает этот спор в строгую экономическую рамку, показывая, что ответ зависит от этических предпосылок о форме функции полезности не меньше, чем от технических оценок вероятностей. Контекст для сравнения задают и недавние достижения: сворачивание белков, распознавание речи и успехи генеративных моделей в создании текста и изображений, которые, как отмечается в работе со ссылкой на Bubeck et al. (2023), превзошли ожидания.

Для российской аудитории работа важна прежде всего как инструмент для дискуссии о регулировании ИИ. В условиях, когда крупные технологические компании и государства конкурируют за лидерство в разработке моделей, аргумент Джонса о «допустимом риске» может быть использован как для обоснования ускорения, так и для введения моратория. Критические комментарии к переводу, подготовленные @avshkol, указывают на уязвимость модели: она предполагает, что общество способно коллективно выбрать уровень риска и что этот выбор поддаётся количественной оценке. На практике ни один регулятор не обладает мандатом принимать решения о вероятности вымирания человечества, а международные институты не имеют механизмов принуждения к соблюдению таких решений. Кроме того, модель не учитывает неравномерность распределения выгод и рисков между странами и поколениями — те, кто получит выгоду от ускорения, и те, кто понесёт риск, могут быть разными людьми.

По сравнению с альтернативными подходами — например, предложениями о «замедлении» разработки ИИ или о международных договорах по типу соглашений о нераспространении ядерного оружия — модель Джонса выглядит более аналитичной, но менее операциональной. Она не говорит, какой именно уровень риска следует считать приемлемым, а лишь показывает, как ответ зависит от коэффициента неприятия риска. При этом она игнорирует возможность технологий, снижающих риск без отказа от роста, — таких как методы выравнивания (alignment) и интерпретируемости. В этом смысле работа оставляет открытым вопрос о том, можно ли разделить рост и риск институционально, а не только математически. Дальнейшие исследования, вероятно, будут уточнять параметры функции полезности на эмпирических данных и включать в модель неопределённость относительно самого существования экзистенциальной угрозы. Открытым остаётся и вопрос о том, как согласовать индивидуальные предпочтения с коллективным решением, ведь ни один человек не может делегировать другому право рисковать выживанием вида. Пока же статья Джонса задаёт рамку для разговора: если мы хотим ускорить рост с помощью ИИ, нам придётся явно назвать цену, которую мы готовы за это заплатить.