Чуть помедленней в погоне: что думает российская ИИ-отрасль о предложении Anthropic

Anthropic, в конце мая обогнавшая OpenAI, став самой дорогой ИИ-компанией в Кремниевой долине, выпустила манифест, в котором призвала к замедлению развития ИИ. По мнению одного из мировых лидеров индустрии, уже в недалеком будущем ИИ будет способен полностью автономно проектировать и разрабатывать собственного преемника, а это увеличивает риск потери контроля над такими системами. Значит, необходимо иметь возможность замедлить или временно приостановить разработку передовых ИИ-систем, чтобы социальные структуры и механизмы контроля успевали адаптироваться. Forbes спросил участников российской ИИ-отрасли, что они думают об этом

Сотрудники одного из крупнейших ИИ-стартапов Anthropic опубликовали письмо, призвав замедлить или временно приостановить разработку передовых ИИ-систем.

Anthropic активно использует ИИ (в частности, собственную систему Claude) для ускорения разработки новых ИИ-решений — это пример тенденции к рекурсивному самосовершенствованию: в перспективе ИИ сможет автономно проектировать собственных преемников, говорится в документе. Несколько показательных цифр: в Anthropic инженеры теперь выпускают в восемь раз больше кода в квартал (по сравнению с периодом 2021-2025 гг.), а к маю 2026 года уже более 80% кода в кодовой базе Anthropic написано Claude (до февраля 2025-го — всего несколько процентов).

Кроме того, Claude все лучше справляется с задачами возрастающей сложности: например, в мае 2026 года его успешность в несложных задачах достигла 76% (рост на 50 процентных пунктов за полгода). А, к примеру, длительность заданий, которые ИИ может выполнять самостоятельно, удваивается каждые четыре месяца (раньше — каждые семь месяцев). Более того, тесты (SWE?bench, CORE?Bench и др.) показывают стремительный рост производительности: модели быстро достигают почти 100%-ной эффективности, следует из письма.

Пока преимущество человека заключается в умении видеть общую картину и мыслить за пределами рамок поставленной задачи, но на горизонте уже всего нескольких лет оно может быть утрачено, пишут ученые, которые указывают на три возможных сценария развития событий:

Последний сценарий наводит сотрудников Anthropic на вывод: «Без глобального механизма координации компаниям и правительствам придется принимать сложные решения в области безопасности в условиях конкурентного и геополитического давления».

Для существенного замедления или приостановки потребовалось бы согласие хорошо обеспеченных ресурсами лабораторий в разных странах прекратить работу на одинаковых условиях и подтверждение от каждой этой остановки, полагают в Anthropic. При этом из-за уникальных характеристик систем ИИ проконтролировать это очень сложно, оговариваются сами авторы: «Тренировочные запуски гораздо легче скрыть, чем ракетные шахты <…> а стимул к тихому отказу от сотрудничества огромен, потому что тот, кто продолжает работу, пока другие делают паузу, может унаследовать лидерство».

Anthropic была создана в 2021 году экс-сотрудниками создателя ChatGPT OpenAI. В их числе — бывший вице-президент OpenAI и нынешний гендиректор Anthropic Дарио Амодеи (№555 в глобальном рейтинге миллиардеров Forbes, состояние, по данным Forbes Real-Time Billionaires на 28 мая, — $7 млрд). Первую версию своего чат-бота Claude компания выпустила в 2023 году. Разработанные Anthropic ИИ-инструменты направлены на изменение подхода к решению разных задач, от программирования до кибербезопасности. В конце мая 2026 года Anthropic обогнала OpenAI и стала самой дорогой ИИ-компанией в Кремниевой долине — стартап привлек $65 млрд в рамках раунда финансирования серии H, в результате его оценка выросла до $965 млрд.

Это не первый (и, наверное, не последний) случай, когда признанные ученые и техноумы современности требуют от мирового сообщества отнестись к развитию ИИ со всей возможной осторожностью и даже приостановить его. Так, в марте 2023 года более 1000 известных исследователей, топ-менеджеров и основателей IT-компаний, включая Илона Маска и Стива Возняка, призвали приостановить обучение продвинутого ИИ хотя бы на полгода. По их словам, спешное обучение нейросетей несет в себе риски для человечества, поэтому нужно убедиться в позитивных последствиях развития ИИ и разработать общие протоколы безопасности.

Forbes узнал у российских ученых и ИИ-специалистов, что они думают о доводах коллег из Anthropic и согласны ли они замедлить развитие своих систем.

«Все наоборот — сейчас важнее ускорять развитие», — убежден генеральный директор Института AIRI, декан факультета ИИ МГУ Иван Оселедец. Несмотря на громкие заявления о скором появлении полностью автономного сверхинтеллекта, над которым можно потерять контроль, современные модели по-прежнему сталкиваются с фундаментальными инженерными барьерами: это ограничения по скорости работы, стоимость вычислений, проблемы масштабирования длинного контекста и потеря качества рассуждений на больших горизонтах планирования, перечисляет он. «Сейчас все находятся на этапе поиска лучших архитектурных решений и все хотят быть первыми, поэтому призывы замедлиться мы еще услышим — от каждого разработчика по очереди», — считает Оселедец.

По мнению ученого, с точки зрения глобальной конкуренции замедление выглядит сомнительной стратегией. «Если грубо оценивать текущий расклад, то в этом направлении китайские коллеги отстают от Anthropic примерно на полгода, а мы на несколько месяцев от Китая, при этом по харнессам (так называемым обвязкам вокруг моделей) и инженерным решениям мы находимся на одном уровне с лидерами, — рассуждает Иван Оселедец. — В такой ситуации сознательное торможение развития — вообще не про повышение безопасности, а про увеличение технологического отставания». Рациональная позиция — не замедлять развитие автономного эволюционирующего ИИ, а ускорять исследования, одновременно улучшая механизмы контроля, наблюдаемости и оценки результатов, полагает Оселедец.

«Тот, кто замедлится сейчас, не просто теряет позиции — он выпадает из будущего. Единственная стратегия — бежать быстрее: тестировать и принимать решения быстро и так же быстро отказываться от того, что не работает, — убежден старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка Антон Фролов. — Но человек должен оставаться в контуре и принимать ключевые решения. ИИ — мощный исполнитель и генератор идей, но передавать ему полную автономию без контроля — значит терять управляемость системы в самый ответственный момент ее развития. Скорость не должна достигаться ценой отказа от человеческого суждения там, где оно принципиально».

По словам Фролова, здесь у России есть серьезное преимущество: «Мы построили одну из сильнейших в мире инженерных школ — с культурой глубокой экспертизы, многоуровневой проверки и осознанного отношения к запуску любой системы. В крупных российских технологических компаниях давно выстроены процессы, при которых ни одна функция не уходит в продакшен без полноценного цикла тестирования безопасности». Именно это сочетание — скорость разработки и культура ответственного запуска — и есть то, на чем можно строить конкурентоспособный ответ на вызовы развития технологий ИИ, уверен топ-менеджер.

Директор по развитию технологий ИИ «Яндекса» Александр Крайнов, впрочем, замечает: Anthropic не предлагает замедлять развитие — это и невозможно. Anthropic, по его словам, предлагает максимально тщательно следить за происходящим и создавать средства контроля, «что действительно важно и нужно». «Не потому, что есть опасность получить «терминатора», а потому, что способности ИИ могут начать развиваться экспоненциально и ошибки в проектировании могут стоить дорого, — говорит он. — Единственные, кто обладает достаточной компетенцией в этом вопросе, — это сами разработчики. И важно, чтобы в вопросах ответственной разработки ИИ они взаимодействовали друг с другом».

Anthropic права в одном — разговор нужен прямо сейчас, считает управляющий директор «Авито» по ИИ Андрей Рыбинцев. «Но пока он идет в основном внутри самих технологических компаний. К нему должны подключиться и другие институты — те, кто формирует правила и кадры, а не только продукты, — продолжает он. — Остановить развитие ИИ невозможно и, скорее всего, не нужно. Нужно, чтобы те, кто принимает решения за пределами индустрии, — различные общественные институты — начали двигаться с той же скоростью, что и она сама».

Заявления Anthropic следует рассматривать исключительно через призму предстоящего IPO (компания подала конфиденциальную заявку на IPO в Комиссию по ценным бумагам и биржам США 1 июня. — Forbes), полагают в пресс-службе MWS AI (входит в МТС Web Services, объединяющую ключевые активы МТС в области IT). Компании необходимо доказать рынку технологическое превосходство своих продуктов над конкурентами в сегменте генеративного ИИ. Риторика об «опасных» возможностях — не что иное, как маркетинговый сигнал инвесторам о якобы беспрецедентной мощности решений Anthropic, считают в MWS AI.

«Второй значимый сентимент для привлечения инвестиций — тема гонки США и Китая. Намек на то, что Китай может опередить США в ИИ, используется как аргумент для увеличения вложений в Anthropic, позиционирующую себя как лидера B2B-сегмента по экономическим показателям. Применительно к России эти заявления нерелевантны. Даже верхняя планка инвестиций в ИИ (условные $50 млрд) недостаточна для того, чтобы говорить о реальной угрозе со стороны технологии или пузыре. В России ИИ развивается прежде всего для покрытия кадрового дефицита и нужд бизнеса — это сегодня задача №1», — заключают в MWS AI.

Манифест состоит из двух частей, обращает внимание директор по развитию технологий ИИ «Т-Технологий» Алексей Шпильман. В первой Anthropic, по его словам, просто рекламирует свои инструменты «и рассказывает, какие они хорошие, а станут еще лучше, ведь будут сами себя улучшать». «Во второй они просто обозначают возможную задачу о замедлении разработки фронтирных моделей. Но очень мягко: не заявляют, что прямо надо, а говорят, что хорошо бы в целом иметь какой-то механизм замедления, — рассуждает Шпильман. — Однако сами же и указывают на то, что в данный момент обеспечить такое замедление невозможно — нет реальных инструментов, которые могут отслеживать, кто замедлился, а кто нет. Заканчивается манифест тем, что они говорят, что соберут компании и общественные организации поговорить об этом всем. Больше похоже на попытку зафиксировать за собой позицию лидера мнений по этому вопросу».

«Нужно ли нам участвовать в возможном замедлении, если они все-таки его придумают, — однозначно нет, мы слишком сильно отстаем. Но и, скорее всего, инструмент на нас распространяться и не будет. Не видят там конкурентов в России и беспокоятся, конечно же, из-за Китая», — заключает Алексей Шпильман.

Чуть помедленней в погоне: что думает российская ИИ-отрасль о предложении Anthropic

Комментарии: