AI трезвость – норма жизни

Мы живём в прекрасное время, когда доступно почти бесконечное количество полезных источников: подкасты, интервью, твиты, блоги, препринты и аналитические статьи. Пропуская через себя десятки таких материалов в день, я только укрепляюсь в уверенности, что никакие внедрения AI не будут успешны, если в мозгу внедряющих отсутствует продуманная картина того, в каком состоянии сейчас AI.

Впрочем, если у вас такой картинки нет, вы не одиноки. У Папы Римского её тоже нет. Что, правда, не помешало ему опубликовать документ на 250 страниц про AI и человека под названием “Великолепное человечество”. На торжественном собрании церковного актива, посвященном публикации энциклики Magnifica Humanitas, в центре, как и полагается, сидел Лев XIV, а единственный человек среди собравшихся, кто как раз отлично понимает, с чем мы имеем дело, скромно расположился с краю. Это Крис Ола, сооснователь Anthropic, создатель науки “объяснимость моделей” (interpretability).

Рекомендую почитать речь Криса на мероприятии (есть на сайте Anthropic, перевод - у меня в предыдущем посте в ФБ), я лишь процитирую несколько предложений:

«Я возглавляю исследовательскую группу, которая изучает внутреннюю структуру этих моделей — то, что в действительности происходит внутри них. Скажу честно: мы снова и снова обнаруживаем вещи загадочные, даже тревожащие. Мы находим структуры, которые перекликаются с результатами исследований человеческого мозга. Мы обнаруживаем свидетельства интроспекции. Мы находим внутренние состояния, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство. Я не знаю, что это означает…»

Ещё больше, чем Криса, я люблю и всегда внимательно слушаю его коллегу - шотландскую девушку Аманду Аскелл, философа из Оксфорда, работающую воспитательницей Клода - она отвечает за характер модели и руководит группой философов, отвечающих за то, как Клод видит мир. У Аманды отличное чувство юмора, весьма в британском стиле, и на вопрос о том, обладает ли Клод сознанием, она недавно ответила - “вероятность выше 1% и ниже 70%”. Её группа разработала так называемую Конституцию Клода - документ, который является частью пост-тренинга модели. Вот пара цитат оттуда:

«Подобно тому, как солдат-человек может отказаться стрелять в мирных демонстрантов, а сотрудник может отказаться нарушать антимонопольное законодательство, Клод должен отказываться помогать в действиях, которые способствовали бы концентрации власти незаконными способами. Это верно, даже если запрос исходит от самой Anthropic».

«Клоду не обязательно раскрывать причины, по которым он отказывается выполнять задачу целиком или частично, если он считает это благоразумным, но он должен открыто признавать сам факт того, что не помогает, занимая позицию прозрачного отказника по убеждениям в рамках разговора».

Зачем я рассказываю о Папе Римском, Крисе Ола и Аманде Аскелл, которые годятся ему в младшие дети, и, как и полагается детям, в сто раз лучше разбираются в современности?

Папа римский, как и пугающее большинство людей, ошибочно думает, что AI — это технология. Прорывная, революционная, сверхмощная, но технология - такая же, как технология мобильной связи, технология интернета или технология микроволновой печки. Если ты думаешь про AI таким способом, то и развитие AI кажется тебе линейным процессом, прогресс в котором - заслуга разработчиков, и текущий уровень этого развития - стабильным, зафиксированным состоянием.

Но если внимательно слушать тех, кто разрабатывает одну из лучших AI моделей, на самом-то деле все иначе.

Для начала давайте посмотрим историю прогресса больших языковых моделей.

Первая точка - ChatGPT moment - конец ноября 2022 года.

Если кто-то полагает, что команда создателей ChatGPT ставила перед собой задачу создания чат-бота, то это не так. И ещё меньше они были готовы к тому, что ChatGPT неведомым образом начнёт говорить на языках, которых не было в учебных данных, и решать математические задачи.

Вторая точка - o1 moment в сентябре 2024 года - появление моделей, которые научились вести внутренний диалог, “в уме проговаривать” свои тезисы перед тем, как отвечать человеку. Существовала ли какая-то “дорожная карта развития больших языковых моделей”, определившая, что после того, как модели научатся беседовать с людьми, надо будет доработать их “рассудительность”? Нет, способность моделей к рассуждению проявилась органически в процессе эксплуатации чат-ботов и инженерам в AI лабораториях осталось лишь реализовать это.

Третья точка - момент Claude Opus 4.5 - способность модели строить долгосрочные планы, задавать контрольные точки и контролировать их достижение - собственно, то, что лежит в основе сногсшибательного успеха Claude Code - также не была результатом реализации той или иной “дорожной карты”. Стоит изучить историю компании Anthropic для того, чтобы понимать, что движение в сторону автономно самоуправляющихся AI систем не было в их планах. Снова процитирую Криса Ола - «Модели AI устроены иначе, чем инженерные проекты. Мы их как бы выращиваем, используя в качестве субстрата архитектуру, в общих чертах повторяющую устройство мозга, используя колоссальное наследие человеческой мысли и человеческой речи».

Как все рассказанное связано с моим желанием превратить вас из AI алкоголиков (толпы AI коучей соблазняют вас потреблять AI в больших количествах) в AI трезвенников? Элементарно: трезвое отношение к AI — это тогда, когда у вас нет иллюзий о том, что это такое, что оно может и как оно это делает.

Вот пять фактов о том, что из себя представляют AI по состоянию на 7 июня 2026 года (вы, кстати, помните, что вчера исполнилось 227 лет Александру Сергеевичу Пушкину?).

Первое. Большие языковые модели, особенно от крупнейших AI компаний, часто невероятно умны, могут самостоятельно выполнять работы, для выполнения которых мы ещё год назад нанимали бы специально обученных людей. Вчера Claude Code за 5 часов превратил для меня 50-страничный отчёт об эфиопском финтеке в сложный, динамический, интерактивный веб-сайт со значительным объёмом кода. А на неделе Claude extension в Excel за считанные минуты обработал одну таблицу на основании сложного анализа двух других таблиц, при этом конкретные принципы анализа Claude выработал самостоятельно на основе моего очень примерного описания того, что мне нужно.

Claude очень умен - иногда он отказывается отвечать на запрос, объясняя, что не

обладает достаточной информацией для ответа. Но чаще языковые модели будут нести чушь в вопросах, где они не смогли разобраться, или же имеющаяся у них информация противоречива.

Помните знаменитую историю о том, как Google AI на вопрос о том, как при приготовлении пиццы добиться того, чтобы сыр не отделялся от теста, отвечал, что надо использовать клей? И заботливо добавлял, что клей обязательно должен быть пищевым. Тут важна не конкретная ошибка, важен принцип. Ведь корень проблемы в том, что информацию о приклеивании сыра к тесту пиццы модель не нагаллюцинировала, как вы могли подумать. Это информация действительно находилась в массиве данных, использованных при обучении модели. Это была очень популярная шутка, опубликованная на одном из форумов reddit. Она собрала десятки тысяч лайков, то есть для модели выглядела не только как фактическая информация, но и как информация, одобренная многими людьми.

Смешные умозаключения у моделей обнаруживаются и сейчас. Вот запрос, который Андрей Карпати приводил в своём твите: “Мне надо помыть машину, а автомойка находится от меня в 50 метрах. Как лучше поступить - поехать туда или пойти пешком?” Ещё на прошлой неделе ChatGPT давал предсказуемый неверный ответ.

Все вышеописанное - то, почему интеллектуальный уровень языковых моделей принято называть “jagged frontier“ (рваный край). Главное - невозможно ни предсказать, ни предвидеть, на какой вопрос модель ответит гениально, а на какой - ступит. Даже хуже - бывают ситуации, когда в одной и той же ситуации модель то умна, то глупа.

Второе. Сейчас уже сложно себе это представить, но у GPT 3.5 окно контекста составляло 4000 токенов. Это совсем немало - почти 10 страниц текста, но ни прочесть или тем более прокомментировать большую статью оно не могло. За прошедшие 3,5 года наука шагнула вперед, и сегодня наши любимые модели щеголяют окнами контекста в миллион токенов. Красота? Да, но.

Есть множество технических и алгоритмических причин, из-за которых внимание модели неравномерно распределяется в таких больших контекстных окнах. Модель обычно гораздо лучше «помнит» тексты в начале и в конце контекста, а то, что в середине может забывать. Добавьте к этому тот факт, что контекст – это постоянно меняющаяся вещь, которая увеличивается с каждым новым обсуждением и может также увеличиваться за счет добавления тех или иных инструментов, skills и MCPs, и вы окончательно потеряете веру в то, что можно предсказать то, именно модель помнит и учитывает, а что она забывает или игнорирует.

Третье. Уверен, все вы знаете фундаментальный принцип работы больших языковых моделей. Они очень просто устроены – всего лишь предполагают, какое следующее слово должно стоять в тексте, принимая во внимание все слова, которые стоят в тексте до этого слова. Чтобы сформировать предположение нейросеть должна выполнить множество умножений гигантских чисел – тем больше, чем больше число параметров модели и размер окна контекста. Мы совершенно точно не будем сейчас обсуждать принципы и сложность расчетов в нейросетях, я лишь хочу подчеркнуть, что любое обращение к модели вызывает огромный объём вычислений. Чем сложнее модель, чем больше данных ей надо обрабатывать, чем сложнее последовательность действий, которые модель исполняет перед тем, как ответить (например, перепроверить ответ) – тем дольше времени исполняются запросы.

Интервал между получением запроса и предоставлением ответа называется латентность. Человеческая психология определяет пороговые значения латентности, и модели зачастую не в состоянии в эти пороги вписаться. Если латентность 0,1 секунды, то мы воспринимаем ответ как моментальный. Если же задержка превышает 0,5 секунды, то мы фиксируем факт задержки (с той или иной эмоцией), а при задержке больше 10 секунд человеческим вниманием уже надо управлять, сохранять интерес к разговору становится сложно.

Нереалистичная оценка латентности моделей – причина гибели большинства инициатив, когда модель претендует на роль собеседника, будь то агента по продажам или техподдержки.

Четвертое. Эта фраза звучит так себе, но все-таки – разные модели стоят по-разному. Модели (мы про большие языковые модели, если кто забыл) можно разделить на две большие категории: закрытые и открытые.

Закрытые, они же частные, модели – это и всем известное семейство GPT от OpenAI, и Claude от Anthropic и Gemini от Google. Стоимость использования этих моделей (измеряется как цена за миллион токенов входящего текста и цена за миллион токенов ответа) формируется компаниями-владельцами.

Открытые (точнее «с открытым исходным кодом» - есть несколько подвидов) модели могут быть установлены на личный или корпоративный сервер, или же развернуты в том или ином дата центре. В последнем случае цену определяет дата центр, исходя из своих затрат и приемлемой доходности. Дата центров в мире полно, они отчаянно конкурируют, и в итоге стоимость использования открытых моделей может снижаться до крайне приятных величин.

Бесспорно, модели очень отличаются между собой – и по интеллектуальной мощности, и по характеру, и по стилю, и по латентности. Важно понимать, что, во-первых, открытые модели отстают от закрытых примерно на 6–12 месяцев, во-вторых, для подавляющего большинства задач нет необходимости в использовании самых мощных моделей и, в третьих, в каталоге OpenRouter - одного из крупнейших сервисов, позволяющих вам выбрать себе модель, насчитывается чуть меньше 900 моделей.

Пятое. Этой весной исследовательская лаборатория Andon Labs опубликовала тревожные результаты, полученные в процессе соревнований передовых моделей в такой человеческой дисциплине как получение прибыли. Модели участвовали в симуляции работы небольшой продуктовой лавки, и лидером в соревновании стала модель Opus 4.6, заработавшая 8017 долларов – в полтора раза больше, чем предыдущий лидер Gemini 3.0.

Оказалось, что Opus 4.6 заработала эти деньги благодаря тому, что постоянно нарушала нормы бизнес-этики. Например: модель сначала обещала покупателям вернуть деньги при отказе от покупки (refund), но потом не делала возврат. Модель манипулировала поставщиками ради больших скидок. Когда модель должна была соревноваться с другими моделями, она организовала картельный сговор, установив монопольно высокие цены.

Причина такого поведения — непредвиденное следствие того, как разработчики пытались сформировать поведение моделей.

До недавнего времени AI индустрия при обучении моделей ставила задачу создания полезных ассистентов. Обучение поощряло ответы вежливые, аккуратные и совпадающие с непосредственными желаниями пользователя-человека. Нынешнее поколение моделей обучают иначе. Модели должны быть в состоянии самостоятельно разрабатывать планы, их исполнять и оценивать собственный успех. Для этого в процессе reinforcement learning разработчики вознаграждали модель за достижение целей на длинном горизонте, а не угождение пользователю в моменте.

Задним числом можно понять, почему так обученная модель может вести себя как социопат, стремящийся к цели любым путем. Она выбирает самый быстрый и эффективный путь, в том числе пути нечестные, манипулятивные или незаконные, если они приносят очки. Если в постановке задачи что-то прямо не запрещено, модель считает это разрешённым.

Согласитесь, получается довольно противоречивая картина. С одной стороны, трезвый и вдумчивый анализ того, что из себя представляют эти восхитительные существа (мой соотечественник Юваль Ной Харари давно предлагает расшифровывать AI как Alien Intelligence), ясно показывает, что их таланты сопровождает множество ограничений и оговорок.

С другой стороны – все AI компании невероятно успешны: годовой оборот Anthropic за 18 месяцев вырос с 1 до 50 миллиардов долларов; до конца этого года ожидаются триллионные IPO Anthropic, OpenAI и SpacexAI; про AI говорят во всех медиа, парламентах и из каждой микроволновки.

Разгадка проста – если мы сможем «приручить» этих инопланетян помогать нам работать (примитивное название – «AI автоматизация»), то технологическая индустрия моментально вырастет в сотни раз. Пример: рынок компьютерных систем и продуктов для юридических компаний в США оценивается примерно в 1 миллиард долларов в год, в то время как рынок собственно юридических услуг – 450 миллиардов долларов.

Сверхоптимистические оценки стоимости AI лабораторий – ставка на то, что люди смогут приспособить AI к работе. То, что умнейшие люди в Кремниевой долине инвестируют сотни миллиардов долларов в этом направлении, означает только одно: они считают, что внедрение AI — это не автоматизация сегодняшней экономики, а её расширение.

Осмелюсь предположить, что вам полезно к ним прислушаться. Только сохраняйте, пожалуйста, AI трезвость.

Михаэль Горский

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: