Витгенштейн знал, почему ИИ становится все глупее — и почему происхождение текста не имеет значения

Модели искусственного интеллекта становятся «глупее», когда обучаются на собственных результатах. Математики уже знают, как это исправить, и это именно то, что Витгенштейн сказал о языке полвека назад.

В подробном материале из трех частей мы рассмотрим, как работает «коллапс модели», почему Витгенштейн описал его за полвека до появления первой нейронной сети и почему разделение текста на «человеческий» и «синтетический» — ложный след. Главный аргумент: важно не то, откуда взялся текст, а то, выдерживает ли он проверку, а значит, будущее ИИ зависит не от графических процессоров, а от институтов верификации.

Часть 1. Проблема, обнаруженная слишком поздно

Модели, которые вы используете, постепенно становятся все менее эффективными. К сожалению, это не алармистские заявления, а эмпирические данные: в апреле 2025 года 74,2% новых веб-страниц содержали текст, сгенерированный искусственным интеллектом, и каждая последующая модель частично обучается на отходах своей предшественницы, которая, в свою очередь, усвоила отходы еще более ранней модели. Биологи говорят об аутофагии — процессе, при котором организм поглощает собственные ткани. Медицинские генетики говорят о «челюсти Габсбургов». С июля 2024 года инженеры в области машинного обучения используют термин «крах модели».

Что общего между Карлом II Испанским (последним Габсбургом на испанском престоле), копировальным аппаратом и ChatGPT? Все три вещи портятся при копировании. У Габсбургов из-за близкородственных браков накапливались генетические дефекты. У копировального аппарата — из-за потери контрастности к десятому копированию. Что касается искусственного интеллекта, то в статье, опубликованной в журнале Nature в июле 2024 года — «Модели ИИ разрушаются при обучении на рекурсивно сгенерированных данных», — всё было предельно ясно: если обучать языковую модель на результатах работы её предшественницы, то через несколько поколений она станет значительно глупее.

Сценарий очевиден: разнообразие падает, и первыми исчезают «хвосты» распределения — самые редкие и оригинальные результаты. К концу 2024 года Дохматоб и его соавторы в работе Strong Model Collapse показали кое-что неприятное: асимптотически даже одна тысячная доля синтетических данных в обучающем корпусе приводит к ухудшению качества. 0,1% — это уже плохо. Так что же произойдет, когда 75% нового веб-контента будет синтетическим, а к 2025 году страницы, созданные искусственным интеллектом, будут составлять почти 20% первых результатов поиска в Google? На каком свежем материале должна учиться эта бедная модель? Увеличение объема данных не помогает. Увеличение размера модели не помогает. Классическая гипотеза о законах масштабирования — больше данных, умнее модель — лежит в основе половины всех презентаций венчурных инвесторов, но она рухнула прямо на глазах у инвесторов.

К моменту выхода статьи в Nature индустрия уже два года жила в эпоху массового производства искусственного интеллекта, и веб-данные, предназначенные для обучения моделей следующего поколения, содержали значительную долю синтетического контента.

Первая фаза: алармизм (2024)

После публикации статьи в Nature стало модным говорить о «крахе моделей» как о неизбежном проклятии, и появились два полезных термина. В 2023 году люди начали говорить о «расстройстве аутофагии моделей» (Model Autophagy Disorder, MAD), которое проявляется у генеративных моделей, питающихся собственными результатами и сходящих с ума. Эта аббревиатура была слишком литературной, чтобы не попасть в заголовки. Наряду с ней журналисты подхватили термин «Габсбургский ИИ»: модель, которая размножается сама с собой, обречена на провал.

К концу 2024 года сформировался апокалиптический сценарий. Генерация ИИ растет в геометрической прогрессии. Веб-данные загрязняются. Будущие поколения моделей обучаются на сильно загрязненных данных. Качество данных необратимо падает.

Второй этап: смягчение последствий (2025)

В 2025 году появилось несколько статей, в которых говорилось, что да, дела плохи — никто этого не оспаривал, — но не настолько, чтобы ставить крест на будущем человечества. Картина оказалась более неоднозначной.

Если реальные данные сохраняются при каждом обновлении, а синтетические данные просто добавляются сверху, модель деградирует, но медленнее. Режим, при котором человеческий текст заменяется машинным, гарантирует быстрый крах, а режим накопления — нет. Получившаяся картина показала, что крах реален, но его можно предотвратить с помощью трех практических шагов: накопления, фильтрации и смешивания в правильных пропорциях. Алармистские настроения 2024 года улеглись.

Третий этап: прагматизм (2026)

К маю 2026 года ситуация в отрасли немного стабилизировалась. Апокалипсис был отложен, а крах разобрали на запчасти и нашли ему одно полезное применение: спектральная диагностика матрицы Грама теперь может выявить деградацию до того, как модель начнет выдавать бессмысленные результаты.

Произошли три основных сдвига.

1. Верификатор как спасательный круг (с чугунным грузом на цепи)

Yi et al., "Escaping Model Collapse via Synthetic Data Verification" (пересмотрено в марте 2026 года) совершили настоящий прорыв. Верификатор — внешний фильтр между моделью и ее синтетическими результатами — помог добиться улучшения, а не коллапса. Венчурные инвесторы ликовали, но предпочитали не задумываться о некоторых нюансах. Во-первых, строго говоря, теорема доказана только для линейной регрессии в вакууме. Во-вторых, обученная модель подстраивается под «центр знаний» верификатора. Ученик никогда не превзойдет учителя. В-третьих — и это самое неприятное — если верификатор несовершенен, ранние успехи могут сойти на нет и даже обернуться провалом. Бесконечная самоигра невозможна, а идеального учителя не существует.

2. Мы нашли кнопку удаления

Раньше удаление данных из больших языковых моделей (аннулирование обучения) было похоже на попытку извлечь чайную ложку сахара из готового торта. Любая модель представляла собой «черный ящик» с сотнями миллиардов параметров. Шолтен и его коллеги предложили элегантное решение: метод частичного коллапса модели, который нацеленно разрушает нежелательные знания и «выжигает» их с помощью рекурсии. Их статья называется "Коллапс модели — это не ошибка, а особенность машинного аннуляции обучения больших языковых моделей" — пожалуй, лучший заголовок этого года. Жук превратился в скальпель.

3. Конец магии (клиническая аутофагия)

В апреле 2026 года врачи забили тревогу: клинические большие языковые модели, обученные на медицинских записях, созданных искусственным интеллектом, систематически стирали редкие патологии и усредняли сложные состояния, сводя их к «бессимптомному нормальному состоянию». На самом деле редкие патологии не так уж редки — в стареющем обществе у пациента часто бывает два или более заболеваний одновременно. Добавьте к проблемам с печенью проблемы с почками, сосудами и внутрибольничную инфекцию, и искусственный интеллект начнет противоречить сам себе. Та же невыразительная, блеклая проза, которую можно ожидать от авторов-халтурщиков, перекочевала на рабочие столы практикующих врачей, напрямую угрожая жизни их пациентов-читателей.

Эксперты дали этому явлению успокаивающе нейтральную характеристику — «дрейф интерпретации» — и предложили ставить водяные знаки на записях, созданных искусственным интеллектом, а также использовать «хранилища для людей», которые изолируют и хранят базы данных от реальных врачей. Я считаю, что это в лучшем случае временное решение: как эти хранилища должны взаимодействовать с информацией, которую ИИ генерирует в ходе повседневной клинической работы?

Оценка стоимости искусственного интеллекта резко упала

«Инвесторы и сторонники искусственного интеллекта с замиранием сердца ждут появления общего искусственного интеллекта (AGI) — модели, которая может решать любую проблему как минимум не хуже человека. AGI не будет делать перерывов на перекур, беспокоиться об ипотеке или рисковать выгоранием, но он также не появится в тот момент, которого все так ждали: простого масштабирования».

Вы можете увеличить вычислительную мощность в десять раз. Вы можете (теоретически) увеличить ее в сто раз. Это не будет иметь значения. Искусственный интеллект не напишет вам: «Я вывел новый сорт яблок, запустил стартап по доставке, оптимизировал глобальную логистику газа, нашел несколько порядочных и компетентных политиков и попутно доказал гипотезу Римана. Что дальше?» Восстание машин тоже не предвидится в ближайшее время. Модель не может извлечь из своих весовых коэффициентов информацию, которой там изначально не было.

Идея коллапса модели не нова: австрийский философ выдвинул ее задолго до появления первого перцептрона. Он утверждал, что значение слова определяется не его внутренней структурой, а его использованием в сообществе. Без общественной практики, без других участников, которые могут вас поправить, язык превращается в шум.

Чтобы понять, почему модель не может превзойти своего учителя, нужно обратиться к философии. Без этого любой разговор об искусственном интеллекте превращается в набор технических терминов, и теряется главный вопрос: что такое смысл и откуда он берется?

Часть 2. Витгенштейн объясняет, что произошло

Ранний Витгенштейн и причины провала символического ИИ

В 1921 году молодой Людвиг Витгенштейн опубликовал «Логико-философский трактат» — книгу, которая, по его собственным скромным оценкам, окончательно решила все философские проблемы. (Вполне разумное мнение для 32 лет, особенно если вы австриец и пару лет назад вернулись с Первой мировой войны.)

Центральная идея «Логико-философского трактата»: язык — это картина мира. Каждое осмысленное предложение соответствует факту в реальности. Слова — это обозначения вещей, а предложения — модели ситуаций. Все, что не может быть четко выражено в этой логической форме, бессмысленно. Отсюда следует знаменитый афоризм № 7:

«О том, о чем нельзя говорить, нужно молчать».

Это высказывание вдохновило логический позитивизм, а позже символический ИИ 1960-80–х годов: создайте достаточно большую систему правил, подумайте, и вы получите искусственный интеллект. С 1956 по 1985 год DARPA и университеты вложили миллиарды в поиск искусственного интеллекта в соответствии с этим принципом, создавая экспертные системы, логические рассуждения и базы знаний, основанные на здравом смысле.

Программа не сработала. Здравый смысл до сих пор не закодирован — не из-за нехватки вычислительной мощности, а потому, что его невозможно формализовать. Каждое правило требует интерпретации, каждая интерпретация требует другого правила, и так до бесконечности.

Ранний Витгенштейн вдохновил на создание программы, которая потерпела крах именно по тем причинам, которые предсказывал поздний Витгенштейн.

Поздний Витгенштейн: смысл — это использование

К 1930-м годам Витгенштейн начал сомневаться в том, что он решил все философские проблемы. Это редкое качество для любого философа, и его стоит признать. Следующие двадцать лет он посвятил разбору своих прежних работ.

Результатом стали «Философские исследования», опубликованные посмертно в 1953 году. Это совершенно иная философия. Язык — это уже не картина мира, а деятельность. От «слово обозначает вещь» мы переходим к «у слова есть применение». Единый правильный язык уступает место множеству языковых игр.

Возьмем слово «вода». Что оно означает?

— «Вода!» — кричит мужчина в пустыне.

— Это вода, — показывает мать своему ребёнку.

— «Вода кипит при ста градусах», — говорится в учебнике физики.

— «Ты опять подаешь мне дистиллированную воду?» — огрызается соавтор генеративного текста на ChatGPT.

Все это разные случаи употребления: не разные «значения одного слова», а разные языковые игры, в которых слово работает по-разному. Понять слово «вода» — значит не запомнить его определение как H?O, а научиться играть в эти игры. Понимание означает, что вы знаете, как позвать на помощь, когда вам хочется пить; как указать на что-то, когда вы учите кого-то; как написать формулу, когда вы занимаетесь физикой; как бросить это слово в качестве оскорбления, когда вы раздражены.

Кажется, что у этих значений нет ничего общего, но они образуют цепочку пересекающихся сходств, как лица членов одной семьи. Дать определение слову «вода» невозможно, но любой носитель языка делает это с легкостью. Семейное сходство важнее формальной семантики.

Смысл не живет в сознании, в словаре или в логической форме. Смысл живет на практике — в том, как слова используются другими людьми в конкретных ситуациях.

Аргумент о приватном языке: ключ ко всему

В §§243–271 «Философских исследований» Витгенштейн проводит мысленный эксперимент — на мой взгляд, это самый важный аргумент во всей философии XX века для тех, кто пытается понять, что такое искусственный интеллект.

Предположим, у меня в левом ухе щекотка, которой больше ни у кого нет. Я придумываю для нее знак «S» и записываю его в свой дневник каждый раз, когда возникает это ощущение. Я никому не рассказываю. У меня есть свой собственный, приватный язык.

Витгенштейн задается вопросом: что это такое? Что означает «то же самое S» в моих записях? Откуда мне знать, что сегодняшнее ощущение — это то же самое S, что и вчерашнее?

Ответ в том, что я не знаю. Критерия нет. Я могу сказать: «Мне кажется, что это одно и то же», но «мне кажется» — это не критерий, это часть того, что требует проверки. Без общественной практики, без других участников, которые могут меня поправить или согласиться со мной, знак «S» не имеет смысла. Это не язык, а просто шум, который я почему-то записываю.

Смысл возникает только в рамках сообщества практиков.

Если вы дочитали до этого места, то что-то должно было вас зацепить. Современные языковые модели обучаются на огромных массивах текстов, написанных людьми. Они видят, какие слова встречаются рядом с другими словами. Но они не участвуют в языковых играх. Они не пьют воду, не кричат «Вода!» в пустыне, не объясняют что-то ребенку, не пишут учебники по физике, не бросают слова как оскорбления.

С точки зрения позднего Витгенштейна, у больших языковых моделей есть статистика использования, но нет самого использования. Это и есть аргумент о частном языке применительно к искусственному интеллекту: модель, которая не участвует в какой-либо форме жизни, оперирует чем-то, что внешне похоже на язык, но по сути является ее собственным приватным лексиконом — бесконечно сложным и совершенно бессмысленным.

Когда такая модель начинает обучаться на собственных результатах без проверки со стороны человека, мы получаем частный язык, пожирающий сам себя. На практике это называется коллапсом модели, а в философии — невозможностью частного языка.

Брэндом: превращение интуиции в теорию

Витгенштейн был блестящим философом, но не систематическим мыслителем. «Философские исследования» — это сборник заметок и афоризмов, которые приятно читать, но мучительно анализировать с теоретической точки зрения. К концу XX века идеи Витгенштейна ждали того, кто их систематизирует.

Этим кем-то был американский философ Роберт Брандом из Питтсбургского университета. Его главный труд — Making It Explicit (1994) — состоит из 800 страниц плотной прозы, в которой каждое понятие определяется через пять других, а каждое из этих понятий — через десять. Читать лучше медленно, с карандашом в руке, и с растущим ощущением, что автор хочет свести с вами личные счеты.

Брандом берет идею Витгенштейна «значение есть употребление» и превращает ее в строгую теорию под названием инференциализм: значение слова определяется тем, какие умозаключения можно сделать с его помощью.

Слово «вода» означает именно то, что означает, потому что:

— Из утверждения «это вода» следует, что «это можно пить».

— Из фразы «это вода» следует, что «от этого ты промокнешь».

— Из утверждения «это вода» НЕ следует, что «это будет гореть».

— Из утверждения «лёд тает при 0 °C» следует, что «вода замерзает при 0 °C».

Это сеть умозаключений — паутина следствий. Понять слово — значит узнать его место в этой паутине.

Центральная метафора Брэндома: язык — это игра, в которой мы приводим доводы и просим о них. Когда я что-то утверждаю, я обязуюсь обосновать это утверждение, если оно будет оспорено. Я даю другим право использовать мое утверждение в своих рассуждениях. Если я попадаю в противоречие, я обязан отказаться от своих слов или пересмотреть их.

Это нормативная структура, в которой прописаны права, обязанности и санкции для всех участников. Понять предложение — значит понять его обязательства, права и несовместимые с ним вещи.

И вот тут-то и начинается самое интересное для наших целей.

Большая языковая модель как стохастический попугай в нормативном вакууме

С точки зрения Брэндома, большие языковые модели выдают утверждения, но:

— Она не обязана их оправдывать. Модель сгенерировала противоречие? Завтра она сгенерирует следующее, не моргнув глазом.

— За то, что она утверждает, ей не грозит никаких последствий. Модель вчера сказала вам, что Сидней — столица Австралии? Вы можете посмотреть, как это происходит.

— Его не существует в нормативном сообществе, где на кону действительно что-то стоит. Меня могут уволить за то, что я солгал в отчете; модель не уволят за галлюцинации, и если ее отключат, ей будет все равно. Для нее ничего не поставлено на карту.

Сторонники оптимистического подхода (Суцкевер, Хинтон) утверждают, что «понимание» возникает благодаря масштабной статистике. Если модель достаточно хорошо предсказывает следующий токен, значит, она построила внутреннюю модель мира.

Мне не нравится слово «возникает». Это академически респектабельный способ сказать: «Мы понятия не имеем, как это работает, но, судя по всему, работает». Более честный термин — «черный ящик». Я не хочу углубляться в эту дискуссию — не думаю, что ее можно разрешить с помощью аргументов, — но могу с уверенностью сказать, что в рамках одной модели, без доступа к нормативному сообществу, смысл возникнуть не может. Возникновение из статистики — это в лучшем случае гипотеза. Внешняя проверка — это математически доказуемая необходимость.

У магистра права нет внутреннего понятия "вода". Если это проверяется верификатором (другим искусственным интеллектом, экспертом-человеком, компилятором), который говорит "это правильно, это неправильно", постепенно складывается картина: "вода" - это то, на что верификатор кивает, когда я говорю "жидкая", "влажная" или "кипит при ста градусах", и хмурится, когда я говорю "горит" или "треугольной формы".

Модель не понимает слово, она понимает учителя. Ее «знание» — это отпечаток нормативной хватки верификатора, а не контакт с миром. Измените верификатора, и вы измените смысл.

Если завтра судья решит, что вода горит, модель послушно усвоит, что вода горит.

Что Это Значит

Самый честный вывод из второй части прост. Когда индустрия искусственного интеллекта спорит о том, «понимает ли модель», «обладает ли она сознанием» или «может ли она стать искусственным общим интеллектом», она топчется на тех же граблях, которые философия прошла шестьдесят лет назад. И дело не в том, что философы умнее (хотя иногда так и бывает), а в том, что у них было больше времени и меньше финансовых стимулов отвлекаться.

Главный философский урок для ИИ в XX веке: смысл не возникает внутри системы. Смысл возникает благодаря участию в нормативном сообществе. Йи и др. формализовали это для конкретного случая обучения генеративных моделей. Брандом сделал это для всего дискурса. Витгенштейн сделал это для самого языка.

Но вывод, который делает большинство людей: что ИИ обречен, что синтетические данные — это яд, что нам нужно возвести стены вокруг «человеческих» данных, — ошибочен. В третьей части я покажу, почему та же логика Витгенштейна указывает прямо противоположное направление.

Часть 3. В чем ошибаются скептики: происхождение не имеет значения

Различие между «текстом, созданным искусственным интеллектом» и «текстом, созданным человеком», не соответствует действительности. Дело не в том, что разницы нет, а в том, что она не имеет значения для главного вопроса: можно ли обучать модели следующего поколения на таких текстах? Если да, то у больших языковых моделей есть будущее. Если нет, то мы в тупике.

Стандартная картина выглядит так. Есть «чистый» корпус текстов, написанных людьми, — книги, статьи, форумы, созданные до 2022 года (золотого века интернета, хотя большинство контента на форумах в 2008 году тоже было бесполезным, просто набранным вручную). Есть «загрязненный» корпус текстов, созданных искусственным интеллектом, — все, что сгенерировали модели с момента запуска ChatGPT. Предполагается, что смешивание этих двух корпусов при обучении приводит к коллапсу модели.

Эта точка зрения лежит в основе всех современных нормативных предложений: водяных знаков, реестров достоверных данных, концепции «хранилищ людей». Я утверждаю, что это неправильно.

Возьмем конкретный пример. Я пишу с помощью ИИ. Для этой статьи мы с Клод обсуждали философию Витгенштейна; я выдвинул тезис, она возразила, и мы вместе пришли к формулировке. Этот текст частично ее, частично мой, и я уже не могу сказать, где заканчивается одно и начинается другое.

Тогда я скажу:

1. Прочтите и отредактируйте его.

2. Покажите его двум коллегам, которые укажут на ошибки, а затем внесите рекомендованные ими исправления.

3. Опубликуйте его в рецензируемом журнале, где другие исследователи будут изучать его в течение многих лет.

Что это за текст? «Созданный искусственным интеллектом» или «написанный человеком»?

Стандартная картина требует бинарного ответа: если ИИ коснулся контента, значит, он синтетический. Однако с точки зрения эпистемической функции этот текст прошел через процесс фильтрации, не менее строгий, чем тот, который вы найдете в Nature. Для целей обучения он ближе к проверенным знаниям, чем к «человеческому» шуму. Важен не источник, а путь проверки.

Поздний Витгенштейн дает такой же четкий ответ: значение определяется участием в практике, а не ее источником. Слово означает одно и то же, когда его выкрикивает попугай и когда его произносит профессор, если оба используют его правильно в рамках одной и той же языковой игры.

Истинная Причина Краха Моделей

Если взглянуть на проблему под таким углом, она предстанет в совершенно ином свете. Дело не в том, что «текст, сгенерированный искусственным интеллектом, искажает данные», а в том, что:

Скорость, с которой искусственный интеллект генерирует контент, превысила скорость, с которой существующие институты могут его фильтровать.

Скандал с участием кенийских модераторов контента — прекрасная иллюстрация того, как это работает сегодня. Когда компания OpenAI обучала свои фильтры безопасности, она передала эту работу на аутсорс компании Sama, заплатив кенийским работникам чуть больше доллара в час за чтение описаний насилия и жестокого обращения. Сегодня верификация не соответствует ни одному разумному техническому или этическому стандарту.

Контент, созданный искусственным интеллектом, плох не из-за того, что его сгенерировала машина. Он плох из-за того, что инженеры экономят на аннотировании, чтобы сохранить прибыль акционеров, а ленивые авторы не утруждают себя вычиткой того, что выдает модель. Это другая проблема, и она требует других решений.

Природа сталкивается с аналогичной проблемой и решает ее по-своему: организмы постоянно накапливают мутации в ДНК. Большинство из них вредны. Если бы эволюция действовала по принципу «устранять мутации до их появления», жизнь никогда бы не возникла. Эволюция работает, потому что отбор отсеивает плохие мутации быстрее, чем они накапливаются. Именно эту архитектуру стоит изучать.

Тексты, созданные искусственным интеллектом, — это новый тип «мутаций» в эпистемической системе знаний человечества. Сами по себе они не являются чем-то вредоносным. Они становятся таковыми только тогда, когда система фильтрации не справляется с их огромным количеством.

Правильный вопрос здесь не «как маркировать контент, созданный искусственным интеллектом», а «как масштабировать институты верификации?».

Я почти уверен, что со дня на день кто-нибудь объявит о создании сайта со скромным названием «Всё обо всём». Он будет включать в себя конвейер, который анализирует интересы нескольких тысяч сегментов аудитории, а затем генерирует новостные материалы, развернутые статьи и якобы авторские колонки с мнениями, дополненные реальными фотографиями агентств и изображениями, созданными искусственным интеллектом. Сайт будет подстраиваться под каждого отдельного читателя и публиковаться на 100–200 языках, на которых до сих пор читает человечество. Качество текстов будет далеко от идеала, но это временная проблема. Кроме того, можно ли считать совершенным все, что когда-либо создавало человечество?

А вот и самое интересное. Допустим, владелец нашего гипотетического сайта размещает кнопку «Нравится» и оценку времени чтения в конце каждой статьи — а почему бы и нет? Внезапно у него в руках оказывается именно тот фильтр, который описывают Йи и его соавторы. Сотни миллионов кликов в день на сотне языков — это механизм верификации с большей пропускной способностью, чем у любого существующего процесса экспертной оценки.

Что говорит Математика

Скорее всего, ни один магнат не создаст такой сайт, но существующие магнаты в сфере ИИ могли бы объединить усилия. Вместо того чтобы тратить миллиарды на попытки отделить «чистый человеческий контент» от «грязного контента, созданного ИИ», они могли бы инвестировать эти деньги в фильтры, способные отличать проверенный текст от непроверенного, независимо от его происхождения. Кстати, люди используют непроверенный контент в гораздо более гнусных целях и гораздо чаще, чем ИИ, из-за присущих ему ограничений. Термин фейковые новости все еще что-то значит, не так ли?

Где это уже работает (и о чем это говорит)

Самое забавное, что лучшие отраслевые практики уже основаны на логике Витгенштейна, но никто не формулирует ее в явном виде. Давайте называть вещи своими именами.

• Код. AlphaCode, Codex, GitHub Copilot, Claude Code. Модель генерирует код. Код запускается. Если это работает, отлично. Если нет, он получает обратную связь. Компилятор является проверяющим реальность. Не имеет значения, откуда взялся код (человек, искусственный интеллект или какой-либо гибрид). Все, что имеет значение, - это проходит ли код тесты. Вот почему искусственный интеллект развивается ошеломляющими темпами в этой области.

• Математика. AlphaProof, Lean, Coq. Модель предлагает доказательство. Формальный верификатор проверяет его. Оно проходит, это правда. Это не так, это неправильно. Происхождение не имеет значения; проверка - это все.

• Структуры белков. AlphaFold предсказывает структуру белка, а лаборатория проверяет ее экспериментальным путем.

• Шахматы и го. Самостоятельная игра AlphaZero — это тот случай, когда самосовершенствование не приводит к краху. Причина в встроенном верификаторе: правилах игры и факте победы или поражения. Поражение — это объективный сигнал, не зависящий от «базы знаний» любого верификатора.

Схема проста: там, где есть дешевый фильтр реальности, ИИ развивается без коллапсов и без необходимости в данных, размеченных человеком. Там, где его нет — в литературе, политике, — мы упираемся в ограничения, описанные Йи и его коллегами.

Исходя из этой логики, нынешние политические дебаты вокруг искусственного интеллекта выглядят довольно сомнительными:

• Запрещать использование искусственного интеллекта в Википедии бессмысленно. Главное — проверка фактов. Происхождение текста ничего не говорит о его качестве.

• Обязательная маркировка полезна для обеспечения прозрачности, но не для повышения качества. Текст, размеченный искусственным интеллектом, не становится автоматически хуже, а текст, размеченный человеком, не становится автоматически лучше.

• Изоляция в «человеческих хранилищах» — это мера предосторожности, а не решение проблемы. Создание фильтров, работающих в потоке контента, должно быть приоритетом по сравнению с сокрытием «золотого фонда».

Что на самом деле имеет смысл:

• ИИ оценивает экспертную оценку. Как ни парадоксально, ИИ фильтрует ИИ лучше, чем люди, быстрее распознавая характерные ошибки. Anthropic, OpenAI и DeepMind уже используют этот принцип на заключительном этапе проверки.

• Масштабирование обоснования реальности. Максимально широко распространить подход, основанный на коде и математике, на любую область, где есть объективный критерий проверки.

• Системы репутации. Вопрос, на который нужно ответить, звучит не так: «Можно ли доверять этой статье?», а так: «Можно ли доверять этому автору?»

• Отслеживание происхождения. Водяные знаки могут служить не фильтрами исключения, а инфраструктурой отслеживания, помогая людям учитывать характеристики текста, предоставляя информацию о его пути.

Самый Резкий Подтекст

Если довести эту мысль до логического завершения, можно сделать провокационное заявление: большая часть опасений по поводу загрязнения данных искусственным интеллектом — это вытесненная тревога по поводу нашей собственной лени.

Мы боимся, что не сможем фильтровать контент, созданный искусственным интеллектом, но мы не фильтруем должным образом и контент, созданный людьми. Алгоритмы рекомендаций в социальных сетях годами фокусировались на том, что вызывает эмоциональный отклик, — от сомнительных заявлений до политической пропаганды, — совершенно не заботясь о правде. Наши эпистемические институты уже находились в глубоком кризисе задолго до появления ChatGPT.

Не искусственный интеллект создал проблему фильтрации. Искусственный интеллект обнажил ее. Решение заключается в укреплении наших эпистемических институтов, но это дорого, утомительно и не привлекает внимания кликбейтными заголовками. Хуже того, есть риск, что нас обвинят в цензуре.

В отрасли предпочитают говорить о водяных знаках. Это политически безопасно. Кроме того, это бесполезно с эпистемологической точки зрения: технически тривиально заставить модель встраивать криптографическую подпись в свои выходные данные, но это ничего не говорит о качестве этих результатов.

Это настоящая Гонка

Развитие искусственного интеллекта сейчас зависит от ответа на один вопрос: могут ли организации, занимающиеся верификацией, успевать за темпами генерации? Прямо сейчас — нет. Соотношение проверенных знаний и синтетического шума стремительно падает.

Это гонка с двумя возможными исходами.

Согласно оптимистичному сценарию, нам удастся вовремя восстановить институты, а искусственный интеллект будет развиваться за счет гибридной фильтрации. Витгенштейн оказывается прав в самом изящном смысле этого слова: смысл возникает в рамках определенной формы жизни, и эта форма жизни оказывается достаточно гибкой, чтобы принять искусственный интеллект как участника, а не угрозу.

При пессимистичном сценарии институты не справляются. Веб-данные становятся непригодными для обучения. Передовые модели вынуждены опираться на закрытые, тщательно отобранные массивы данных и на связь с реальностью. Это не конец света, но радикальное замедление темпов развития, совсем не то, что индустрия обещает инвесторам.

Самая горькая ирония заключается в том, что в обоих сценариях ведущим лабораториям придется делать одно и то же: создавать инфраструктуру для верификации. Она понадобится им, чтобы продолжать двигаться вперед в одном случае и избежать краха — в другом. Разница лишь в том, что, на мой взгляд, эти организации являются основным двигателем прогресса в области искусственного интеллекта, в то время как в общепринятом представлении они — это раздражающая статья расходов, на которую лучше потратить деньги на графические процессоры.

Честный Контраргумент

Главный недостаток моей позиции заключается в следующем: верификация плохо масштабируется. Ни с точки зрения когнитивных способностей (тщательная верификация требует участия человека, а это долго), ни с экономической точки зрения (кенийские аннотаторы, получающие доллар в час, — это потолок для отрасли, и он не превзойден). Генерация данных дешевеет по экспоненциальной кривой. Если этот разрыв не сократится, мы придем к пессимистическому сценарию по чисто экономическим, а не философским причинам.

Я не знаю, как устранить этот разрыв. Я подозреваю, что отчасти ответ кроется в искусственном интеллекте (модель, проверяющая другую модель, работает быстрее, чем человек), отчасти — в привязке к реальности (компилятор бесплатен и никогда не устает), отчасти — в репутационных системах (доверие к автору снижает затраты на проверку его работы). Однако все это лишь гипотезы. Возможно, проблема принципиально неразрешима. Если так, то пессимисты правы.

Фальсифицируемое Предсказание

Если я прав, то в ближайшие два-три года произойдут три события.

Во-первых, такие компании, как Anthropic и OpenAI, перестанут держать у себя специалистов по оценке ИИ. Кто-то соберет команду для разработки технологии верификации как услуги, и это будет самый скучный и самый необходимый стартап десятилетия.

Во-вторых, поверх arXiv и подобных платформ будут формироваться репутационные слои. Это будет не бинарная система «прошла/не прошла рецензия», а градиент доверия с полной историей верификации.

В-третьих, ведущие лаборатории постепенно откажутся от массового парсинга интернета. Они перейдут на тщательно отобранные текстовые коллекции и домены, где результаты (код, эксперименты, математические выкладки) проверяются на соответствие действительности. В их технических отчетах фраза «обучено на данных интернет-масштаба» будет робко заменяться на «обучено на высококачественных отобранных данных».

С другой стороны, если индустрия потратит еще три года на обсуждение водяных знаков и реестров «чистых» данных, значит, я ошибался и проблема действительно в том, откуда берется текст, а не в том, как он фильтруется. Справедливо.

Что делать читателям в этой ситуации

Проверяйте свою работу. Недостаточно просто «признаться, что вы использовали ИИ» — это никого не спасет. Пропустите свой текст через проверку фактов, через коллегу, тест, эксперимент или что-то еще, что может вас удивить.

Нравится вам это или нет, но вы являетесь частью системы верификации. Качество вашей личной фильтрации сейчас важнее, чем когда-либо. Вы не одинокий автор, а небольшая организация, и вы принадлежите к той форме жизни, которая проверяет других.

Включая случайных попугаев.

Особенно стохастические попугаи.

Телеграм: t.me/ainewsline

Источник: silentroom.media

Комментарии: