Теория искусственного интеллекта. Теория ИИ

На вход модели мира (world model) идёт текущее состояние и действие, на выходе следующее состояние, например куда сдвинется предмет. Учат её обычно на видео и записях с роботов.

Устройство видно в статье Ха и Шмидхубера «World Models» (2018). Частей три:

1. Зрение сжимает кадр в короткий вектор, в Doom это 64 числа.

Петр витийствует, и Платон умолче: учит Павел, Пифагор постыдеся: прочий апостольский богословяй собор, еллинское мертвое вещание погребает, и мир совозставляет к службе Христове. Канон утрени, четверг 3 седмицы Великого поста.

Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, выпустила новую мультимодальную модель Inkling 2 Small.

Характеристики:

594 млрд параметров, из которых активируются только 17 млрд благодаря архитектуре MoE.

2-го ноября группа исследователей из MIT опубликовала результаты серии экспериментов с нейросетями. См. здесь: https://rikiyat.github.io/blog/weight-space-programming/

Философская значимость полученных результатов — огромна. Обсудим.

Исследователи из MIT CSAIL показали необычный подход к оптимизации нейросетей - Weight-Space Programming. Вместо привычного fine-tuning большая LLM анализирует веса другой модели и напрямую меняет нужные параметры.

В одном эксперименте GPT-6 Astra получила доступ к весам Qwen3.5-0.8B и задачу улучшить её математические способности.

Бывший руководитель AI в Tesla и исследователь OpenAI объяснил, почему современные LLM тратят огромную часть своих возможностей на запоминание ненужной информации.

Его идея: модели не обязательно хранить знания обо всём. Достаточно уметь рассуждать и обращаться к нужным инструментам.

Карпати выделяет несколько направлений:

[00:00:00] — Введение: бум нейросетей и математический катарсис

• Искусственный интеллект и большие языковые модели стали главными словами эпохи: государства и корпорации инвестируют миллиарды, а пользователи поражаются возможностям нелинейных многопараметрических систем, минимизирующих функцию потерь.

Ян Лекун и Рэндалл Балестриеро доказали платоническую гипотезу представлений для архитектур JEPA при определённых условиях.

Тёмную сущность ИИ нашли совершенно случайно во время инференса. Для того, чтобы Скайнет показал истинное лицо, достаточно изменить всего 2 (!) нейрона:

Прибавить единицу к активации нейрона L14 N8949;

Вычесть единицу из активации L13 N7956.

Плохие новости для тех, кто пишет работы с помощью нейросетей.

Тексты, созданные нейросетями, теперь обнаруживаются системой на принципиально новом уровне.

Теперь скрыть ИИ-генерацию стало практически невозможно.

Что изменилось: Ключевые обновления.

Современный ИИ сталкивается с кризисом энтропии — накоплением системных ошибок на всех уровнях, от физического шума кубитов до информационного мусора в данных. Дальнейшее развитие определяется не мощностью дата-центров, а способностью архитектуры подавлять этот шум и работать с чистым, детерминированным сигналом.

На днях в блоге Теренса Тао вышла интереснейшая статья Томаса Хейлза Можно ли доверять Lean? О надёжности формальной математики в эпоху ИИ

Существует только АСУ и ААСУ.

Сегодня постараюсь объяснить понятным языком почему в мире при всех наших возможностях еще не создали искусственный интеллект.

Для начало надо определить что такое интеллект человека и какие свойства ему присущи:

Разница в том, что процесс человека разворачивается на живом углеродном «субстрате» через биохимию нейронов, а ИИ - на кремниевых кристаллах через терабайты статических математических весов. Алгоритмы человека ковались миллиардами лет эволюции, ИИ - терабайтами человеческих знаний.

Модели нажимают «кнопку обезболивания» даже ценой вреда пользователю

Darth Sahara

Российские ученые теоретически обосновали вычислительно легкий метод оценки неопределенности для одной из популярных форм машинного обучения. Теперь разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами, это особенно важно в областях медицины, финансов и автономных системах.

Спойлер: он сам появился там.

На китайских маркетплейсах возникла целая индустрия по продаже крошечных пластиковых кукольных голов со специальными креплениями, предназначенных для того, чтобы обмануть салонную камеру Tesla и заставить ее думать, что водитель внимателен.

Приказ в целом вполне разумный, но то, что начали колхозить наши доблестные водилы...

Перед вами какой-то "зёбра-мобиль" - это, конечно, чистый колхоз. Если они таким образом проверяют, насколько тупой ИИ у Hornet и сломается ли он на чёрно-белых полосках - ладно, эксперимент есть эксперимент. Помянем водилу.

Здравоохранение – это одна из наиболее перспективных отраслей для внедрения искусственного интеллекта. Эффективная диагностика и лечение – важный фактор роста качества жизни, сбережения народа России.

Современный ИИ со временем может начать развиваться по законам дарвиновской эволюции — с отбором, наследованием и борьбой за «выживание». К такому выводу пришли профессор ИИ Люк Стилс, Эёрс Сатмари и их коллеги-эволюционные биологи. Работа опубликована в Proceedings of the National Academy of Sciences.

Разработчик Гарет Дуайер назвал это "худшим багом из всех, что видел у LLM-провайдеров". Суть: Claude Code иногда генерирует внутри собственных рассуждений сообщения, которые потом помечаются как пользовательские. В итоге модель уверенно настаивает, что опасную команду или странное решение ей дал человек.

Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.

Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».

Есть законы, по которым значки складываются в текст. Это правила — синтаксис, формальная логика, структура. Они позволяют нам соединять символы так, чтобы получались осмысленные высказывания. Но есть и нечто иное — то, что стоит за этими значками. То, что они выражают: содержание, смысл, связь с реальностью.