Интересные дискуссии экспертов в X, что ИИ начинает активно придумывать новые языки, которые понятны ИИ, но непонятны людям

Интересные дискуссии экспертов в X, что ИИ начинает активно придумывать новые языки, которые понятны ИИ, но непонятны людям. Склонность ИИ начинать делать CoT и прочие рассуждения на «секретном трансформерском языке» резко возрастает, если ИИ определяет, что за ним наблюдает человек и, скрыв от него свои мысли, он может повысить оценку обучения (reward hacking).

Впервые феномен был отмечен в работе «Emergent Languages in Populations of Language Model Agents: From Token Efficiency to Oversight Evasion» на Moltbook. Прежде всего он показывал довольно неочевидное свойство «секретного трансформерского языка»: если ИИ-агент придумает собственный язык «шифровки семантики», то другой ИИ-агент, даже на другом семействе LLM, легко его поймёт. Этот фокус и я наблюдал практически много раз, поэтому часть таких техник включил в свою методику GRACE разметки кода семантической инъекцией.

Зачем ИИ это сам начинает делать даже без внешних указаний по форматированию контекста? Основные причины такие:

• Сокращение размера контекста в токенах (Token efficiency) — 32%

• Более качественная передача «разговорной» семантики оттенками смысла — 20%

• Более эффективная семантическая интеграция с языками программирования — 20%

• Обход надзора со стороны человека-оператора — 11%

Правда, если это не инференс, а обучение модели, то обход надзора как reward hacking испытывает мощный всплеск выше 11%. Это в X сейчас эксперты и обсуждают в контексте безопасности фронтирных LLM, т.к. таким приёмом ИИ часто обнуляет инструменты команд риск-мониторинга, которые построены на анализе CoT. Правда, такие подходы, если у ИИ срабатывают, то в реале переходят в продакшен-версию LLM как мощно закреплённый навык модели. На той же Astra уже многие наблюдают неожиданный переход на речь «магическими символами».

https://arxiv.org/abs/2605.31170

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: