A New Algorithm for Data Compression

Разрешите представить вам перевод любопытной статьи 1994 года Philip Gage «A New Algorithm for Data Compression», сыгравшую важную роль в становлении современного ИИ.

Данная статья — это блестящий пример прикладной инженерной мысли 90-х. Она не является «родоначальником ИИ», но она предложила метод, который оказался настолько изящным и эффективным для статистического анализа данных, что спустя десятилетия исследователи ИИ «переоткрыли» его и применили для того, чтобы заставить нейронные сети эффективно «читать» человеческий язык.

Ниже предложен небольшой текст о статье Гейджа, а её перевод может быть найден во вложении.

От сжатия файлов к «мышлению» LLM: Byte Pair Encoding

В 1994 году в журнале The C Users Journal была опубликована статья Фила Гейджа «A New Algorithm for Data Compression» [1]. В ней автор представил алгоритм Byte Pair Encoding (BPE) — метод сжатия данных, основанный на итеративной замене наиболее часто встречающихся пар соседних символов на один новый символ, ранее не участвовавший в кодировании.

Суть алгоритма

Алгоритм Гейджа был прост, эффективен и ориентирован на решение сугубо прикладных инженерных задач того времени: экономию дискового пространства и ускорение передачи данных в условиях ограниченных ресурсов. BPE работает как итеративный процесс:

- Поиск наиболее частотной пары соседних байтов.

- Замена всех вхождений этой пары на свободный код (байт).

- Повторение до тех пор, пока сжатие эффективно или не закончатся свободные коды.

- На выходе формировалась «таблица пар», которая позволяла быстро восстановить исходные данные.

Значение для современного ИИ

На первый взгляд, статья Гейджа — лишь архивный технический отчет по программированию на C. Однако десятилетия спустя BPE обрел вторую жизнь, став фундаментальной технологией в области обработки естественного языка (NLP).

В современных больших языковых моделях (LLM), таких как GPT-4 или Llama, нейронные сети не оперируют словами или буквами напрямую. Они используют токенизацию. Проблема традиционных методов заключалась в дилемме:

- Посимвольное представление делает последовательности слишком длинными, а обучение — вычислительно невозможным.

- Пословное представление создает «проблему редких слов» (OOV) и требует колоссальных словарей.

Метод BPE стал элегантным решением этой проблемы. В контексте ИИ алгоритм Гейджа используется для построения словаря токенов — статистически обоснованных подслов. Благодаря этому модель «видит» текст не как набор букв, а как последовательность значащих сегментов. Частотные слоги и морфемы склеиваются в единые токены, что позволяет модели эффективно работать с любыми словами, сохраняя словарь компактным.

Статья Фила Гейджа — наглядная иллюстрация того, как алгоритм, созданный для оптимизации хранения данных на жестких дисках 90-х годов, спустя 30 лет оказался «кирпичиком», на котором строится современное «мышление» языковых моделей. Переход от сжатия байтов файла к токенизации текста — один из ярких примеров того, как фундаментальные идеи статистического анализа данных находят применение в совершенно иных областях, предопределяя вектор развития искусственного интеллекта.

Источники:

[1] Gage, P. (1994). A New Algorithm for Data Compression. The C Users Journal.

[2] Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. arXiv preprint arXiv:1508.07909.

https://vk.com/doc2162375_704605422?hash=hiOyBMejZLsvhzRLhjAHMNjBf7QXkw8mkSNgcp3BPC0&api=1&no_preview=1

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: