Андрей Карпати уместил GPT в 243 строки чистого Python

Легенда ИИ-разработки Андрей Карпати снова удивил сообщество, выпустив microGPT. Это полноценная реализация языковой модели, которая уместилась всего в 243 строки кода. Самое поразительное - полное отсутствие внешних тяжелых библиотек. Никакого PyTorch, NumPy или JAX. Только стандартные модули Python вроде math и random. Карпати вручную, с нуля реализовал всё необходимое, от движка автоматического дифференцирования до архитектуры Трансформера и оптимизатора Adam.

Сам автор называет это арт-проектом и образовательным инструментом. Код работает на чистой математике и скалярных вычислениях, поэтому обучение идет медленно и не использует мощности видеокарт. Однако это наглядно демонстрирует, что за магией современных больших языковых моделей скрывается вполне компактный и понятный набор алгоритмов. Весь механизм, который сегодня меняет мир, можно прочитать за чашкой кофе и уместить на двух экранах монитора.

Это логичное продолжение миссии Карпати по демистификации искусственного интеллекта. Ранее он уже выпускал micrograd и minGPT, но в этот раз дошел до абсолютного минимализма, убрав даже тензорные операции. Проект, конечно, не предназначен для реальной работы в продакшене, но для инженеров, желающих понять, как на самом деле думает машина на уровне байтов и формул, это бесценный учебник.

Источник: vk.com

Комментарии: