Как мы создавали HTML-лекцию по линейной алгебре с помощью ИИ и перепроверяли ее

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



В настоящее время многие пробуют использовать ИИ в своей работе, так как он позволяет автоматизировать значительное количество действий. Однако на текущем этапе развития эта технология все еще содержит много подводных камней.

Весьма привлекательным кажется то, что можно работать лишь с содержательной частью, а рутину поручить роботу. Но каждый раз возникает проблема контроля за ним. Которую пытались решить как могли. Ценные уроки отсюда могут быть использованы читателем для создания собственных HTML-лекций: если передать текст этой статьи в ИИ, то он работает гораздо качественнее при решении такой задачи, хотя далеко не идеально.

Материалы к статье: прежняя HTML-лекция https://drive.google.com/file/d/1BvvYZuKPM_s30VimDcQQkCKlLR7AWySE/view , новая «Линейный оператор и его матрица — с нуля» https://drive.google.com/file/d/1Iw8y3fWOyRbJMikhlsgShXfg7CjKPC3B/view?usp=sharing и архив нового запуска Gauntlet Loop https://drive.google.com/file/d/1Bu_6IO9IZ2iXqLV6uh-rDHfGAtcgD52y/view?usp=sharing. В архиве — три версии HTML, бриф, учебный маршрут, замечания проверяющих, скрипты проверок и снимки экрана; метапромпт и готовые задания приведены ниже. Для просмотра HTML скачайте файл и откройте его в браузере.

Опыт создания лекции по линейной алгебре.

Для создания HTML-лекций с помощью ИИ проделывалась огромная предварительная работа. На первом этапе были ИИ-черновики, которые были созданы из материалов учебников по заранее написанным планам. Затем был черновик курса лекций, написанный человеком в текстовом формате. После было преподавание первых 4 лекций, семинары, обратная связь от студентов, и накапливание контекста.

Затем весь набранный контекст отдали передовой модели ИИ (GPT-6 Astra на усилии Ultra) и сделали черновые варианты презентаций. Первые 2 варианта забракованы и к ним написаны были комментарии, после которых ИИ переделывал. Наконец третий вариант отправили лектору вместе со всем контекстом.

Лектор использовал известный подход Gauntlet Loop, который позволяет с одного промпта написать, например, целую компьютерную игру. Суть этого подхода в том, что ИИ создает рой агентов (критиков и исполнителей), которые делят между собой контекст и полируют материал до достижения высокого уровня качества за множество проходов. На это тратится много токенов, но считается, что оно того стоит.

ИИ работал больше 5 часов над созданием презентации на основе этого промпта и выдал прекрасную HTML-лекцию .

В таком виде и преподавали, и даже не заметили ошибок.

Первая реакция была очень восторженная на результат. Весьма впечатлило и преподавателей, и студентов, никто даже не заметил ошибок на слайдах. Но потом оказалось, что всё не так гладко. Даже самый лучший современный ИИ (доступный по подпискам) совершает очень много довольно глупых ошибок с точки зрения человека.

Галлюцинации до конца не устраняются самим ИИ без помощи человека

Часто можно слышать о том, что галлюцинации ИИ — вопрос решенный. Будто бы достаточно контроля ИИ за самим собой (например, разными агентами с разным контекстом), и галлюцинации полностью вычищаются. Но оказалось даже на таком простом примере, как создание презентации для лекции — это совсем не так. И можно потратить огромное количество проходов на самой лучшей модели, и токенов, провести огромное число тестов, и всё равно это не может работать идеально без прямого участия и контроля человеком.

Чтобы понять, как лучше контролировать ошибки ИИ, мы решили подробно проанализировать ошибки в уже сделанной презентации. Оказалось, этих ошибок там очень много, хотя они едва заметны. Ограничусь разбором трех тем: смена базиса, порядка композиции и односторонней обратимости. В них везде есть ошибки, и их анализ помогает сформулировать требования к учебной демонстрации.

На прикрепленных картинках к посту разобраны эти три темы. Но далее возникает следующий вопрос.

От метапромпта к заданию для прежней лекции

В прежней работе задание готовили в два шага: универсальный метапромпт помогал выбрать эталон и распределить роли, затем из него получился запрос для пятой лекции. Ниже — оба текста и способ адаптировать шаблон к своей задаче.

Два следующих промпта приведены в исходном виде. Требования превзойти эталон и повторять цикл до победы выражают цель задания. Они не подтверждают преимущества метода или использованных инструментов: результаты проверок разобраны отдельно.

Чтобы воспользоваться им:

Замените [GOAL] конкретным результатом. В прежнем запуске это была пятая лекция о линейных операторах с интерактивными примерами, рассчитанная на занятие с работой у доски.

В [OPTIONAL REFERENCES] перечислите доступные материалы и критерии качества. У нас это были конспект и HTML третьей лекции. Сами файлы нужно приложить или предоставить агенту доступ к ним: одного упоминания недостаточно.

Отправьте заполненный метапромпт ИИ. Прочитайте получившееся задание, уточните математические проверки и условие остановки. Затем передайте это задание вместе с материалами агенту, который будет собирать результат.

___________________________________________________________________

___________________________________________________________________

___________________________________________________________________

I want to run a Gauntlet Loop for this goal:

[GOAL]

Possible references or quality bars:

[OPTIONAL REFERENCES]

Choose the strongest concrete bar that an agent can actually inspect and compare its work against. If I have not supplied one, propose a useful comp or measurement that plays the same role for this task that real Call of Duty screenshots played for Matt Shumer's Claude of Duty game (read the prompt: https://github.com/mshumer/Claude-of-Duty/blob/main/prompt.md). Explain the bar in one sentence.

Then write a short prompt for Claude Code or Codex in the style of Matt's prompt (minimal is better here, we want the agent to decide the specifics!).

Give the lead agent the goal and the bar, but let it choose the approach. Tell it to divide the goal into the smallest pieces that can be improved and judged independently. For each important piece, it should fan out a builder and a separate critic with fresh context.

Each critic must inspect the real output, compare it directly with the bar—using a blind A/B comparison when possible—identify the biggest remaining gap, and send it back for another round. Keep looping until our output wins or I stop the run.

Have the lead agent maintain a simple live progress page that shows the work evolving over time.

Have it use subagents and ultracode. Do not prescribe the architecture, exact decomposition, or a fixed number of rounds. Keep the final prompt short, just like Matt's.

________________________________________________________________________________________________________________________________________________________________________________________________________________________

Названия subagents и ultracode оставлены из исходного шаблона; эту строку нужно согласовать с возможностями выбранной среды. Перед повторением задайте перечень обязательных проверок, критерий приёмки и предел времени или расходов.

Для прежней лекции общее условие можно конкретизировать так: «При смене базиса восстанови исходный вектор и его образ из новых координат; для композиции проверь оба порядка на одном векторе; для отображения 2 ? 3 проверь обе композиции с предполагаемым обратным».

Готовый запрос для пятой лекции

Этот запрос передали агенту для сборки пятой лекции. При повторении путь к рабочей папке в первой строке нужно заменить своим.

"Сделай готовую пятую лекцию в /Users/ioseledets/teaching/algebra-1, чтобы толковые ребята прочувствовали линейные операторы, выбор базиса, матричные представления и связь композиции с умножением матриц. Рассмотри размерности 1, 2, 3 и отображения 2?3. Геометрическая история: одно правило преобразует каждую точку, поэтому преобразуется круг, квадрат или другое множество; нужны работающие динамические демки с ползунками. Рассчитывай на 95 минут с вопросами и существенной работой преподавателя у доски.

Эталон — реальные HTML-слайды третьей лекции про определитель 3?3 и её анимация. Пятая должна превзойти их по понятности и наглядности, сохранив математическую строгость конспекта.

Сам выбери подход. Раздели цель на мельчайшие части, которые можно независимо улучшать и оценивать. Для каждой важной части запусти отдельного builder и независимого critic со свежим контекстом. Критик обязан открыть реальный результат, посмотреть отрисованные слайды, поработать с демками и напрямую сравнить с эталоном, по возможности через слепое A/B. Проверяй также, сможет ли читатель объяснить действие и предсказать результат нового примера. Возвращай builder самый большой оставшийся пробел и повторяй цикл."

Создание новой лекции.

С учетом вышеописанного, усовершенствованный процесс создания лекции решили повторить. В этот раз идея была в том, чтобы сделать лекцию не для студентов, а для всех желающих, кто хочет понять, что такое линейный оператор и его матрица.

Работу организовали как цикл «сборка ? проверка результата ? исправление ? повторная проверка» — Gauntlet Loop. Исполнитель собирал HTML, отдельные проверяющие разбирали математику и последовательность объяснения, а координатор проверял управление и отображение в браузере.

Ниже покажу весь путь: постановку задачи, учебный маршрут, первую сборку, найденные ошибки и повторные проверки. Сохранились три HTML-версии и два цикла обратной связи; версии, замечания и результаты проверок собраны в архиве материалов нового запуска. По ним можно проследить, что изменилось после замечаний и какие новые дефекты обнаружились при проверке исправлений. Для повторения процесса приведу сводный промпт и условия приёмки.

Например, в первой версии новой HTML-лекции произведение 0,5 ? 0,25 вычислялось правильно, но на экране появлялось 0,13 вместо 0,125. В другом месте ученику предлагалось предсказать результат, на который уже показывала стрелка. Такие ошибки легко пропустить, если оценивать только формулы или общее впечатление от слайдов.

Новая лекция от школьных векторов к матрицам

Здесь пришлось начать раньше, чем в пятой лекции: восстановить смысл координат, сложения и умножения вектора на число, объяснить слово «образ». Затем вывести действие линейного оператора по образам двух единичных векторов и только после этого собрать матрицу из столбцов.

Процесс создания учебного материала

Новый запуск начался с брифа и отдельных заданий автору учебного маршрута, исполнителю и проверяющим (ИИ-агентам). Ниже — сводный промпт для повторения процесса: он объединяет исходные требования и найденные впоследствии исправления.

___________________________________________________________________

___________________________________________________________________

___________________________________________________________________

"Создай автономную интерактивную HTML-лекцию на русском «Линейный оператор и его матрица — с нуля». Аудитория знает школьные векторы. Ориентир — 28–34 слайда и план занятия на 60–90 минут с вопросами. Это план, а не измеренная длительность.

После основного маршрута читатель должен уметь проверить два требования линейности на простом примере, объяснить действие по образам двух единичных векторов, собрать из них матрицу столбцами и найти образ нового вектора. Он должен отличать проверку на примерах от доказательства и понимать, почему проекция и нулевой оператор остаются линейными.

Вводи понятия до использования. Сначала восстанови координаты, сложение, отрицательные и дробные множители, разложение по двум единичным векторам и запись вектора столбцом. Затем объясни преобразование и образ, сформулируй оба свойства линейности со словами «для любых» и выведи A(xe? + ye?) = xA(e?) + yA(e?), пояснив основание каждого перехода. Матрицу вводи как запись двух образов; умножение на вектор выведи из комбинации столбцов. Включи перенос, нелинейный пример, проекцию, нулевой оператор и задания на новых числах. Не перегружай основной маршрут определителем, рангом, ядром, обратимостью, композицией и сменой базиса. Короткое дополнение о базисе допустимо после основной цели.

Организуй Gauntlet Loop. Автор учебного маршрута готовит последовательность и задания. Отдельный математический проверяющий заранее составляет эталоны и контрпримеры. Исполнитель собирает HTML. Педагогический критик проверяет готовый материал с позиции заявленной аудитории: достаточно ли введённых понятий, есть ли основания у переходов и можно ли самостоятельно решить новый пример. Критики должны проверять фактические версии, а не пересказ исполнителя.

Оформи лекцию на белом фоне с крупным текстом и координатными SVG-рисунками рядом с вычислениями. Все стили, рисунки и код включи в один файл, без внешних библиотек, шрифтов и сетевых запросов. Предусмотри изменение параметров, численные результаты, сброс и минимум два проверяемых состояния каждого демо. Цвет дополняй подписями. Масштабы осей должны совпадать, подписи — оставаться читаемыми при допустимых значениях.

Сначала предлагай предсказать результат, затем раскрывать решение. До раскрытия ответ не должен появляться в рисунке, подписях, числах или доступном текстовом описании. Сделай пошаговые выводы, переходы вперёд/назад, выбор слайда, клавиатурную навигацию, режим всех слайдов, заметки преподавателю и стили для печати. Стрелки клавиатуры внутри поля ввода не должны переключать слайды. Переход между слайдами не должен неожиданно сбрасывать выбранные значения.

Координатор открывает реальный HTML в браузере, проверяет управление, сброс, раскрытия, шаги и крайние состояния, сохраняет настоящие снимки для критиков. Отдельно проверяй вычисления по независимым эталонам. Различай проверку JavaScript вне браузера, визуальный осмотр и реальные действия в интерфейсе.

Сохраняй бриф, учебный маршрут, эталоны, каждую HTML-версию, замечания, ответы исполнителя, результаты проверок и снимки. Для существенного замечания указывай версию, воспроизводимый пример, требуемое изменение и результат повторной проверки. После исправления проверяй также связанные состояния: скрытие ответа, например, не должно скрыть условие или сделать пояснение пустым.

Завершай, когда закрыты найденные существенные ошибки в математике и необходимых предпосылках, основные демо согласованы с эталонами, а управление и читаемость проверены в браузере. Если что-то осталось непроверенным или неисправленным, перечисли это в итоговом отчёте. Не объявляй победу над эталоном, улучшение усвоения или экономию времени без соответствующих измерений. Не выдумывай итерации и результаты обучения."

___________________________________________________________________

___________________________________________________________________

___________________________________________________________________

В новом запуске сохранённые изображения предыдущей лекции служили ориентиром оформления. Критерии содержания задавались новой аудиторией и задачами, которые она должна суметь решить. Отдельного слепого сравнения двух лекций не проводили.

Что получилось и что подтверждают проверки

Финальная лекция содержит 30 основных слайдов и 2 необязательных о выборе базиса, 14 геометрических демонстраций с изменяемыми параметрами и 2 пошаговых вывода.

Первый вывод связывает линейность с действием по двум образам, второй — эту формулу с умножением матрицы на вектор.

Итоговый автоматический прогон дал 383 успешные проверки вычислений, состояний рендереров и текстовых условий.

Во время браузерной проверки в Edge переключили по две предустановки каждого из 14 демо — 28 состояний. Проверяли сбросы, шаги обоих выводов, раскрытия, режим всех слайдов, заметки, сохранение введённых значений при переходах и клавиатуру внутри числового поля. В просмотренных состояниях ошибок JavaScript в журнале браузера обнаружено не было.


Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: