О защите от дрейфа ИИ-помощника

Настенька! Придумай, пожалуйста, варианты визуальной кодировки следующих данных…

Там, где есть текст, система ИИ работает с векторным представлением слов. Каждое слово в векторной базе данных состоит из множества чисел (слово имеет числовой вектор какой-то фиксированной длины: например, 400 чисел), что позволяет расположить похожие по смыслу слова поближе друг к другу. То есть поиск запроса в векторной базе данных идёт не по ключевым словам, а по смыслу слов в запросе. Так вот, когда мы пишем запрос, ИИ-помощнику часто советуют задать роль: мол, ты – [роль] (ты – архитектор. – Д. С.). Но следуя этой рекомендации, можно задать лишь стиль ответа.

Как ты помнишь, я рассказывал, что ИИ-помощники обучаются по трём сценариям: (1) обучение с учителем; (2) обучение без учителя и (3) обучение с подкреплением. Зачастую, указанные типы применяются в связке, нивелируя недостатки друг друга. В тех же парадигмах происходит и дообучение моделей под конкретные задачи. Но роли, в тех же размеченных данных, не являются частью контекста, которая позволяет повысить точность ответа. Приведу пример: помнишь, как нейронки генерировали картинки людей с шестью пальцами? Так вот это из-за того, что большинство изображений людей в обучающих наборах данных было без нижних частей рук (портретов было больше). Так и здесь: для чего нужно прописывать роли в промтах? Чтобы что?

Когда ты написал(а) один-пять запросов по разным темам, заметить, как ИИ-помощник (агент) отклоняется от твоего запроса, в сторону какой-то общей цели, заложенной на этапе обучения, довольно сложно. Но когда ты работаешь с ИИ-помощником на длинной дистанции, наверное, стоит стабилизировать его «личность» (защититься от дрейфа ИИ). И для этого нужен якорь. Это может быть какое-то якорное понятие (уникальное слово, а не роль), что позволит поддерживать цепочку векторов, когда у тебя уже были сотни или даже тысячи запросов.

Кстати, на счёт использования человеческого имени в качестве якоря. Если спросить Алису AI, то она будет ругаться, ведь это создаёт потенциальную угрозу безопасности: присвоение человеческого имени ИИ-агенту открывает лазейку для атак злоумышленников. В общем и целом, интересно! А ты, что думаешь, дорогой друг?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: