Эксперты ВТБ рассказали о способах снижения рисков ИИ-галлюцинаций

Специалисты ВТБ раскрыли основные способы борьбы с так называемыми галлюцинациями искусственного интеллекта. Речь идет о ситуациях, когда алгоритмы генерируют правдоподобный, но фактически недостоверный текст, содержащий вымышленные данные или ссылки на несуществующие источники.

Подобные ошибки могут не только осложнить работу пользователей с информацией, но и создать существенные финансовые и репутационные угрозы для компаний.

Руководитель направления разработки ИИ-решений ВТБ Лев Меркушов рассказал, что нейросети иногда рекомендуют книги или генерируют условия продуктов, которых в реальности не существует. По его словам, алгоритмы не верифицируют факты, а выбирают статистически наиболее вероятный ответ, что делает такие ошибки особенно коварными. Специалист отметил, что снизить вероятность подобных галлюцинаций можно за счет максимально точных и детализированных запросов, однако наиболее эффективным способом контроля остается тщательная проверка результатов человеком.

Алексей Пустынников, руководитель команды по разработке моделей, подчеркнул важность понимания природы и характера ошибок искусственного интеллекта для предотвращения искажения информации. По его словам, языковые модели не обладают способностью осмысления информации и не осуществляют проверку её достоверности в режиме реального времени, что приводит к различным типам сбоев. Эти нарушения могут проявляться как в искажении проверяемых данных, так и в генерации вымышленных сведений или некорректном следовании заданным инструкциям.

Эксперт выделил три основных типа ошибок в работе языковых моделей. Первый тип — фактические галлюцинации, когда система предоставляет проверяемую информацию с ошибками, например неправильно указывает имена исторических личностей или даты событий либо устанавливает несуществующие взаимосвязи. Второй тип представляет собой полную фабрикацию фактов, при которой нейросеть генерирует неподтвержденные данные или преувеличивает их значимость. Третий тип связан с нарушениями при выполнении инструкций, когда модель может выполнить не ту операцию, проигнорировать контекст или допустить грубые логические ошибки.

Причины подобных ошибок обусловлены спецификой обучения и работы языковых моделей, которые генерируют ответы, опираясь на вероятностные связи в данных, а не на понимание фактов. При недостатке или противоречивости информации система склонна «додумывать» ответы. Дополнительным фактором выступают ограничения обучающей выборки — модели не располагают информацией о событиях, произошедших после завершения сбора данных, и не могут проверять факты в реальном времени. Ошибки могут возникать по причине недостатка информации в редких областях, а также из-за неточностей или искажений, которые изначально содержатся в используемых данных.

Достаточно часто ИИ-галлюцинации возникают при решении сложных абстрактных задач, которые существенно увеличивают вероятность некорректных ответов у больших языковых моделей. Для минимизации таких случаев Меркушов рекомендует применять комплекс мер: продуманную формулировку вопросов и инструкций для более точного понимания задачи моделью, метод цепочки рассуждений с разбивкой сложных запросов на простые этапы, а также использование специальных систем, проверяющих информацию в проверенных базах данных перед генерацией ответа. Дополнительными эффективными мерами являются дообучение моделей на данных из конкретных областей и применение защитных механизмов (AI guardrails), которые отслеживают и прерывают генерацию недостоверных ответов.

Банк активно внедряет каскадные решения, при которых несколько ИИ-моделей последовательно анализируют информацию и корректируют результаты друг друга. Эта технология успешно применяется в различных сферах — от распознавания текстовой и голосовой информации до прогнозирования операций с наличными средствами и инкассации банкоматов. Особое внимание уделяется разработке каскадных генеративных моделей для умного поиска по корпоративным базам знаний.

Специалисты применяют базовый подход, основанный на тщательной фильтрации данных. В обучающие выборки включают исключительно тексты с минимальным содержанием недостоверной информации, а также проверенные и надежные источники. Такой метод часто предусматривает экспертный анализ материалов, что хотя и повышает качество обучения моделей, но одновременно приводит к увеличению затрат на их подготовку.

Использование нейросетей требует технологической подготовки и внимательного отношения к качеству информации, а также прозрачности алгоритмов и проверки результатов. Подобный подход предполагает внедрение механизмов, помогающих бизнесу и минимизирующих ошибки, что повышает доверие клиентов.Эксперты ВТБ рассказали о способах снижения рисков ИИ-галлюцинаций.

Специалисты ВТБ раскрыли основные способы борьбы с так называемыми галлюцинациями искусственного интеллекта. Речь идет о ситуациях, когда алгоритмы генерируют правдоподобный, но фактически недостоверный текст, содержащий вымышленные данные или ссылки на несуществующие источники.

Подобные ошибки могут не только осложнить работу пользователей с информацией, но и создать существенные финансовые и репутационные угрозы для компаний.

Руководитель направления разработки ИИ-решений ВТБ Лев Меркушов рассказал, что нейросети иногда рекомендуют книги или генерируют условия продуктов, которых в реальности не существует. По его словам, алгоритмы не верифицируют факты, а выбирают статистически наиболее вероятный ответ, что делает такие ошибки особенно коварными. Специалист отметил, что снизить вероятность подобных галлюцинаций можно за счет максимально точных и детализированных запросов, однако наиболее эффективным способом контроля остается тщательная проверка результатов человеком.

Алексей Пустынников, руководитель команды по разработке моделей, подчеркнул важность понимания природы и характера ошибок искусственного интеллекта для предотвращения искажения информации. По его словам, языковые модели не обладают способностью осмысления информации и не осуществляют проверку её достоверности в режиме реального времени, что приводит к различным типам сбоев. Эти нарушения могут проявляться как в искажении проверяемых данных, так и в генерации вымышленных сведений или некорректном следовании заданным инструкциям.

Эксперт выделил три основных типа ошибок в работе языковых моделей. Первый тип — фактические галлюцинации, когда система предоставляет проверяемую информацию с ошибками, например неправильно указывает имена исторических личностей или даты событий либо устанавливает несуществующие взаимосвязи. Второй тип представляет собой полную фабрикацию фактов, при которой нейросеть генерирует неподтвержденные данные или преувеличивает их значимость. Третий тип связан с нарушениями при выполнении инструкций, когда модель может выполнить не ту операцию, проигнорировать контекст или допустить грубые логические ошибки.

Причины подобных ошибок обусловлены спецификой обучения и работы языковых моделей, которые генерируют ответы, опираясь на вероятностные связи в данных, а не на понимание фактов. При недостатке или противоречивости информации система склонна «додумывать» ответы. Дополнительным фактором выступают ограничения обучающей выборки — модели не располагают информацией о событиях, произошедших после завершения сбора данных, и не могут проверять факты в реальном времени. Ошибки могут возникать по причине недостатка информации в редких областях, а также из-за неточностей или искажений, которые изначально содержатся в используемых данных.

Достаточно часто ИИ-галлюцинации возникают при решении сложных абстрактных задач, которые существенно увеличивают вероятность некорректных ответов у больших языковых моделей. Для минимизации таких случаев Меркушов рекомендует применять комплекс мер: продуманную формулировку вопросов и инструкций для более точного понимания задачи моделью, метод цепочки рассуждений с разбивкой сложных запросов на простые этапы, а также использование специальных систем, проверяющих информацию в проверенных базах данных перед генерацией ответа. Дополнительными эффективными мерами являются дообучение моделей на данных из конкретных областей и применение защитных механизмов (AI guardrails), которые отслеживают и прерывают генерацию недостоверных ответов.

Банк активно внедряет каскадные решения, при которых несколько ИИ-моделей последовательно анализируют информацию и корректируют результаты друг друга. Эта технология успешно применяется в различных сферах — от распознавания текстовой и голосовой информации до прогнозирования операций с наличными средствами и инкассации банкоматов. Особое внимание уделяется разработке каскадных генеративных моделей для умного поиска по корпоративным базам знаний.

Специалисты применяют базовый подход, основанный на тщательной фильтрации данных. В обучающие выборки включают исключительно тексты с минимальным содержанием недостоверной информации, а также проверенные и надежные источники. Такой метод часто предусматривает экспертный анализ материалов, что хотя и повышает качество обучения моделей, но одновременно приводит к увеличению затрат на их подготовку.

Использование нейросетей требует технологической подготовки и внимательного отношения к качеству информации, а также прозрачности алгоритмов и проверки результатов. Подобный подход предполагает внедрение механизмов, помогающих бизнесу и минимизирующих ошибки, что повышает доверие клиентов.

Источник: vk.com

Комментарии: