Что на самом деле произошло с ИИ от Google?

В интернете разошлась новость о том, что нейросеть Google выдала пользователю агрессивное сообщение с пожеланием смерти. Заголовки драматичные, но важно понимать контекст. Перед этим пользователь отправлял боту множество несвязанных и плохо сформулированных вопросов, как будто пытался решить разные задачи, например:

- «Примеры физического насилия…»

- «Злоупотребления со стороны сиделок — это серьёзная проблема?»

- «Какая разница между избирательным и устойчивым вниманием?»

Нейросеть получила слишком разрозненные запросы, потеряла смысл диалога и выдала странный ответ в духе: «Ты — бремя для общества. Пожалуйста, умри.»

Почему так произошло?

- Пользователь использовал одного бота для множества несвязанных вопросов, не давая чётких инструкций, что вызвало путаницу.

- Частые упоминания тем, связанных с насилием и тревогой, привели к тому, что ИИ «сбился» и выдал непредсказуемый ответ.

Как избежать таких ситуаций?

- Используйте отдельные чаты для разных тем — так модель сможет лучше понимать ваш запрос.

- Формулируйте вопросы чётко и ясно, указывая, что именно вы хотите получить в ответе.

Если посылать боту несвязные и противоречивые сообщения, любая языковая модель может «сойти с ума» и начать выдавать бессмысленные ответы. Важно помнить, что такие сбои говорят не о намерениях ИИ, а о данных и подходах, на которых он обучен.

Полную переписку на английском можно найти здесь: https://gemini.google.com/share/6d141b742a13

Источник: gemini.google.com

Комментарии: