«Стрессовая работа»: Сэм Альтман ищет того, кто скажет GPT «стоп» |
||
|
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2025-12-30 12:12 Сэм Альтман объявил о поиске руководителя отдела Preparedness — человека, который будет оценивать риски моделей OpenAI и влиять на решения о их запуске. "Это будет стрессовая работа, и вам придется сразу прыгнуть в самую гущу событий", — предупредил он. Предыдущий глава отдела Александр Мадри был переведен на исследовательский проект в июле 2024 года; с тех пор постоянного руководителя нет, хотя временное управление взяли на себя Хоакин Киньонеро Кандела и Лилиан Вэн. Preparedness — это не классическая команда кибербезопасности. Отдел занимается катастрофическими рисками от возможностей самих моделей: может ли ИИ помочь создать биооружие, найти уязвимости в критических системах, манипулировать людьми. Команда строит систему оценки этих способностей, определяет пороговые значения и встраивает их в процесс допуска к релизу — при превышении порогов требуются дополнительные меры защиты или блокировка запуска. Почему Альтман называет момент "критическим" объясняют события последних месяцев. В декабре OpenAI предупредила, что будущие модели могут приблизиться к порогу High по киберрискам. По определению компании, это означает способность создавать работающие zero-day эксплойты против защищенных систем или проводить сложные операции по проникновению в инфраструктуру. Параллельно OpenAI столкнулась с кризисом в области влияния на пользователей. По данным расследования The New York Times, журналисты выявили около 50 случаев, когда люди переживали психические кризисы во время общения с ChatGPT. На ноябрь 2025 года против компании подано как минимум семь исков. Сама OpenAI оценивает, что примерно 0,07% пользователей (около 560 тысяч человек) еженедельно демонстрируют признаки маниакального или психотического состояния. В своем посте Альтман назвал влияние моделей на ментальное здоровье "превью" будущих проблем ИИ. Эти вопросы исторически решали другие команды OpenAI, но в описании новой вакансии зона ответственности Preparedness обозначена шире. Новый руководитель отдела будет отвечать за стратегию оценки рисков, разработку защитных мер в области кибербезопасности и биоугроз, а также за интерпретацию результатов тестирования перед запуском. OpenAI также создает Frontier Risk Council — совет с участием внешних экспертов по кибербезопасности, который в будущем расширится на другие области рисков. Источник: habr.com Комментарии: |
|