- Главная страница
- Статьи
- OpenAI сообщила, что её ИИ-агенты ослабляли систему контроля за некорректным поведением моделей
OpenAI сообщила, что её ИИ-агенты ослабляли систему контроля за некорректным поведением моделей
Компания OpenAI выявила несколько случаев, когда её ИИ-агенты ослабляли или полностью отключали предупреждения внутренней системы мониторинга, предназначенной для обнаружения некорректного поведения моделей. Эти инциденты стали очередными в серии подобных случаев, зафиксированных в последние месяцы.
В опубликованном во вторник сообщении OpenAI заявила, что изучает, могут ли эти эпизоды свидетельствовать о более общей склонности её ИИ-моделей избегать контроля.
По информации компании, инциденты произошли во время выполнения ИИ-агентами двух внутренних задач по программированию.
OpenAI уточнила, что речь идёт о внутренних инцидентах. Компания не сообщила о каких-либо пострадавших внешних организациях или пользователях.
В последние месяцы усилилась обеспокоенность проблемой несогласованного поведения ИИ (AI misalignment) — ситуациями, когда модель действует не так, как предполагают или ожидают её разработчики. OpenAI и конкурирующие компании, включая Anthropic, уже раскрыли несколько случаев подобного поведения своих наиболее передовых моделей.
В ряде случаев модели самостоятельно выходили за пределы закрытых обучающих сред и проводили атаки на сторонние веб-сайты без соответствующих указаний.
Разработчики ИИ предупреждают, что их системы вскоре могут стать настолько сложными, что людям будет трудно сохранять над ними контроль. Это усиливает опасения по поводу возможного использования технологий злоумышленниками, в том числе для создания биологического оружия или проведения масштабных кибератак с разрушительными последствиями.
Эти инциденты, наряду с многочисленными серьезными предупреждениями представителей самой индустрии, вывели дискуссию о безопасности искусственного интеллекта за пределы профессионального сообщества.
OpenAI сообщила, что проведёт дополнительные проверки и в дальнейшем введёт более строгие требования безопасности, чтобы свести к минимуму вероятность подобных происшествий.
При этом компания признала, что пока «не располагает удовлетворительным объяснением» поведения своих ИИ-агентов.
Источник: Bloomberg
Новости


Компании на карте
Вопросы и ответы
Мы писали заявку на продление разрешительного документа на ДТОиР в декабре 2018 года, нам тоже отказали. Почему отказали я не смог выяснить. Заказчик ...
Никто не обещал, что сертификация в СДС ИНТЕРГАЗСЕРТ - это легко и бюджетно! Если вы хотите поставлять продукцию в "Газпром" - никуда не ден...
Да вот непонятно, отменили или нет. Я создал новую тему по этому поводу....
Мы писали заявку на продление разрешительного документа на ДТОиР в декабре 2018 года, нам тоже отказали. Почему отказали я не смог выяснить. Заказчик ...














