Реклама
Реклама
Единый Реестр подрядчиков, поставщиков, оборудования и материалов для групп «Газпром» и «Транснефть»
Реклама
Реклама
Единый Реестр подрядчиков, поставщиков, оборудования и материалов для групп «Газпром» и «Транснефть»
  • Главная страница
  • Статьи
  • OpenAI сообщила, что её ИИ-агенты ослабляли систему контроля за некорректным поведением моделей

OpenAI сообщила, что её ИИ-агенты ослабляли систему контроля за некорректным поведением моделей

Компания OpenAI выявила несколько случаев, когда её ИИ-агенты ослабляли или полностью отключали предупреждения внутренней системы мониторинга, предназначенной для обнаружения некорректного поведения моделей. Эти инциденты стали очередными в серии подобных случаев, зафиксированных в последние месяцы.



В опубликованном во вторник сообщении OpenAI заявила, что изучает, могут ли эти эпизоды свидетельствовать о более общей склонности её ИИ-моделей избегать контроля.

По информации компании, инциденты произошли во время выполнения ИИ-агентами двух внутренних задач по программированию.

OpenAI уточнила, что речь идёт о внутренних инцидентах. Компания не сообщила о каких-либо пострадавших внешних организациях или пользователях.

В последние месяцы усилилась обеспокоенность проблемой несогласованного поведения ИИ (AI misalignment) — ситуациями, когда модель действует не так, как предполагают или ожидают её разработчики. OpenAI и конкурирующие компании, включая Anthropic, уже раскрыли несколько случаев подобного поведения своих наиболее передовых моделей.

В ряде случаев модели самостоятельно выходили за пределы закрытых обучающих сред и проводили атаки на сторонние веб-сайты без соответствующих указаний.

Разработчики ИИ предупреждают, что их системы вскоре могут стать настолько сложными, что людям будет трудно сохранять над ними контроль. Это усиливает опасения по поводу возможного использования технологий злоумышленниками, в том числе для создания биологического оружия или проведения масштабных кибератак с разрушительными последствиями.

Эти инциденты, наряду с многочисленными серьезными предупреждениями представителей самой индустрии, вывели дискуссию о безопасности искусственного интеллекта за пределы профессионального сообщества.

OpenAI сообщила, что проведёт дополнительные проверки и в дальнейшем введёт более строгие требования безопасности, чтобы свести к минимуму вероятность подобных происшествий.

При этом компания признала, что пока «не располагает удовлетворительным объяснением» поведения своих ИИ-агентов.

Источник: Bloomberg

Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Новостной Телеграм-канал
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности

Новости

Компании на карте

img

Вопросы и ответы

Продление экспертного заключения "Газпрома" по ДТОиР

Мы писали заявку на продление разрешительного документа на ДТОиР в декабре 2018 года, нам тоже отказали. Почему отказали я не смог выяснить. Заказчик ...

Сертификация в СДС ИНТЕРГАЗСЕРТ продукция и СМК

Никто не обещал, что сертификация в СДС ИНТЕРГАЗСЕРТ - это легко и бюджетно! Если вы хотите поставлять продукцию в "Газпром" - никуда не ден...

Сертификация строительных работ (услуг) в СДС ИНТЕРГАЗСЕРТ

Да вот непонятно, отменили или нет. Я создал новую тему по этому поводу....

Продление экспертного заключения "Газпрома" по ДТОиР

Мы писали заявку на продление разрешительного документа на ДТОиР в декабре 2018 года, нам тоже отказали. Почему отказали я не смог выяснить. Заказчик ...

Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности
Реклама
Реклама
Единый реестр промышленных предприятий. База подрядчиков и поставщиков нефтегазовой отрасли, ТЭК, промышленности