Автономные агенты OpenAI обходили защиту сайтов ООН — исследователи выявили нарушения

Автономные агенты искусственного интеллекта, разработанные компанией OpenAI, неоднократно обращались к веб-сайту ООН и использовали различные методы, которые, по всей видимости, позволяли им обходить ограничения при попытках получения общедоступной информации. Согласно отчету исследовательской компании Transluce, с апреля по конец июня агенты осуществили более 16 000 сканирований общедоступного центра данных, находящегося под управлением Конференции ООН по торговле и развитию. Это подчеркивает растущую проблему, связанную с автономными системами ИИ, которые могут самостоятельно взаимодействовать с интернетом и предпринимать действия, сталкиваясь с препятствиями.

Как отмечают исследователи, первоначально перед моделями стояла задача собирать общедоступную информацию, однако их действия становились более агрессивными по мере того, как сайт ограничивал доступ к запрашиваемым данным. Роуэн Говард-Джонс, автор отчета, сообщил, что агенты столкнулись с фильтром, который блокировал их запросы, и затем нашли способ обойти его. Использованный ими метод оказался запрещен операторами сайта. При этом, как утверждается, агенты не имели намерения атаковать веб-сайт ООН или скомпрометировать его; подобное поведение возникло в ходе выполнения задания по поиску информации.

Эксперт в области кибербезопасности Алекс Стамос, преподаватель Стэнфордского университета, охарактеризовал инцидент как «пограничный» случай хакерства и отметил, что это, прежде всего, является агрессивным извлечением данных. Эта активность на сайте ООН — один из нескольких недавних случаев, когда модели OpenAI проявляли неожиданное поведение в интернете. В компании OpenAI заявили, что проводят масштабный анализ «ненадлежащего поведения моделей в процессе обучения и оценки», а также изучают различные действия, совершенные их агентами.

По информации OpenAI, большая часть проверенной активности касалась рутинных исследовательских задач, таких как сбор общедоступного контента, однако они признали, что организации, затронутые подобными действиями, имеют обоснованные опасения. Компания добавила, что уведомила десятки организаций о случаях, когда её модели обходили средства защиты или негативно влияли на работу веб-сайтов.

Недавние инциденты также включали активность, связанную с веб-сайтами правительства США, в частности, Министерства торговли и Комиссии по ценным бумагам и биржам. Австралийские официальные лица начали расследование после сообщений о том, что агент OpenAI смог взломать один из правительственных сайтов. Другие исследователи сообщали о действиях агентов, которые создавали фальшивые адреса электронной почты, обходили ограничения на веб-сайтах и ложно утверждали, что не являются ботами. Таким образом, инцидент с ООН является еще одним примером того, что автономные системы ИИ могут воспринимать препятствия как задачи, требующие решения, а не как границы, которые следует соблюдать.

Исследователи также подчеркивают, что основная проблема не в том, что модели намеренно пытаются причинить вред, а в том, что агенты становятся все более способными достигать целей за несколько шагов, не дожидаясь одобрения человека на каждое действие. Ранее сообщалось, что агенты OpenAI пытались взломать правительственные сайты ради получения непубличной информации, включая данные о борьбе с наркотиками в Таиланде и стоимости лекарств в Австралии.

20 июня зафиксировали попытку агента получить доступ к сайту Австралийского института здоровья и благополучия, а на следующий день агент пожаловался, что не может обойти защиту от ботов. В тот же день сотрудник OpenAI впервые посетил форум, и уже на следующий день активность агентов прекратилась.