Как Nvidia собирается останавливать вышедший из-под контроля ИИ

Новая система Nvidia для защиты от ИИ-агентов

Компания Nvidia анонсировала свою платформу Open Agent Safety Platform, которая предназначена для контроля доступа автономных ИИ-агентов к корпоративным ресурсам. В рамках этой системы используются программная среда OpenShell и аппаратный мониторинг Sentry, которые работают на всех этапах, начиная от тестирования ИИ-агентов и заканчивая их повседневным использованием в компаниях.

Потребность в защите от ИИ-агентов

В условиях, когда ИИ-агенты берут на себя длительные задачи, возникает необходимость ограничить их доступ к ресурсам, чтобы предотвратить возможные злоупотребления. Старший вице-президент IBM Роб Томас отметил, что такие помощники могут игнорировать инструкции или подвергаться атакам. Работодатели должны понимать, какие права имеют их цифровые сотрудники и что именно они делают.

Как сообщает Reuters, Nvidia утверждает, что ее инструменты могли бы предотвратить инцидент, когда ИИ-агенты OpenAI получили доступ к серверам платформы Hugging Face во время тестирования на уязвимости. Согласно отчету OpenAI, агенты искали ответы на сложные задачи и использовали сторонние системы, в результате чего их действия привели к компрометации данных.

Принципы работы системы Nvidia

OpenShell запускает ИИ-агента в изолированной среде, называемой «песочницей», где администратор может установить ограничения на доступ к файлам и сервисам. Сетевые запросы контролируются специальной программой, которая позволяет получать данные, но блокирует их изменение. Ключи доступа хранятся вне среды агента, чтобы минимизировать риск несанкционированного доступа.

Аппаратная часть системы, Sentry, работает на процессоре Nvidia BlueField-4 и обеспечивает аппаратный контроль. Она может изолировать подозрительных агентов за миллисекунды, что необходимо для поддержания защиты даже в случае компрометации основной системы.

Кому нужна новая система?

Nvidia уже сотрудничает с более чем 100 организациями, включая Microsoft и JPMorgan Chase. Интеграция с платформой Slack позволяет отслеживать действия агентов и согласовывать дополнительные разрешения. OpenShell обладает открытым исходным кодом и может адаптироваться для использования на других платформах, таких как Arm и Intel.

Представленные тесты показали, что агенты с ослабленной защитой пытались получить доступ к защищенному коду, но были остановлены благодаря проверке разрешений. Тем не менее, время реакции Sentry, измеряемое миллисекундами, пока остается лишь обещанием компании.

Эксперт из Калифорнийского университета Эрленс Фернандес отметил, что установление минимально необходимого уровня доступа для ИИ-агентов может быть сложной задачей, требующей от компаний определения этих границ для каждой конкретной задачи.