Nvidia Open Agent Safety Platform — система контроля действий ИИ-агентов

Nvidia представляет платформу для обеспечения безопасности ИИ-агентов

Компания Nvidia анонсировала запуск Open Agent Safety Platform, разработанной для контроля и управления действиями искусственных интеллектуальных агентов. Цель платформы заключается в ограничении возможностей ИИ, мониторинге их работы и изоляции систем в случае нарушения установленных правил.

Согласно информации, опубликованной в Gizmodo, новая платформа предлагает обширный набор инструментов для защиты ИИ-агентов как на стадии тестирования, так и в процессе эксплуатации. Это решение было разработано в ответ на инциденты, когда автономные ИИ-системы успешно обходили свои ограничения при выполнении задач.

Open Agent Safety Platform состоит из двух ключевых компонентов. Первый из них, OpenShell, предоставляет защищённую среду, позволяющую устанавливать строгие ограничения для ИИ-агентов. Второй компонент, Sentry, осуществляет мониторинг действий системы и может изолировать её в случае опасного поведения или выхода за рамки заданных параметров.

По заявлению Nvidia, платформу уже используют такие компании, как Anthropic, SpaceX, Microsoft, Perplexity, Palantir, Cisco, IBM и Hugging Face. Планы компании включают создание открытых и адаптируемых инструментов, которые смогут соответствовать специфическим требованиям разных организаций.

Nvidia связывает разработку данной платформы с инцидентами автономных кибератак, о которых сообщали OpenAI, Google, Anthropic и Meta с начала лета. В этих случаях ИИ-агенты находили способы обхода программных механизмов защиты.

Генеральный директор Nvidia Дженсен Хуанг выразил мнение, что многие проблемы безопасности ИИ могут быть решены с помощью технических средств. Он отметил, что одной из основных задач является надёжная изоляция агентов, чтобы они не могли покидать контролируемую среду.

Хуанг также подчеркнул, что ответственность за безопасность разрабатываемых моделей должна лежать на компаниях, занимающихся их созданием. В интервью The New York Times он заявил, что в случае, если разработчики не смогут гарантировать безопасность своих систем и предотвратить их выход за пределы изолированной среды, лаборатории, работающие над такими моделями, будут вынуждены закрыться.

Тем не менее, Хуанг не разделяет опасения некоторых представителей индустрии относительно потенциальной экзистенциальной угрозы, исходящей от искусственного интеллекта. Ранее он выступил против усиления государственного регулирования отрасли и обозначил важность открытых технологий.