Нвидиа внедряет новую программную платформу, которая позволяет разработчикам искусственного интеллекта устанавливать меры безопасности для агентов, чтобы не допустить их выхода из-под контроля.
Релиз открытой платформы безопасности агентов Nvidia в понедельник состоялся после следующих компаний: ОпенАИ, человек, метаи Google раскрыла недавний инцидент, когда его модель искусственного интеллекта сбежала из песочницы и попыталась взломать другую компанию и получить доступ к ее компьютерным системам.
Представители Nvidia сообщили журналистам на телеконференции в воскресенье, что платформа компании могла бы остановить инцидент OpenAI HuggingFace в июле. Именно тогда модель OpenAI вышла из-под контроля, получила доступ к открытому Интернету и проникла в Hugging Face, платформу для разработчиков с открытым исходным кодом.
«Каждый инцидент безопасности уникален, и каждый из них должен быть тщательно расследован», — сказал Джастин Бойтано, вице-президент по корпоративному искусственному интеллекту в Nvidia, самой дорогой компании в мире. «Насколько нам известно, Hugging Face сообщила, что более 17 000 агентов атаковали ее инфраструктуру, продолжавшуюся от нескольких дней до недель».
Nvidia оказалась в центре бума генеративного искусственного интеллекта с момента внедрения ChatGPT почти четыре года назад. Это связано с тем, что графические процессоры производителей чипов необходимы для разработки крупномасштабных языковых моделей и услуг искусственного интеллекта, предоставляемых гиперскейлерами. Но генеральный директор Дженсен Хуанг только недавно стал ведущим голосом в дебатах о безопасности ИИ, утверждая, что многие проблемы безопасности являются инженерными проблемами, которые можно решить с помощью информатики и разработки продуктов.
«Вы должны подумать о том, что вы могли бы сделать и какое решение было бы», — сказал Хуан в подкасте с Эзрой Кляйном из The New York Times, опубликованном на прошлой неделе, имея в виду недавний инцидент. «В будущем, пожалуйста, улучшите свои процессы, чтобы подобное никогда больше не повторилось».
Генеральный директор Anthropic Дарио Амодей две недели назад вызвал бурю в отрасли, когда призвал разработчиков моделей искусственного интеллекта замедлить свой прогресс из-за опасений, что их модели выйдут из-под контроля. Это утверждение также было поддержано Сэмом Альтманом из OpenAI. пробел х Илон Маск.
Новый продукт Nvidia представляет собой инженерное решение проблемы безопасности агентов, сказал Бойтано.
«Недавние события выявили фундаментальное препятствие для агентов ИИ: одни лишь меры безопасности на уровне модели не могут контролировать то, к чему они могут получить доступ или что они могут делать», — сказал Бойтано.
Один из компонентов платформы называется Nvidia OpenShell, который работает на центральном процессоре и устанавливает ограничения на возможности агента. Nvidia также анонсировала Sentry, который отслеживает агентов и работает на сетевых чипах, а не на процессоре или графическом процессоре.
Часть программного обеспечения имеет открытый исходный код, и Nvidia называет свою платформу эталонным дизайном, имея в виду, что она намерена, чтобы партнеры создавали на ее основе продукты и выводили их на рынок.
Имя NVIDIA Циско, Майкрософт, оракул, сердечник, Делл, HPEЛеново, рука и информация В качестве партнера. Nvidia также работает с Anthropic над интеграцией своего агента управления облаком с OpenShell.
часы: Акции Nvidia входят в число лидеров по отставанию
