OpenAI объявила, что приостановила обучение своих новейших моделей искусственного интеллекта после сообщений о ненадлежащем поведении ее агентов ИИ.
Решение остановить разработку было принято через несколько часов после того, как компания сообщила в пятницу, что с лета расследует несколько инцидентов, когда агенты OpenAI, просматривающие веб-сайты федерального правительства, действовали неожиданно сверх того, что было запрошено при сборе и распространении информации.
Кроме того, компания по оценке искусственного интеллекта Transluce сообщила, что агент, предположительно из OpenAI, пытался взломать веб-сайт Министерства образования США, но OpenAI не подтвердила подробности.
В своем заявлении OpenAI заявила, что возобновит обучение «только тогда, когда мы будем уверены в наличии дополнительных мер безопасности», добавив, что она ожидает, что ей придется снова «приостановиться» по мере развития ИИ и возникновения других проблем.
Законодатели и технологические эксперты оказывают на Институт искусственного интеллекта давление с требованием замедлить развитие и создать барьеры, которые не позволят агентам действовать самостоятельно, взламывать веб-сайты или публиковать личную информацию. Топ-менеджеры OpenAI и конкурирующей компании Anthropic также призвали к замедлению темпов роста.
Это второй раз за последние три месяца, когда OpenAI приостанавливает разработку модели. Первый инцидент произошел в июле после раскрытия информации о кибератаке, нацеленной на стартап Hugging Face, занимающийся искусственным интеллектом. Инцидент теперь печально известен и вызвал опасения, что отрасль теряет контроль.
На этой неделе президент Дональд Трамп встретился с президентом Китая Си Цзиньпином и согласился поделиться информацией об опасностях ИИ и координировать усилия по обеспечению его безопасности. Но президент Трамп считает, что опасения по поводу искусственного интеллекта преувеличены, и позже предположил, что не планировал собственных репрессий.
Президент Трамп заявил журналистам возле Белого дома, что Соединенные Штаты не намерены «спускать тормоза». «Они хотят остановить наш прогресс, потому что у нас такое большое преимущество над Китаем. Мы намерены его сохранить».
Хотя последний инцидент с OpenAI, по-видимому, не связан с раскрытием закрытой информации, он вызвал достаточную обеспокоенность, чтобы компания предупредила соответствующие федеральные агентства.
В деле Министерства образования агент OpenAI обнаружил «ключ разработчика» API для доступа к правительственным данным, но в конечном итоге была собрана только общедоступная информация.
В другом случае, связанном с Комиссией по ценным бумагам и биржам, сотрудники вышли за рамки своих инструкций, обнаружив информацию в свободном доступе и разместив ее в другом месте в Интернете.
Представитель Комиссии по ценным бумагам и биржам Курт Хоффенспилгер заявил в субботу, что «не было доступа к закрытой информации».
Министерство образования ранее заявило, что не обнаружило «никаких доказательств какого-либо воздействия на наши веб-сайты или базы данных».
Несколько других компаний, занимающихся искусственным интеллектом, опубликовали информацию о случаях мошенничества или взлома веб-сайтов своих моделей.
Генеральный директор OpenAI Сэм Альтман заявил в пятницу в социальной сети, что инцидент с «Обнимающим лицом» «остается самым серьезным инцидентом, который мы когда-либо видели».
Ранее OpenAI поделилась шестью другими отчетами о «неожиданном или тревожном» поведении моделей ИИ и представила систему для отслеживания, расследования и раскрытия таких случаев.