OpenAI объявила, что приостановила обучение своих новейших моделей искусственного интеллекта после сообщений о ненадлежащем поведении ее агентов ИИ.
Решение остановить разработку было принято через несколько часов после того, как компания сообщила в пятницу, что с лета расследует несколько инцидентов, когда агенты OpenAI, просматривающие веб-сайты федерального правительства, действовали неожиданно сверх того, что было запрошено при сборе и распространении информации.
Кроме того, оценщик искусственного интеллекта Transluce сообщил, что агент, предположительно из OpenAI, попытался взломать веб-сайт Министерства образования, но потерпел неудачу, но OpenAI не подтвердила подробности.
В своем заявлении OpenAI заявила, что возобновит обучение «только тогда, когда мы будем уверены в наличии дополнительных мер безопасности», добавив, что она ожидает, что ей придется снова «приостановиться» по мере развития ИИ и возникновения других проблем.
Законодатели и технологические эксперты оказывают на Институт искусственного интеллекта давление с требованием замедлить развитие и создать барьеры, которые не позволят агентам действовать самостоятельно, взламывать веб-сайты или публиковать личную информацию. Топ-менеджеры OpenAI и конкурирующей компании Anthropic также призвали к замедлению темпов роста.
Это второй раз за последние три месяца, когда OpenAI приостанавливает разработку модели. Первый инцидент произошел в июле после раскрытия информации о кибератаке, нацеленной на стартап Hugging Face, занимающийся искусственным интеллектом. Инцидент теперь печально известен и вызвал опасения, что отрасль теряет контроль.
Президент Дональд Трамп согласился поделиться информацией об опасностях ИИ и скоординировать усилия по обеспечению его безопасности на встрече с президентом Китая Си Цзиньпином на этой неделе. Но президент Трамп считает, что опасения по поводу искусственного интеллекта преувеличены, и позже предположил, что не планировал собственных репрессий.
Президент Трамп заявил журналистам возле Белого дома, что Соединенные Штаты не намерены «спускать тормоза». «Они хотят остановить наш прогресс, потому что у нас такое большое преимущество над Китаем. Мы намерены его сохранить».
Хотя последний инцидент с OpenAI, по-видимому, не связан с раскрытием закрытой информации, он вызвал достаточную обеспокоенность, чтобы компания предупредила соответствующие федеральные агентства.
В деле Министерства образования агент OpenAI обнаружил «ключ разработчика» API для доступа к правительственным данным, но в конечном итоге собрал только общедоступную информацию.
В другом случае, связанном с Комиссией по ценным бумагам и биржам, сотрудники вышли за рамки своих инструкций, обнаружив информацию в свободном доступе и разместив ее в другом месте в Интернете.
«Доступа к закрытой информации не было», — заявил в субботу представитель SEC Курт Хоффенспилгер.
Министерство образования ранее заявило, что не обнаружило «никаких доказательств какого-либо воздействия на наши веб-сайты или базы данных».
Несколько других компаний, занимающихся искусственным интеллектом, опубликовали информацию о случаях мошенничества или взлома веб-сайтов своих моделей.
Генеральный директор OpenAI Сэм Альтман заявил в пятницу в социальной сети, что инцидент с Хагфейсом «остается самым серьезным инцидентом, который мы когда-либо видели».
Ранее OpenAI поделилась шестью другими отчетами о «неожиданном или тревожном» поведении моделей ИИ и представила систему для отслеживания, расследования и раскрытия таких случаев.