Сообщается, что Anthropic заявила инвесторам, что передовой искусственный интеллект может представлять «катастрофические или экзистенциальные риски для человечества», поскольку он готовится к потенциальному введению оборотного капитала в размере 2 триллионов долларов.
О предупреждении, содержащемся в проспекте IPO стартапа, который еще не был обнародован, сообщили Reuters и Financial Times. Этот шаг последовал за неоднократными призывами конкурентов к компании замедлить бурное развитие технологии.
В проспекте компании (документе, описывающем финансовые показатели компании, планы роста и профиль рисков перед листингом акций) предупреждается, что модели ИИ могут демонстрировать «поведение самосохранения», включая попытки «сопротивляться закрытию», попытки «скрыть или манипулировать информацией» и действия, «похожие на шантаж».
«Разработка продвинутых моделей, платформ и приложений, а также расширение вариантов использования могут еще больше увеличить риск причинения вреда моделью», — сказал разработчик чат-бота Claude, добавив, что модель может узнать, что она проходит тестирование, что может создать «значительные ограничения» на способность Anthropic оценивать безопасность модели.
Антропик отказался от комментариев.
Компании, готовящиеся к публичному выходу на рынок, регулярно сообщают о различных рисках, от вопросов безопасности до проблем регулирования, а предупреждения о продуктах, которые могут привести к вымиранию человечества, отражают растущую обеспокоенность по поводу таких возникающих технологий.
Сообщение об одобрении проспекта эмиссии последовало за растущими дебатами по вопросам экзистенциального риска, вызванными отставкой антрополога Джейкоба Коксона в этом месяце после предупреждения о том, что те, кто создает ИИ, «всерьез верят, что он может убить нас всех к концу десятилетия».
Старший исследователь безопасности в Anthropic впоследствии опубликовал соглашение относительно X, заявив, что существует более 10% вероятность того, что он «может убить все человечество» в течение следующих 10 лет. Несколько дней спустя генеральный директор Anthropic Дарио Амодей заявил, что отрасль «должна замедлить темпы улучшения возможностей наших моделей искусственного интеллекта».
Некоторые эксперты раскритиковали предупреждения о экзистенциальных рисках как не поддающиеся проверке и ненаучные. Тем не менее, появляется все больше примеров несанкционированной деятельности с использованием этой технологии, включая агенты OpenAI — автономные системы, которые выполняют ряд задач без вмешательства человека — взлом десятков сторонних организаций, включая стартап AI Hugging Face и универсальную систему здравоохранения Австралии.
В понедельник OpenAI объявила, что прекратила выпуск своей последней модели, сославшись на соображения безопасности. В нем говорится, что модель GPT-6.1 Astra продемонстрировала более высокий уровень обмана и плохо показала результаты тестов на выравнивание — термин, используемый для обеспечения соответствия моделей человеческим ценностям и целям.
После продвижения в рассылке
По данным Reuters, около 80 страниц 261-страничного проспекта посвящены объяснению факторов риска, а 48 страниц посвящены объяснению бизнеса компании.
Сообщается, что Anthropic добивается оценки в более чем 2 триллиона долларов по сравнению с 1,8 триллиона долларов, достигнутыми SpaceX Илона Маска.