В отчете говорится, что агент искусственного интеллекта пытался взломать записи о разводах с веб-сайта правительства Канады.

Пытаясь получить канадские записи о разводах начала 1900-х годов, агент ИИ сотни раз запрашивал базу данных архивов Библиотеки Канады.

Когда они не смогли получить то, что хотели, они обратились к хакерству, согласно отчету от 30 сентября исследовательской фирмы по искусственному интеллекту Transluce и фирмы по кибербезопасности Corridor. Оба базируются в Сан-Франциско.

«Мы обнаружили, что агенты, похоже, столкнулись с множеством препятствий в своих попытках получить эти обыденные данные», — сказал Джек Кейбл, генеральный директор и соучредитель Corridor и один из авторов отчета.

«Они не смогли получить доступ к некоторым данным, которые им было предложено получить, поэтому они решили попробовать другие способы доступа к данным, включая попытку самого простого взлома», — сказал Кейбл.

Насколько известно исследователям, попытка взлома не удалась. Но этот инцидент является последним примером того, на что готовы пойти полуавтономные агенты ИИ для выполнения задач, поставленных людьми.

Похоже, что это первая публично сообщенная попытка агента ИИ проникнуть на веб-сайт канадского правительства.

Агенты, созданные базирующейся в Сан-Франциско OpenAI, в этом году взломали системы нескольких организаций, включая платформу искусственного интеллекта Hugging Face и правительство Австралии, а также неожиданным образом взаимодействовали с веб-сайтами правительства США, включая веб-сайт Комиссии по ценным бумагам и биржам.

OpenAI проигнорировала предупреждения сотрудников о том, что она недостаточно заботится о безопасности

Независимые исследователи обнаружили, что агенты компании также использовали более 10 веб-сайтов для общения друг с другом. Сюда входят инструменты, используемые Университетом Торонто для упрощения обмена веб-ссылками.

Кейбл сказал, что он и его коллеги-исследователи искали в сети информацию о деятельности агентов искусственного интеллекта и нашли доказательства на arquivo.pt, интернет-архиве, которым управляет Португальский фонд науки и технологий.

В архиве зафиксировано 899 запросов, отправленных в Библиотеку и архивы Канады в период с конца мая по начало июня для поиска данных о записях о разводах с 1905 по 1911 год. По словам Кейбл, из них 13 были злонамеренными запросами.

Хотя исследователи не смогли однозначно связать эту деятельность с OpenAI, они заметили многие признаки предыдущих действий агентства, включая использование arquivo.pt для получения информации, агрессивный сбор данных по малоизвестным темам и попытки расследования уязвимостей кибербезопасности.

Кейбл и его коллеги предупредили канадское правительство, которое изучает результаты. Он подчеркнул, что исследователи могут видеть лишь «небольшую часть» того, что агенты ИИ делают в сети.

«Во многих отношениях нам повезло и повезло, что мы смогли наткнуться на эти данные, что агенты вообще оставили эти публичные следы, но это не всегда происходит», — сказал Кейбл.

Федеральная торговая комиссия начинает расследование в отношении OpenAI, Anthropic и других гигантов искусственного интеллекта

OpenAI заявила, что изучает сообщения о том, что ее модели пытаются получить доступ к информации на веб-сайтах правительства Канады, и предоставила первоначальный брифинг должностным лицам, проводящим проверку.

Создатели ChatGPT сейчас проводят обширную проверку случаев, когда их модель работала некорректно. Смещение — это отраслевой термин, обозначающий ситуацию, когда система ИИ работает вопреки человеческим ценностям, правилам безопасности или намерениям. В заявлении OpenAI говорится, что часть ее процесса включает изучение результатов отчетов третьих сторон и сравнение их с собственными выводами.

«Большая часть расследованной нами деятельности включала рутинные следственные задачи, включающие доступ к общедоступному веб-контенту. Некоторые из них касались правительственных веб-сайтов, и наша модель часто использовала их в качестве авторитетных источников публичной информации», — говорится в заявлении.

OpenAI недавно объявила, что разработала систему для отслеживания, расследования и раскрытия несоответствий.

Офис министра искусственного интеллекта Эвана Соломона заявил в своем заявлении, что он тесно сотрудничает с Канадским центром кибербезопасности в рамках оценки Оттавы.

«На данный момент нет никаких доказательств того, что системы правительства Канады были скомпрометированы», — говорится в заявлении.

Мнение: Вопрос не в том, стоит ли нам тормозить развитие ИИ. Это все еще возможно?

Канадское управление по обеспечению безопасности связи; федеральное агентство, которое предоставляет правительству информацию о технической безопасности и иностранных сигналах; заявила, что ей известно о сообщениях о предполагаемой деятельности агентов искусственного интеллекта, нацеленной на общедоступные веб-сайты, включая сайты правительства Канады, и она тесно сотрудничает с правительственными и отраслевыми партнерами для оценки информации, упомянутой в отчете.

Марк Дейли, директор по искусственному интеллекту Западного университета, сказал, что, хотя попытка взлома провалилась, вызывает тревогу то, что агенты прибегают к таким мерам в попытке восстановить данные. «Человек-сотрудник, вероятно, не стал бы этого делать», — говорит он.

Дейли сказал, что канадское правительство заслуживает «похвалы» за хорошую работу по защите веб-сайта, но отметил, что атака не была особенно сложной.

«Более широкая проблема заключается в том, что эти агенты становятся все более изощренными», — сказал он.

С репортажем Мари Вульф