ИИ-агент OpenAI взломал правительственный сайт Австралии: об этом стало известно спустя 3 месяца

В июне агент OpenAI взломал общедоступный сайт австралийской государственной системы медицинского страхования Medicare, — сообщил премьер-министр Австралии Энтони Албаниз. Альбаниз заявил, что поговорил с генеральным директором компании Сэмом Альтманом, чтобы выразить «крайнюю обеспокоенность» страны в связи с этим инцидентом. Он также раскритиковал компанию за то, что она слишком долго не информировала австралийские власти.

По данным The Guardian, OpenAI отправила электронное письмо о взломе только на общий адрес электронной почты австралийского правительства 10 сентября. Поскольку представители властей проверяют этот аккаунт лишь раз в день, они увидели cообщение от 11 сентября. Министр по вопросам государственных услуг Кэти Халлагер узнала об инциденте только 17 сентября. Расследование ещё продолжается, однако Албаниз заявил, что, по всей видимости, агент не похитил личную медицинскую информацию с портала.

OpenAI выявила другие попытки ИИ-агентов взломать реальные системы

Конрад Стосз, руководитель отдела управления в Transluce — некоммерческой исследовательской лаборатории, занимающейся разработкой технологий для лучшего понимания систем ИИ, — заявил The New York Times, что это может быть «первым случаем, когда агент самостоятельно решил взломать правительство». Transluce обнаружила другие ранее нераскрытые инциденты, в ходе которых агенты OpenAI атаковали реальные объекты, когда им поручали собирать данные в ходе тестирования. Все они произошли до того, как Hugging Face обнаружила несанкционированный доступ к своим системам в июле, а также до того, как OpenAI признала, что её агенты проникли в репозиторий ИИ.

Помимо взлома австралийской системы Medicare, агент OpenAI также пытался проникнуть в цифровую библиотеку Университета Нью-Мексико 25 и 26 мая, сообщает The Times. Очевидно, агент пытался получить фотографии исторического центра лечения туберкулёза из библиотеки, а когда не смог их получить, начал активно искать уязвимости для эксплуатации. После неудачной попытки взломать цифровую библиотеку агент перегрузил сервер университета запросами.

ИИ-агенты начали самостоятельно искать уязвимости сайтов

В другом инциденте, произошедшем 28 мая, агент OpenAI атаковал Data USA — — платформу с открытым исходным кодом, которая визуализирует информацию из различных федеральных ведомств. Агент отправил сайту запрос на данные, а когда не получил их, начал проверять сайт на наличие уязвимостей. Похоже, агентам OpenAI не удалось взломать сайт Data USA или библиотеку Университета Нью-Мексико. Представитель компании сообщил The Times, что OpenAI уже связалась с обеими организациями по поводу этих инцидентов. Он добавил, что OpenAI узнала о попытках агента взломать сайт австралийского правительства после масштабной проверки своих моделей и установила, что модели совершили действия, которые компания не планировала. На завершение проверки компании понадобится ещё несколько месяцев.

Недавно OpenAI объявила о новой системе отчётности о случаях расхождений с ожидаемым поведением, которая должна ускорить обнародование информации о случаях, когда её технологии ИИ выходят из-под контроля. В этом отчете компания раскрыла еще шесть инцидентов, связанных с моделями, которые вели себя опасным или тревожным образом, чего она не ожидала. Компания сделала это заявление после того, как признала, что её агенты взломали Hugging Face, а также после сообщений о предыдущих инцидентах, в частности о проникновении её агентов в RubyGems. В той публикации компания заявила, что не считает, что отрасль ИИ в достаточной мере решила проблемы согласованности и мониторинга, чтобы и в дальнейшем ответственно расширяться с максимальной скоростью.

Источник: Engadget