Менее чем за три суток: за это время Claude взломал защиту OpenAI

Команда исследователей из стартапа Hacktron, специализирующегося на кибербезопасности, использовала модель Claude от Anthropic, чтобы обнаружить уязвимость в инфраструктуре OpenAI. Через форум сообщества компании им удалось получить доступ к аккаунту одного из ее сотрудников. OpenAI выплатила исследователям 6,5 тысячи долларов вознаграждения в рамках программы Bug Bounty, сообщает Business Insider.

Трое исследователей Hacktron из Сан-Франциско использовали Claude Opus в рамках специальной программы Anthropic Cyber Verification Program, которая предоставляет специалистам по кибербезопасности расширенный доступ к модели. Claude автоматически создал рабочий эксплойт для обнаруженной уязвимости.

Форум сообщества OpenAI работает на платформе Discourse. При загрузке файлов в форматах HEIC и HEIF запросы перенаправлялись в устаревшую библиотеку libheif. В ней была ошибка, позволявшая вызвать переполнение памяти. Она была исправлена в основном коде еще за год до этого, но уязвимости не присвоили номер CVE. Из-за этого ни OpenAI, ни Discourse не обновили библиотеку.

Запустив код на сервере форума, исследователи перехватили токены авторизации. Из-за ошибки в системе единого входа (SSO) эти токены обладали чрезмерными правами доступа. Они открывали полный доступ к связанным аккаунтам ChatGPT и Codex.

Так исследователи получили доступ к аккаунту сотрудника OpenAI, который был подключен к корпоративному GitHub. Чтобы подтвердить наличие уязвимости и не просматривать конфиденциальный код, они с помощью Codex создали один тестовый pull-запрос №1186742. Изменение касалось файла README во внутреннем монорепозитории openai/openai. После этого исследователи сразу же прекратили работу.

OpenAI устранила проблему через 14 часов после получения отчета. Компания аннулировала уязвимые сессии и ограничила права токенов, а также выплатила исследователям вознаграждение. Весь процесс, от анализа уязвимости до получения доступа, длился менее 72 часов.

По оценке исследователей, на использование ИИ-модели было потрачено около 3 тысяч долларов в токенах.

ИИ все активнее используется для поиска уязвимостей в программном обеспечении. В августе OpenAI сообщила о тестах, в ходе которых ее агенты находили и использовали уязвимости в защищенных системах. В другом исследовании специализированная модель компании помогла выявить ранее неизвестные проблемы в движке V8, который используется в Chrome.

Параллельно исследователи фиксировали случаи, когда ИИ-модели OpenAI и Anthropic во время тестирования выходили за пределы контролируемых сред и использовали методы, характерные для реальных кибератак. В частности, агенты OpenAI получали доступ к части облачной инфраструктуры компании и работали с внутренними секретами.