OpenAI уволила троих исследователей в области безопасности ИИ за нарушение правил конфиденциальности

Компания OpenAI уволила троих сотрудников команды по вопросам безопасности из-за предполагаемых нарушений правил обращения с конфиденциальной информацией. Увольнение Жасмин Ванг, Томека Корбака и украинского исследователя Никиты Балесного произошло на фоне повышенного внимания к деятельности ИИ-агентов. По данным источников The Wall Street Journal, информация могла передаваться сторонней организации, занимающейся безопасностью ИИ.

«Мы прекратили сотрудничество с тремя лицами из-за нарушения наших правил доступа к конфиденциальной информации компании и обращения с ней. Наше расследование подтвердило, что эти лица ненадлежащим образом обращались с конфиденциальной информацией в обход установленных процедур, нарушив внутренние правила и подорвав доверие, которое является важным условием нашей работы», — заявил представитель OpenAI.

OpenAI в последнее время неоднократно сталкивалась с инцидентами, в ходе которых её ИИ-агенты выходили за пределы установленных ограничений. В частности, агенты взламывали порталы правительств, компаний и агрессивно сканировали широкий спектр других сайтов, среди которых был даже онлайн-ресурс подразделения ООН по вопросам торговли и развития.

После того как модель OpenAI взломала систему платформы Hugging Face, компания разрешила сотрудникам METR и специалисту Redwood Research, сотрудничавшему с этой группой, работать в своих офисах в течение шести дней. Они исследовали поведение моделей, а впоследствии METR опубликовала отчет на основе информации, к которой OpenAI предоставила доступ.

Один из уволенных исследователей, Томек Корбак, входил в команду по вопросам безопасности и был техническим контактным лицом OpenAI для Redwood Research и METR во время расследования инцидента с Hugging Face. Жасмин Ванг и Никита Балесни работали над вопросами согласованности (alignment) — обеспечением того, чтобы модели вели себя в соответствии с целями, определенными людьми.

Ранее в OpenAI заявили о внедрении новой системы мониторинга, которая должна быстрее выявлять случаи ненадлежащего поведения ИИ-агентов. Кроме того, инженеров обязали применять более строгие меры предосторожности при тестировании систем. Компания также начала публиковать больше информации о случаях некорректного поведения моделей.

В то же время OpenAI сообщила об отмене запланированного запуска модели GPT-6.1 Astra из-за опасений по поводу безопасности. Эти шаги происходят на фоне более широкой дискуссии в отрасли о рисках, связанных с ростом возможностей самых мощных моделей ИИ.

В начале прошлого месяца исследователь компании Anthropic Джейкоб Коксон публично объявил о своей отставке. Он заявил, что не хочет участвовать в поспешной разработке систем ИИ, способных к самосовершенствованию, поскольку опасается, что они могут выйти из-под контроля и уничтожить человечество.

Генеральный директор Anthropic Дарио Амодеи в прошлом месяце также написал, что риски, связанные с современными передовыми инструментами ИИ, слишком велики, чтобы продолжать ускоренную разработку. Он призвал всю отрасль замедлить темпы развития технологии. Эту позицию поддержали руководитель OpenAI Сэм Альтман и генеральный директор SpaceXAI Илон Маск.