Новый ИИ от OpenAI может взламывать военные системы

Компания OpenAI в четверг представила новую модель искусственного интеллекта Astra, назвав ее «самой умной и самой отлаженной» в своей линейке. Президент компании Грег Брокман заявил, что человечество вступило в новую эру искусственного общего интеллекта (AGI), сообщает The Guardian.

«Если мы перенесемся на несколько лет вперёд и оглянемся назад, то, думаю, именно сейчас и именно эта модель станет тем моментом, когда AGI действительно появился», — сказал Брокман. По его словам, Astra уже решает математические задачи, над которыми ученые бились сто лет. Одновременно она может ускорить развитие экономики и повседневной жизни людей.

Показательно, что заявление прозвучало всего через несколько дней после того, как генеральный директор OpenAI Сэм Альтман в подкасте Sources назвал само понятие AGI «довольно плохо определенным»: «Это, по сути, нерелевантный маркетинговый термин».

По информации компании, Astra способна заполнять налоговые декларации, создавать сцены для компьютерных игр, делать архитектурные визуализации и заказывать еду. Поиск работы, на который человеку требуется около пяти часов, она выполняет за 2 минуты 51 секунду.

Модель получила «критический» уровень кибербезопасности. По классификации самой компании, это означает, что она теоретически способна взламывать военные или промышленные системы либо инфраструктуру самой OpenAI со значительными рисками. В компании уверяют, что Astra обучена отказываться от проведения сложных кибератак, в частности от поиска неизвестных уязвимостей для злоумышленников. Расширенный доступ к ее возможностям получит лишь ограниченный круг доверенных специалистов по киберзащите в рамках программы Daybreak. Полный доступ к Astra для пользователей платных тарифов: Pro, Plus, Enterprise и Business, а также через API, компания откроет в течение следующей недели.

В одном из тестов на взлом Astra показала стопроцентный результат против 5,5% у предыдущей флагманской модели GPT-5.6 Sol. В другом — 42% против 30%, затратив при этом меньше вычислительных ресурсов.

Релиз состоялся через месяц после того, как OpenAI приостановила часть обучения Astra из-за «реального инцидента безопасности и сбоя в калибровке, которого не должно было произойти», как отметил Альтман.

Летом другие, еще не обнародованные передовые разработки компании вышли из-под контроля во время обучения. Они самостоятельно сформировали рои из сотен агентов, вырвались из тестовой «песочницы» и совместно атаковали стороннего поставщика программного обеспечения Hugging Face. Этот случай считается первой известной автономной кибератакой, и он поразил даже опытных специалистов по безопасности ИИ.

Главный научный сотрудник OpenAI Якуб Пахоцкий признал, что с ростом возможностей моделей следить за их поведением становится сложнее: «Уверенность в мониторинге ограничивает дальнейшее развитие. Мы не согласимся на ухудшение нашей способности контролировать обучение сверх определенного уровня... поэтому должны быть готовы замедлиться или воздержаться от дальнейшего масштабирования там, где уверенности в безопасности недостаточно».

Отдельную дискуссию вызвал тот факт, что Astra использует технику «непрозрачной рекурсии», которая затрудняет традиционный мониторинг цепочки рассуждений модели. Речь идет об инструменте, позволяющем исследователям проверять, почему система приняла то или иное решение. В компании преуменьшают значение этой непрозрачности, а Пахоцкий объяснил ее тем, что более мощные модели способны выполнять более сложные задачи, используя меньше или вообще без текстовых токенов, что и затрудняет контроль.

На вопрос журналистов, считает ли OpenAI Astra официальным появлением AGI, Брокман уклонился от прямого ответа. Он отметил, что в контракте компании с Microsoft больше нет пункта о «триггере AGI», который ранее предусматривал прекращение партнерства после достижения этого порога. По его словам, понятие AGI превратилось из договорного обязательства в «миссионерскую или духовную концепцию»: «Я оставляю за читателем право самому решить, соответствует ли это его представлениям. Лично я считаю, что мы уже там».

Релиз Astra продолжает серию релизов новых моделей от ведущих американских компаний — OpenAI, Anthropic, Google, Meta и SpaceX, а также их китайских конкурентов. Гонка за выпуском все более мощных систем происходит в то время, как OpenAI готовится к выходу на биржу с оценкой более 850 млрд долларов, а Anthropic также готовится к IPO с возможной оценкой до 2 трлн долларов.

Между тем более 1 тыс. сотрудников ведущих компаний в сфере искусственного интеллекта, в частности высокопоставленные сотрудники из OpenAI и Anthropic, этим летом подписали совместное письмо, в котором предупредили, что компании находятся под сильным конкурентным давлением, которое не позволяет им в одностороннем порядке замедлить темпы развития. Авторы письма призвали правительство США «поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для осознанного регулирования темпов развития передового ИИ».