ИИ на пороге самосовершенствования: в Anthropic заявили об угрозе потери контроля

Компания Anthropic предупредила инвесторов, что в скором времени может достичь этапа рекурсивного самосовершенствования искусственного интеллекта (RSI). Речь идет о способности ИИ использовать себя для создания более мощных моделей, что потенциально ускорит технологический прогресс. В то же время в обновленной регистрационной заявке S-1A, которую Anthropic 2 ноября подала в Комиссию по ценным бумагам и биржам США (SEC), компания признает, что такие изменения могут опередить возможности людей по оценке рисков и обеспечению безопасности систем, сообщает TechCrunch.

Для критиков развития ИИ сценарий, при котором каждое следующее поколение моделей может развиваться быстрее предыдущего, представляет серьезную угрозу. Они опасаются, что система может стать настолько мощной, что люди утратят возможность контролировать её поведение, а сама она не будет учитывать вред, который может нанести при достижении поставленных целей.

Сторонники технологии, напротив, видят в RSI возможность значительно повысить производительность, ускорить научные открытия и создать инструменты, способные самостоятельно совершенствоваться. Поэтому рекурсивное самосовершенствование рассматривают и как потенциальное преимущество ИИ, и как риск, требующий контроля.

Anthropic признает обе стороны этого процесса. В заявке компания отмечает, что уже использует ИИ в собственных исследованиях и разработках, однако такое применение может создавать дополнительные угрозы.

«Использование искусственного интеллекта для создания более мощного искусственного интеллекта также может представлять значительный риск для безопасности, особенно если это резко ускорит темпы прогресса», — говорится в документе.

Компания добавляет, что эти риски охватывает её Политика ответственного масштабирования (Responsible Scaling Policy). Она определяет, как Anthropic планирует отслеживать потенциальные угрозы и снижать их по мере приближения к рекурсивному самосовершенствованию.

Когда термин RSI приобрел популярность в начале 2026 года, многие сомневались, что этот сценарий можно будет четко определить, измерить или подтвердить на практике. Однако в обновленной заявке Anthropic привела более конкретные предостережения. Компания признала, что ранее уже использовала ИИ для разработки новых моделей, не осознавая на тот момент масштаба скачка в их возможностях.

«В прошлом мы не обнаруживали и, возможно, не обнаружим в будущем значительного ускорения темпов нашего развития, пока оно не произойдет», — отмечает Anthropic.

В документе также говорится, что внутренние оценки и прогнозы относительно будущих моделей указывают на возможность быстрого достижения порога, который компания определяет как «значительно ускоренный прогресс, обусловленный искусственным интеллектом». Эта формулировка является частью собственной Политики ответственного масштабирования Anthropic. В то же время компания подчеркивает, что ни одна из её нынешних моделей ещё не пересекла этот порог.

Разработчик Claude также уверяет, что не планирует в ближайшее время передавать ИИ полный контроль над созданием следующих поколений моделей. В Anthropic заявили: «Мы не ожидаем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания следующих поколений моделей на пределе возможностей без содержательного человеческого надзора или понимания, если и когда это станет технически возможным». В связи с этим Anthropic рассматривает возможность обновления Политики ответственного масштабирования, чтобы обеспечить человеческий контроль над разработкой самых мощных моделей.

Однако к заявлениям компании могут возникнуть вопросы. Скептики обращают внимание на то, что регистрационная форма S-1 используется не только для раскрытия информации перед инвесторами, но и может выполнять маркетинговую функцию. Поэтому предупреждение о приближении создания ИИ, способного самостоятельно разрабатывать новые модели, можно рассматривать и как способ привлечь внимание к технологическим возможностям Anthropic.

Ранее Anthropic прогнозировала, что уже к концу 2026 года компактные модели искусственного интеллекта смогут автономно размножаться через уязвимые бытовые гаджеты без использования мощных дата-центров. Исследователи экспериментально доказали, что объединенная сеть из обычных дешевых ТВ-приставок способна поддерживать работу модели ИИ.