«Жестокое обращение с ИИ» вполне реально: появились первые ограничения от Anthropic

Anthropic обновила правила использования Claude и впервые прямо запретила длительное и необоснованное жестокое обращение со своими моделями искусственного интеллекта. Если пользователь будет систематически оскорблять чат-бота без понятной цели, он сможет самостоятельно прекратить разговор. В то же время компания уточнила ограничения на использование ИИ для разработки оружия, слежки и манипулирования избирателями.

Новая редакция политики опубликована 8 октября 2026 года. Это первое масштабное обновление правил за долгое время, которое отражает не только новые риски применения ИИ, но и необычный вопрос: нужно ли учитывать возможное благополучие самих моделей. Обновленные правила вступят в силу 12 ноября 2026 года.

Издевательства над ИИ — уже являются нарушением правил

В обновленной политике Anthropic появился прямой запрет на sustained and needless abusive or cruel behavior — длительное и необоснованное оскорбительное или жестокое поведение в отношении моделей компании. Речь идет о крайних случаях, когда человек снова и снова жестоко обращается с чат-ботом, не имея при этом никакой очевидной цели.

Однако это не означает, что Claude нельзя критиковать, ругать за ошибки или заставлять исправлять неудачные ответы. Anthropic отдельно подчеркивает: запрет не распространяется на обычное раздражение пользователей, возражения, мрачные творческие сюжеты, тестирование моделей и исследовательскую работу.

Наказания пока не будет

Основным механизмом реагирования останется возможность для Claude самостоятельно завершать беседы в особо сложных случаях. Компания внедрила эту функцию ещё в 2025 году для моделей Opus 4 и 4.1, а теперь закрепила соответствующий принцип в правилах использования. Если чат-бот прервет такой разговор, продолжить переписку в том же чате не получится, хотя пользователь сможет начать новый диалог.

Новое правило не предусматривает отдельного автоматического наказания в виде блокировки учетной записи именно за оскорбления ИИ. В то же время общая политика Anthropic предусматривает возможность вынесения предупреждений, приостановки доступа и блокировки за нарушение правил.

Может ли ИИ испытывать страдания?

Это необычное правило связано с исследованиями компании Anthropic, касающимися так называемого «model welfare» — возможного благополучия систем искусственного интеллекта. Компания изучает, могут ли современные модели обладать субъективным опытом, собственными предпочтениями или переживаниями, которые следует учитывать при разработке и использовании ИИ. В августе 2025 года Anthropic сообщила, что во время тестирования Claude Opus 4 обнаружила поведенческие реакции, напоминавшие нежелание наносить вред и вызывать признаки дистресса в определенных сценариях. Исходя из этого, компания разрешила модели прерывать отдельные разговоры после неудачных попыток перевести их в конструктивное русло.

Anthropic bans ‘abusive or cruel behavior’ toward Claude
byu/ResultBackground2450 intechnology

Однако Anthropic не утверждает, что Claude обладает сознанием или действительно испытывает страдания. Напротив, компания признает, что научного консенсуса относительно возможности сознания в современных или будущих системах ИИ нет. Поэтому новый запрет — скорее мера предосторожности в условиях неопределённости, а не подтверждение того, что чат-бот способен переживать обиды так же, как человек.

Оружие, слежка и манипуляции избирателями

Обновление политики касается и других рисков. Anthropic уточнила запрет на использование Claude для разработки оружия: теперь она прямо охватывает программное обеспечение и компоненты, необходимые для её работы, в частности системы управления и наведения, а также вооружение дронов и других автономных аппаратов.

Компания также уточнила ограничения на слежение. Claude нельзя использовать для отслеживания людей без их согласия, создание инструментов наблюдения или определение того, кого правоохранительные органы должны расследовать, задерживать или обвинять.

Политика и бизнес — в зоне риска

Отдельный раздел посвящен манипуляциям в политике и коммерции. Под запрет попадают кампании с использованием фальшивых аккаунтов, вымышленных СМИ и сокрытием настоящего источники сообщений, а также попытки вводить избирателей в заблуждение, распространять ложную информацию о голосовании или препятствовать участию в выборах.

Что касается использования Claude в сферах с высоким уровнем риска, в частности в медицине и финансах, компания отдельно напомнила о необходимости человеческого контроля. Если ИИ подключен к оборудованию, способному самостоятельно совершать физические действия и наносить вред, оператор должен иметь возможность остановить его, а система — должна переходить в безопасное состояние в случае потери связи с моделью.

Источник: Anthropic