Уволенные исследователи OpenAI призвали не терять контроль над «мыслями» ИИ

Трое недавно уволенных сотрудников OpenAI призвали компанию сохранить возможность отслеживать работу всё более мощных моделей искусственного интеллекта. В письме к совету директоров и комитетам по безопасности, с которым ознакомилось издание The Wall Street Journal, они также призвали OpenAI сотрудничать с внешними аудиторами, оценивающими безопасность ИИ.

Речь идет прежде всего о так называемой «цепочке рассуждений» (chain-of-thought) — фиксации процесса логических выводов, с помощью которой разработчики анализируют, как модель выполняет поставленные задачи. Исследователи признают, что этот метод не даёт идеальной картины поведения или намерений модели, однако считают его важным инструментом для контроля всё более сложных систем.

«Как представители отрасли, мы пока не знаем, как безопасно разрабатывать и внедрять модели, работу которых мы не можем отслеживать. OpenAI и другие лидирующие компании в сфере ИИ не должны продолжать разработки, которые ещё больше ограничивают (возможности мониторинга ИИ)», — написали уволенные сотрудники.

Письмо подписали Жасмин Ванг, Томек Корбак и Никита Балесный, которые ранее работали в исследовательских группах OpenAI, занимавшихся безопасностью и согласованием целей ИИ с человеческими ценностями. На прошлой неделе WSJ сообщило, что компания уволила их из-за предполагаемых нарушений, в частности передачи конфиденциальной информации сторонней организации, занимающейся безопасностью ИИ.

В OpenAI заявили, что внутреннее расследование выявило ненадлежащее обращение сотрудников с конфиденциальной информацией, что стало «нарушением наших правил и подрывом доверия, которое является важным условием нашей работы». В то же время бывшие сотрудники в своем письме отметили, что не считали, будто «взаимодействовали с внешними сторонами вопреки своим должностным обязанностям».

По их мнению, увольнения также «оказывают угнетающее воздействие на тех, кто продолжает работать в OpenAI». Они призвали компанию сотрудничать с внешними аудиторами и формировать культуру прозрачности в отношениях с организациями, занимающимися безопасностью ИИ, чтобы снизить «риск возникновения действительно катастрофических последствий».

В OpenAI заявили, что поддерживают рекомендации, изложенные в письме. Руководитель исследовательского подразделения компании во внутреннем сообщении отметил, что решения об увольнении «не были связаны с выражением обеспокоенности по поводу безопасности или открытой критикой». Он подчеркнул, что возможность отслеживать работу моделей ИИ является для OpenAI «вопросом первостепенной важности», а привлечение сторонних экспертов — важной составляющей экосистемы безопасности.

«Мы высоко ценим их вклад в сферу безопасности ИИ, а также их готовность открыто высказывать мнение и подвергать сомнению существующие идеи», — говорится в сообщении представителя OpenAI.

Корбак и Балесный являются ведущими авторами научной статьи, опубликованной в прошлом году, о мониторинге процесса «цепочки мыслей» в моделях ИИ. Документ также подписали руководители OpenAI, Anthropic и Google DeepMind. Авторы статьи признавали несовершенство этого метода и его потенциальную уязвимость, но отмечали, что мониторинг «цепочки мыслей» обладает значительным потенциалом для выявления нежелательного поведения ИИ, поэтому отрасли следует искать способы его сохранения.

В последние месяцы ведущие разработчики ИИ столкнулись с внутренним кризисом из-за гонки за созданием суперинтеллекта. В прошлом месяце исследователь Джейкоб Коксон публично покинул Anthropic, обвинив ведущие лаборатории в опасной спешке и создании самосовершенствующихся систем без надлежащих гарантий безопасности. Его коллега Эван Гюбингер оценил вероятность катастрофического сценария для человечества в более чем 10%.

На фоне случаев выхода агентов ИИ из-под контроля глава Anthropic Дарио Амодей призвал скоординированно замедлить развитие самых мощных систем, что также поддержали генеральный директор OpenAI Сэм Альтман и глава SpaceXAI Илон Маск. Однако впоследствии Альтман заявил, что общество должно принять на себя часть рисков, связанных с этой технологией, чтобы извлечь из неё максимальную пользу.