"Может пойти очень плохо": Альтман предупредил о жутких сценариях развития ИИ

Генеральный директор OpenAI Сэм Альтман назвал два сценария развития искусственного интеллекта, которых, по его мнению, человечество должно избежать.

Об этом Альтман написал в соцсети Х.

Его заявление прозвучало после того, как глава Anthropic Дario Амодеи призвал замедлить развитие мощнейших моделей искусственного интеллекта и усилить контроль над технологией.

12 сентября Амодеи опубликовал эссе We Must Pace the Frontier, в котором предложил план по трем пунктам для замедления развития ИИ. Он предупредил о рисках, которые быстрое усовершенствование технологии может создавать для общества.

Альтман поначалу согласился с необходимостью такого подхода.

«Я соглашаюсь с Дario, что нам нужно установить темп развития передовых технологий», — написал глава OpenAI в соцсети X.

По его словам, OpenAI уже предпринимает дополнительные меры безопасности. В частности компания заранее формирует специальные оценки безопасности перед запуском обучения передовых моделей с подкреплением, если ожидается существенный рост их возможностей.

Альтман также призвал другие компании разрабатывать собственные подходы и общие стандарты контроля, мониторинга и безопасности ИИ.

Какие два сценария пугают Альтмана

Позднее Альтман отдельно описал собственное видение главных рисков развития искусственного интеллекта.

«Есть два способа, как развитие ИИ может пойти очень плохо, и которых мы должны избежать», — написал он в X.

Сценарий №1: человечество потеряет контроль над будущим ИИ

«Мы можем потерять контроль над будущим из-за ИИ. Это неприемлемо», — заявил Альтман.

Он подчеркнул, что OpenAI однозначно выступает на стороне человечества, а искусственный интеллект, по его словам, всегда должен служить людям.

Для этого, считает глава OpenAI, необходимо обеспечить, чтобы методы согласования поведения ИИ с человеческими целями и технологии безопасности развивались быстрее или не отставали от роста возможностей моделей.

Сценарий №2: чрезмерная концентрация власти

Альтман опасается, что мир может оказаться в ситуации, когда очень мощный искусственный интеллект будет контролировать один человек или одна компания.

«Если чрезвычайно мощный ИИ будет использован одним человеком или компанией, чтобы навязать всем другим свое видение мира, последствия могут быть чрезвычайно антиутопическими», — написал он.

Именно поэтому Альтман согласен с идеей Амодеи относительно «замедления» развития передовых систем ИИ.

В то же время глава OpenAI уточнил, что речь идет не об остановке прогресса.

«Когда мы говорим о „замедлении“, мы не подразумеваем „остановку“. Прогресс был быстрым и будет продолжаться. Но он должен быть медленнее, чем мог бы быть при других условиях», — объяснил Альтман.

По его мнению, подобная цена за дополнительную безопасность будет оправдана.

Ранее Альтман также заявлял, что компаниям, которые разрабатывают все более мощный искусственный интеллект, необходимо действовать ответственно, а общество должно быть уверено в безопасности таких технологий.