"Все погибнут": эксперт по безопасности ИИ объяснил, почему больше не откладывает на старость

Бывший инженер Google и Microsoft Нейт Соарес, возглавляющий Исследовательский институт машинного интеллекта (MIRI), перестал вносить пенсионные взносы. Он считает, что вероятность уничтожения человечества искусственным интеллектомв течение следующих десяти лет превышает 50%.

Об этом пишет Business Insider.

По словам Соареса, у него есть пенсионный счет 401(k), открытый ещё во время работы в Google, однако он не пополнял его уже около десяти лет. Свою позицию он объяснил в недавнем интервью генеральному директору The Atlantic Николасу Томпсону для его серии «Самое интересное в ИИ».

Пессимизм исследователя связан с риском появления сверхмощных систем искусственного интеллекта, которые могут действовать вопреки интересам людей. Соарес более 12 лет занимается проблемой согласования ИИ — разработкой подходов, которые должны обеспечить соответствие поведения таких систем человеческим намерениям.

До прихода в MIRI — некоммерческую организацию из Беркли, занимающуюся исследованием рисков искусственного интеллекта, — он работал инженером в Google и Microsoft. Соарес также является соавтором книги «Если кто-то это построит, погибнут все».

В отличие от некоторых других специалистов, которые допускают возможность катастрофы, но оценивают её вероятность как относительно невысокую, Соарес считает угрозу гораздо более серьёзной. В частности, исследователь Джеффри Хинтон оценивал вероятность уничтожения человечества искусственным интеллектом в течение десятилетия в 10%, а исследователь из Anthropic Эван Губингер называл оценку, превышающую 10%.

Как сверхмощный ИИ может стать угрозой для человечества

Соарес предупреждает, что достаточно развитый искусственный интеллект может сформировать собственные цели, несовместимые с выживанием людей. Такая система, согласно его сценарию, могла бы научиться уклоняться от человеческого контроля, самостоятельно совершенствоваться и создавать автоматизированную инфраструктуру для работы без участия человека.

В худшем случае ИИ мог бы перестроить планету в соответствии со своими задачами, сделав её непригодной для жизни человечества. Соарес подчеркивает, что речь идет не просто о потере рабочих мест или экономических потрясениях, а об экзистенциальной угрозе.

В то же время исследователь не считает такой сценарий неизбежным. Он призывает правительства прекратить обучение моделей искусственного интеллекта общего назначения, которые могут обрести чрезвычайно широкие возможности. Вместо этого, по его мнению, следует сосредоточиться на разработке узкоспециализированных систем — например, для исследования рака или повышения безопасности автономных автомобилей.

«Решение заключается в том, чтобы не строить то, что убьет всех», — сказал Соарес, добавив, что делает все возможное, чтобы предотвратить такое развитие событий.

Илон Маск тоже считает пенсию лишней

Сомнения относительно целесообразности долгосрочных пенсионных накоплений ранее высказывал и генеральный директор Tesla и SpaceX Илон Маск. Однако его прогноз принципиально отличается от позиции Соареса.

В январе Маск заявил, что через 10–20 лет людям, возможно, не придётся беспокоиться о накоплениях на старость. По его мнению, развитие искусственного интеллекта, робототехники и энергетики может привести к эпохе изобилия, когда товары и услуги станут дешевле, а люди будут получать высокий доход.

Маск также высказал предположение, что в условиях, когда ИИ и роботы превзойдут людей в решении большинства задач, деньги могут утратить привычное значение. В таком будущем пенсионные накопления, по его логике, могут оказаться ненужными.

Однако эксперты по личным финансам и специалисты по искусственному интеллекту, с которыми пообщался Business Insider, призвали не отказываться от пенсионных сбережений, несмотря на технологические прогнозы.