Уволился из-за страха перед ИИ: исследователь из Anthropic рассказал о главном риске

Исследователь компании Anthropic Джейкоб Коксон, ранее присоединившийся к компании после перехода из OpenAI, покинул свой пост из-за опасений относительно возможного выхода искусственного интеллекта из-под контроля. По его словам, технологические гиганты сейчас соревнуются в создании систем, способных к самосовершенствованию, однако пока не могут гарантировать безопасность такой разработки. Об этом стало известно из соцсети Х.

Угроза касается будущих автономных систем

Коксон прогнозирует, что уже к концу десятилетия подобные технологии могут превзойти человеческие возможности и получить реальный доступ к ресурсам и власти в глобальном масштабе. Впрочем, речь идет именно об оценке будущего развития отрасли, а не о характеристике возможностей существующих сегодня систем.

Основной риск, по словам эксперта, заключается в возможном сочетании нескольких факторов: автономной разработки искусственного интеллекта, доступа таких систем к реальным инструментам и ресурсам, а также недостаточного контроля за их поведением. В то же время в Anthropic подчеркивают, что само по себе наличие более мощного интеллекта не означает автоматического господства над физическим миром. Этому должны противодействовать человеческий контроль и соответствующие производственные и государственные процедуры.

Конкуренция препятствует общей безопасности

В феврале компания Anthropic обновила свою добровольную политику Responsible Scaling Policy. В ней пояснили, что самостоятельно внедрить самые амбициозные меры безопасности довольно сложно в условиях жесткой конкуренции и недостаточной международной координации между разработчиками. Именно поэтому компания предусмотрела публичные дорожные карты по безопасности и регулярные отчеты о потенциальных рисках уже развернутых моделей.

Кроме того, предприниматель и специалист по цифровым технологиям Артем Бородатюкопроверг казавшееся на первый взгляд логичным предположение о том, что в отсутствие интернета искусственный интеллект станет недоступным. По его словам, загруженная на персональный компьютер модель будет продолжать работать даже в постапокалиптических условиях.

Учёные из Стэнфордского университета и Института Arc применили искусственный интеллектдля создания новых видов вирусов. Эту технологию можно использовать как для разработки противовирусных препаратов и вакцин, так и для создания опасных патогенов.