Цифровая подпись для нейросетей: как работает новая система проверки ИИ от Anthropic

Компания Anthropic работает над открытой системой FlashProve, которая позволит криптографически подтверждать, какая именно модель искусственного интеллекта создала тот или иной результат. Она призвана защитить пользователей от ситуаций, когда компании незаметно подменяют одну модель другой или ложно заявляют об использовании передовых систем, сообщает TechCrunch.

Как будет работать FlashProve

По данным Anthropic, система предназначена для обеспечения так называемого доказательного вывода — криптографического подтверждения того, что конкретный результат получен от определенной модели. Это должно позволить пользователям проверять, действительно ли ответ поступил от той системы, с которой они, как им кажется, взаимодействуют.

Исследователи сравнивают этот подход с криптографическими подписями в электронной почте. Они позволяют проверить, действительно ли сообщение поступило от заявленного отправителя, а FlashProve должен выполнять аналогичную функцию для моделей ИИ.

В частности, технология может препятствовать компаниям незаметно заменять более мощную модель на более дешевую, чтобы сократить расходы, или, наоборот, использовать более дорогую систему для искусственного завышения показателей производительности. При этом проверка должна работать даже в том случае, если попытку подмены осуществляет сама лаборатория, разработавшая модель и предоставляющая к ней доступ.

Проверка заявлений об использовании ИИ

FlashProve также может помочь проверять утверждения компаний и разработчиков о том, что определенную работу выполнила передовая модель. Например, разработчик может заявить, что проверил свою программную библиотеку на уязвимости с помощью специализированной модели кибербезопасности, или компания — что её бизнес-план одобрила соответствующая система ИИ.

«Как пользователь может проверить эти заявления?» — пишут исследователи Anthropic.

Для работы системы лаборатории ИИ должны публиковать цифровой «отпечаток» каждой выпущенной модели. Его можно будет сопоставить с результатом работы системы и проверить криптографическими методами.

В то же время такие отпечатки не будут раскрывать веса модели — внутренние числовые параметры, определяющие её поведение. Это важно для таких компаний, как Anthropic и OpenAI, которые не публикуют эти данные и считают их коммерческой тайной.

Систему также разрабатывают таким образом, чтобы она требовала небольшого количества вычислительных ресурсов и могла работать непосредственно на устройстве пользователя. Это должно упростить проверку результатов без необходимости обращения к отдельной инфраструктуре.

Исследовательский проект

Вместе с объявлением Anthropic опубликовала техническую спецификацию FlashProve и рабочий код отдельных компонентов системы. Они доступны на GitHub по лицензии с открытым исходным кодом.

Однако компания подчеркивает, что работа над системой продолжается и планов по её внедрению в Anthropic или других лабораториях пока нет. Исследователи называют эту публикацию промежуточным результатом, которым хотят поделиться с научным сообществом.

«Мы делимся этим с целью, чтобы другие посмотрели на то, что мы сделали, учли это и усовершенствовали», — подытожили разработчики.

Ранее Anthropic в обновленной регистрационной заявке для выхода на биржу предупредила Комиссию по ценным бумагам и биржам США о приближении к рекурсивному самосовершенствованию искусственного интеллекта. Этот процесс предполагает способность ИИ самостоятельно разрабатывать более мощные модели, что может резко ускорить технологический прогресс и опередить способность человека контролировать риски.