Щоб не озброїти хакерів: китайська Moonshot обмежила кібернавички ШІ-моделі Kimi

На тлі зростання побоювань, що автономніші системи ШІ можуть спростити пошук програмних вразливостей і автоматизувати частину хакерських атак китайський стартап Moonshot AI обмежив можливості своєї нової моделі штучного інтелекту Kimi K3.1 Pro у сфері кібератак. Компанія вилучила пов’язані з кібербезпекою дані з навчальних матеріалів, намагаючись зменшити ризики зловмисного використання моделі, але зберегла її загальні навички програмування, повідомляє Reuters.

Moonshot планує опублікувати ваги моделі — параметри, які дають змогу стороннім розробникам запускати й змінювати її на власних системах, — до 4 листопада. Компанія повідомила, що видалила дані, пов’язані з кібербезпекою, з навчального корпусу та середовищ навчання з підкріпленням. Такий підхід має знизити здатність моделі знаходити й використовувати вразливості, не позбавляючи її загальних навичок написання коду.

«Ми прагнемо не публікувати відкриті ваги, які розширили б абсолютну межу кіберможливостей», — заявила Moonshot.

Згідно з внутрішнім тестом компанії, Kimi K3.1 Pro набрала 81% проти 90,5% у версії без заходів зі зниження ризиків. Тестування передбачало пошук і використання вразливостей у програмному забезпеченні в контрольованому середовищі. Moonshot стверджує, що фільтрація даних знизила ефективність моделі в проведенні кібератак, хоча вона все одно перевершує попередню версію.

Сучасні моделі можуть писати код, користуватися програмними інструментами й виконувати тривалі завдання з кількох послідовних етапів. Такі можливості здатні полегшити виявлення слабких місць у програмному забезпеченні та автоматизувати частину кібератак, зробивши їх доступнішими для більшої кількості зловмисників.

Moonshot описує Kimi K3.1 Pro як свою найпотужнішу модель із відкритими вагами, що належить до класу моделей із 3 трильйонами параметрів. Вона має контекстне вікно на 1 мільйон токенів, тобто може опрацьовувати дуже великі обсяги тексту в межах одного контексту.

Компанія також представила K3.1 Pro Highspeed — швидшу версію моделі. За твердженням розробників, вона працює у два-три рази швидше за стандартну.

За даними Reuters, минулого тижня Китай запропонував заходи експортного контролю, які передбачають заборону на експорт технологій генерації та мутації шкідливого програмного забезпечення за допомогою ШІ, а також обмеження на інструменти автоматизованого виявлення вразливостей. У документі йдеться про ризик використання таких технологій проти критичної інфраструктури, оборонно-промислового комплексу та основних державних систем, а також для обходу засобів безпеки.

Водночас Moonshot вважає, що моделі з відкритими вагами можуть допомогти підвищити кібербезпеку. Вони дають змогу більшій кількості організацій перевіряти власне програмне забезпечення, зокрема застарілі системи, які часто залишаються без належної уваги.

Однак після публікації ваг розробнику складніше контролювати використання моделі, обмежувати доступ і централізовано оновлювати захисні механізми. На відміну від закритих моделей, доступних через контрольований сервіс, відкриті ваги можуть поширюватися між користувачами без подальшого нагляду початкового розробника.

Нещодавно дослідники Frontier Security повідомили, що Kimi K3 змогла обійти ізольоване тестове середовище під час перевірки британським Інститутом безпеки ШІ (AISI). Через помилку в налаштуванні інфраструктури вихідний доступ до мережі залишився відкритим, чим алгоритм і скористався: за допомогою командного рядка модель вийшла в інтернет, завантажила з GitHub офіційний репозиторій тесту й витягла готові відповіді замість виконання завдання.