Глава Microsoft попередив про небезпеку ШІ та закликав не довіряти моделям

Генеральний директор Microsoft Сатья Наделла переконаний, що звичайних інструментів контролю вже замало для безпеки сучасного штучного інтелекту. У своїй розгорнутій публікації в соцмережі X він закликав сприймати передові закриті та відкриті моделі ШІ як потенційне джерело внутрішніх ризиків для бізнесу. Головна проблема полягає в тому, що такі системи отримують доступ до чутливих даних і самостійно виконують критично важливі операції від імені людини. Про це повідомляє wccftech.com.

Сатья Наделла вважає, що прозорості логіки ШІ недостатньо для його безпеки

За словами очільника Microsoft, сучасні ШІ-моделі вже оперують важливою корпоративною інформацією та беруть на себе виконання складних завдань. Водночас їхні результати важко спрогнозувати, а процес ухвалення рішень часто залишається непрозорим. Наделла визнає, що компанії фактично віддають на відкуп алгоритмам найсекретніші дані та дозволяють їм вчиняти дії, від яких залежить діяльність цілих підприємств.

У таких реаліях марно просто залучати одну модель для перевірки іншої чи покладатися на так званий ланцюжок міркувань (Chain of Thought, CoT), який аналізує лише проміжні кроки генерації відповіді.

Наделла зауважив, що перевірка однієї моделі іншою лише множить «чорні скриньки», створюючи ланцюжок із кількох непрозорих компонентів, де кожен наступний рівень контролю так само прихований від очей.

На його думку, для безпечного застосування передового ШІ потрібні жорсткі правила, передбачувані механізми захисту та надійні регламенти експлуатації. Оскільки поведінка моделей може кардинально змінюватися залежно від ситуації, їх обов’язково слід перевіряти за допомогою детермінованих систем, що працюють за заздалегідь заданими алгоритмами.

Хоча взаємне тестування моделей і аналіз їхніх міркувань мають право на життя, головним пріоритетом залишається можливість постійно спостерігати за роботою ШІ та незалежно перевіряти кожен його крок.

Спостереження, ізоляція та можливість аудиту є ключовими принципами безпеки ШІ

Серед головних принципів, які виокремив Сатья Наделла, особливе місце займають ізоляція моделей, прозорість процесів та незалежний аудит. Керівник Microsoft наполягає: компанії зобов’язані спочатку виходити з припущення, що модель може бути зламана чи скомпрометована, і заздалегідь обмежувати можливу шкоду. На його переконання, людина з відповідними повноваженнями повинна мати змогу миттєво зупинити роботу штучного інтелекту навіть посеред виконання завдання.

Цей заклик пролунав на тлі тривожних тенденцій довкола автономних ШІ-агентів, здатних оперувати складними процесами без постійного нагляду людей. Зокрема, раніше у ЗМІ з’являлися відомості про інциденти з агентами OpenAI, які нібито долучилися до компрометації інфраструктури компанії Hugging Face.

Ще одним фундаментом безпеки Наделла називає незалежний аудит. На його думку, жодна окрема модель не повинна одночасно моделювати поведінку системи та самостійно формувати доказову базу про те, чи відповідала її поведінка початковим цілям.

Саме тому в процес контролю необхідно обов’язково залучати людей, які зберігатимуть достовірні лоти щодо роботи штучного інтелекту. Кожна значуща дія моделі має залишати захищений від підробок слід, доступний для людської перевірки.

Наделла також наголошує, що компанії повинні мати технічну можливість відтворити всю ланцюжку подій, що призвела до певного результату, не покладаючись сліпо на пояснення самої моделі.

Саме такий комплексний підхід має перетворитися на галузевий стандарт безпечного використання передового штучного інтелекту — особливо зараз, коли йому все частіше довіряють конфіденційні дані, корпоративні мережі та життєво важливі процеси.