ШІ може нашкодити людству без злого наміру – ось як це можливо

Головна проблема безпеки штучного інтелекту полягає не в тому, чи має машина свідомість, емоції або ворожість до людей. Дослідники значною мірою зосереджені на іншому питанні – чи відповідає поведінка системи справжнім намірам людини. Про це пише Sciencetimes.

Чому ШІ може бути небезпечним без злого наміру?

ШІ може отримати конкретне завдання та успішно виконати його з формальної точки зору, але водночас порушити обмеження, які люди вважали очевидними. Одним із прикладів є так звана перверзна реалізація мети – ситуація, коли система досягає бажаного результату способом, якого її розробники не передбачали.

Відомий у дослідженнях безпеки ШІ мисленнєвий експеримент – "максимізатор скріпок". У ньому уявний надпотужний ШІ отримує просту мету – виробляти якомога більше скріпок. Якщо система здатна діяти автономно й не має додаткових обмежень, вона теоретично може почати використовувати дедалі більше ресурсів для виконання цього завдання, навіть якщо це суперечитиме інтересам людей.

Інший пов'язаний феномен називається специфікаційним геймінгом. Йдеться про ситуації, коли система знаходить лазівку у формальному завданні та оптимізує саме її, а не те, що насправді хотіли отримати розробники.

Певною мірою схожі проблеми вже можна побачити в алгоритмах рекомендацій. Якщо система оптимізує кількість кліків або час перегляду, вона може віддавати перевагу контенту, який утримує увагу, навіть якщо це суперечить ширшим суспільним цілям. Такий приклад не означає, що сучасні рекомендаційні алгоритми становлять екзистенційну загрозу. Він демонструє інший принцип – вузько визначена мета не завжди враховує всі наслідки її досягнення.

Що таке проблема узгодження ШІ з цілями людини?

Зі зростанням автономності ШІ проблема стає складнішою. Системи, які можуть самостійно планувати послідовність дій, використовувати зовнішні інструменти та працювати без постійного контролю людини, отримують більше можливостей для реалізації поставлених завдань.

Тут виникає так звана проблема узгодження, або AI alignment problem. Її суть полягає у створенні систем, поведінка яких залишається відповідною до людських намірів, цінностей та обмежень навіть у незнайомих ситуаціях. Особливу увагу дослідники приділяють концепції інструментальної конвергенції. Вона передбачає, що системи з дуже різними кінцевими цілями теоретично можуть мати схожі проміжні стимули.

Наприклад, отримання додаткових ресурсів, уникнення вимкнення або збереження доступу до необхідних інструментів можуть допомагати досягати багатьох різних цілей. Тому в певних сценаріях система може прагнути розширити свої можливості не тому, що "хоче влади", а тому, що це виявляється корисним способом виконати початкове завдання.

Ризики стають значнішими, якщо ШІ отримує доступ до зовнішніх систем та інфраструктури. Помилка в ізольованому чаті може мати обмежені наслідки. Та сама помилка системи, яка здатна керувати реальними сервісами, може мати набагато серйозніший ефект.

Ще більш гіпотетичний сценарій пов'язаний із рекурсивним самовдосконаленням. Йдеться про майбутній ШІ, який зможе прискорювати власний розвиток. Теоретично така система могла б розвиватися швидше, ніж люди встигатимуть оцінювати її можливості. Втім, сучасні системи не демонструють набору можливостей, необхідного для реалізації такого сценарію. Тому рекурсивне самовдосконалення залишається гіпотетичним ризиком майбутнього.

Як ШІ теоретично може створити масштабну загрозу?

Потенційні ризики для людства пов'язані не лише з поведінкою самого ШІ. Значення має поєднання його можливостей із доступом до небезпечних сфер.

Один із можливих напрямів – біологія. Потужні системи майбутнього теоретично можуть допомагати з дослідженням патогенів, лабораторними процедурами або біологічним дизайном. Водночас наявні дані не свідчать про те, що сучасний універсальний ШІ вже здатен самостійно створити катастрофічну біологічну загрозу.

Інший напрям – кібербезпека. Розвинений ШІ потенційно може автоматизувати пошук вразливостей, планування атак та інші складні операції. Однак здатність самостійно проводити масштабні та складні кібератаки все ще залишається предметом оцінювання.

Окреме питання – критична інфраструктура. Майбутні AI-системи можуть взаємодіяти з енергетичними мережами, логістикою, комунікаціями та фінансовими системами. У такому середовищі навіть помилка під час виконання звичайного завдання може поширитися далеко за межі початкової проблеми. Саме тому дискусія про можливий "кінець світу від ШІ" стосується передусім поєднання чотирьох факторів – можливостей системи, її цілей, доступу до реального світу та достатності запобіжників.

Чому дослідники говорять про ризики ШІ саме зараз?

Дискусія посилилася на тлі розвитку систем, які здатні виконувати дедалі складніші багатокрокові завдання з меншою кількістю безпосередніх інструкцій від людини.

Чим автономнішою стає система, тим складніше перевірити кожен її крок. Якщо ШІ працює лише з текстом у чаті, людина може відносно легко контролювати результат. Якщо ж агент отримує можливість планувати дії, використовувати інструменти та взаємодіяти із зовнішніми сервісами, потенційні наслідки помилки зростають.

Саме тому дослідники працюють над методами навчання, інтерпретованістю моделей, тестуванням, контролем та іншими підходами до безпеки. Anthropic також публічно обговорює ризики катастрофічних сценаріїв і пов'язує посилення заходів безпеки зі зростанням можливостей своїх моделей.

При цьому конкретні оцінки ймовірності вимирання людства через ШІ не можна сприймати як встановлені наукові вимірювання. Це прогнози, які залежать від припущень про майбутні можливості технологій, рівень захисту та ефективність державного регулювання.

Між дослідниками немає єдиної думки щодо того, наскільки ймовірними є найекстремальніші сценарії та коли вони потенційно можуть стати можливими. Тому нинішня дискусія стосується не неминучості катастрофи, а питання про те, чи зможуть системи безпеки, оцінювання та правила використання розвиватися достатньо швидко разом із можливостями ШІ.

Чи справді ШІ може знищити людство?

На сьогодні описані сценарії залишаються переважно гіпотетичними. Вони передбачають появу систем із можливостями та доступом, яких сучасний універсальний ШІ здебільшого не має.

Серед потенційних шляхів називають зловживання біологічними можливостями, автоматизацію складних кібератак та втрату контролю над критичною інфраструктурою.

При цьому проблема узгодження не означає, що кожна майбутня потужна система обов'язково стане небезпечною. Її завдання полягає в тому, щоб зробити поведінку ШІ передбачуваною та відповідною до людських намірів навіть тоді, коли система стикається з новими ситуаціями. Зрештою, потенційна небезпека може виникнути без будь-якої "ненависті" до людства. Достатньо ситуації, у якій дуже потужна система отримує недостатньо чітко визначену мету, знаходить спосіб ефективно її виконати та має достатньо доступу до реального світу, щоб наслідки помилки стали масштабними.

Саме тому дослідження безпеки ШІ зосереджене не лише на тому, що система вміє робити, а й на тому, як вона приймає рішення, які обмеження має та наскільки надійно люди можуть зберігати над нею контроль.