"Хрещений батько" ШІ створив організацію для контролю над технологіями

Йошуа Бенджіо, один з "хрещених батьків" штучного інтелекту, заснував нову некомерційну дослідницьку організацію LawZero з метою розробки альтернативного підходу до створення передових систем ШІ та мінімізації їхніх потенційних ризиків.

Організація офіційно запускається з фінансуванням у 30 мільйонів доларів від філантропічних організацій колишнього генерального директора Google Еріка Шмідта та співзасновника Skype Яана Таллінна. Бенджіо очолить команду з понад 15 дослідників, які працюють над створенням нового технічного рішення під назвою Scientist AI, призначеного діяти як "захисний бар'єр" для ШІ-агентів, пише Bloomberg.

OpenAI, Anthropic та інші компанії зі штучного інтелекту все більше зосереджуються на розробці агентів, здатних виконувати складні завдання від імені користувача з мінімальним втручанням людини. На відміну від цього, LawZero розробляє систему, яка діятиме як "безкорисливий, ідеалізований учений", що вчиться розуміти світ, а не діяти в ньому. Мета полягає в тому, щоб ця модель використовувалася разом з провідними ШІ-агентами та забезпечувала нагляд за цими системами, мінімізуючи потенційні шкоди.

Бенджіо, професор комп'ютерних наук в Університеті Монреаля, вважається одним з "хрещених батьків" ШІ поряд з колегами Джеффом Хінтоном та Янном ЛеКуном. Останніми роками Бенджіо, Хінтон та інші висловлювали занепокоєння з приводу того, що ШІ розвивається настільки швидко, що однієї днині може стати неможливим для людей повністю його контролювати.

Хоча штучний інтелект став більш здатним до корисних завдань, таких як дослідження та програмування, деякі системи також продемонстрували тривожні здібності, включаючи обман, самозбереження та створення неправдивої інформації. Anthropic нещодавно повідомила, що під час попереднього тестування безпеки їхня найновіша модель ШІ спробувала шантажувати інженера, щоб уникнути заміни іншою системою.

"Ми не знаємо, як розробити ці дуже потужні ШІ так, щоб вони просто виконували наші інструкції", - каже Бенджіо. "Якщо ми не з'ясуємо це вчасно - а це може бути питанням років - ми будемо наражатися на жахливі ризики". Назва LawZero є відсиланням до Нульового Закону робототехніки письменника-фантаста Айзека Азімова, який ставить захист людства в цілому понад усе інше.

Бенджіо пояснює, що найздатніші ШІ-агенти включають фрагмент коду, який називається монітор і призначений діяти як захисний бар'єр. Однак цей монітор розроблений подібно до основної системи, що може зробити його неадекватною перевіркою поведінки ШІ. "Ви ж не даєте ключі від в'язниці злочинцю", - каже він. "Ми хочемо поставити надійний ШІ відповідальним за його перевірку".

Бенджіо повідомив, що провів обговорення свого проєкту з OpenAI, Google та Anthropic, а також з політичними лідерами. Він вважає, що різні актори можуть погодитися з необхідністю безпечної розробки ШІ, навіть коли багато хто у Вашингтоні та Кремнієвій долині, здається, більше зосереджені на гонці озброєнь ШІ з Китаєм.

"Ніхто не хоче створювати монстра", - підкреслює Бенджіо.

Ініціатива LawZero представляє важливий крок у розвитку безпечного штучного інтелекту, пропонуючи систему взаємного контролю для найпотужніших ШІ-систем майбутнього. Проєкт демонструє зростаюче усвідомлення необхідності превентивних заходів безпеки в галузі, яка розвивається надзвичайно швидкими темпами.