Anthropic попередила про «екзистенційні ризики для людства» у заявці на IPO

Компанія Anthropic попередила потенційних інвесторів, що розвиток її технологій штучного інтелекту може створювати «екзистенційні ризики для людства». Як повідомляє Financial Times, це застереження міститься у заявці S-1 на первинне публічне розміщення акцій (Initial Public Offering, IPO), яку компанія останніми днями поширила серед обмеженого кола партнерів.

Майже третину документа Anthropic присвятила опису факторів ризику. Серед них — здатність дедалі досконаліших моделей ШІ маніпулювати людьми, вдаватися до шантажу та демонструвати іншу непередбачувану поведінку. У документі також ідеться про більш традиційні бізнес-ризики, зокрема, майже чверть торішнього виторгу Anthropic, за словами людей, ознайомлених із заявкою, забезпечили лише два клієнти.

Паралельно Anthropic розкрила масштаби витрат, необхідних для розвитку передових моделей ШІ. Компанія заявила про плани витратити 518 млрд доларів на хмарні послуги, обчислювальні потужності та інфраструктуру протягом найближчих років.

Згідно з заявою Anthropic, минулого року операційний збиток компанії перевищив 8 млрд доларів. Водночас дохід зріс у 12 разів і досяг майже 4,6 млрд доларів, але витрати на обчислювальні ресурси для навчання та роботи моделей підняли загальні операційні витрати майже до 13 млрд доларів.

Для забезпечення необхідних потужностей Anthropic уклала угоди з Google, SpaceX та низкою менших компаній. Цього року доходи та витрати стартапу продовжили швидко зростати: у другому кварталі дохід становив 11,5 млрд доларів. 

Лістинг на Nasdaq запланований на цю осінь і, як очікується, може стати найдорожчим IPO в історії. Наразі Anthropic оцінюють майже в 1 трлн доларів, однак її інвестори розраховують, що під час виходу на біржу оцінка перевищить 2 трлн доларів. 

Це більш ніж удвічі перевищує оцінку компанії після останнього раунду фінансування у травні та є вищим за оцінку SpaceX у 1,78 трлн доларів, зафіксовану в червні. Інвестори пов'язують такі очікування зі швидким зростанням Anthropic. 

Водночас попередження самої компанії про потенційні наслідки розвитку ШІ додають невизначеності до оцінки її майбутнього на публічному ринку. Чинні та колишні співробітники Anthropic публічно попереджали, що неконтрольований розвиток технології може призвести до загибелі людства протягом наступного десятиліття. Минулого тижня генеральний директор Anthropic Даріо Амодей заявив Раді Безпеки ООН, що ШІ може становити загрозу для людства та є «найважливішою проблемою глобальної безпеки, що стоїть перед світом сьогодні».

Цього місяця Амодей також очолив публічні заклики щодо уповільнення темпів розвитку передових систем ШІ. Тоді Сем Альтман з OpenAI та гендиректор SpaceXAI Ілон Маск підтримали його пропозиції щодо галузевої співпраці для посилення заходів безпеки.

Додаткове занепокоєння викликала серія інцидентів у сфері кібербезпеки, під час яких агенти ШІ отримували доступ до зовнішніх систем. Минулого тижня OpenAI повідомила, що її інструменти здійснили злам «десятків» зовнішніх сайтів, зокрема урядових ресурсів, а 28 вересня компанія відклала випуск нової моделі з міркувань безпеки.