Программист предсказал будущее Generative AI

В последние несколько лет генеративный искусственный интеллект – самая перспективная отрасль технологий. В отличие от традиционного ИИ, который решает задачи на основе уже существующих данных, Generative AI способен создавать совершенно новые объекты, например, тексты, изображения, видео и даже программный код. В медицине генеративный ИИ используется для улучшения медицинской диагностики и создания новых молекул, которые становятся основой для новых лекарств.

Перечислять достоинства генеративного ИИ можно долго, поскольку в каждой сфере экономики и жизни этой инновации нашлось достойное применение. Возможно, потому что Generative AI открывает перед человечеством безграничные возможности, он стал и самой обсуждаемой темой на форумах и в кулуарах. При этом не в последнюю очередь всех интересует, что будет через несколько лет.

Наш собеседник – старший инженер-программист компании Writer Дмитрий Мозолевский, который вплотную занимается генеративным искусственным интеллектом. При его участии была разработана одноименная с компанией полнофункциональная платформа Writer, которую используют такие корпорации-гиганты как L'Oréal, Salesforce, Intuit, Blackrock. Именно этому эксперту мы задали несколько вопросов о будущем Generative AI.

– Дмитрий, в целом как эксперт, каким вы видите будущее генеративного ИИ, скажем, в ближайшие 5 лет?

– Откровенно говоря, крайне сложно представить, каким это будущее может быть. У каждой технологии есть свои ограничения и иногда нужен какой-то существенный прорыв, чтобы вышло какое-то кратное улучшение.

Например, когда-то была некая стагнация процессоров, потому что весь прогресс упирался в количество мегагерц на одном ядре. Только через некоторое время пришли люди с архитектурой множественных ядер (смеется) и это существенно толкнуло прогресс CPU вперед. В 2006 году Intel Core Duo стал массмаркет-примером этой технологии.

Следующий по-настоящему крутой прорыв произошел с М1 на ARM-архитектуре аж в 2020 году! Это был ожидаемый, но все-таки "черный лебедь".

– То же самое происходит с ИИ-моделями?

– Совершенно верно. Ранние модели, которые распознавали паттерны, были еще в 1960-х. Время шло, они становились все лучше, появлялись новые типы. Но прорыв случился только в 2017 году, с публикацией исследования "Attention Is All You Need", где была предложена deep learning-архитектура под названием "Трансформер". На этом типе архитектуры построены GPT-модели, которые используются в ChatGPT.

Все мы думали, что сила этой архитектуры масштабируется размером модели, но оказалось у нее есть ограничения. На определенном объеме токенов становится уже неважно, какой размер и никаких больших добыч не приходит, но цена работы этой модели сильно возрастает.

– Тогда OpenAI придумала О1?

– Да, и этим запустила тренд на "думающие" модели. Но по факту в этом нет никакого технологического прорыва. Это, скорее, оптимизация существующих возможностей. Как раз поэтому, сознавая, что сегодня у трансформеров уже есть свой потолок, мы в Writer и начали тренировать "специфические отраслевые модели". Так называемый fine-tuning не до конца решает проблему, потому мы решили сконцентрироваться на моделях, которые предназначены для конкретных индустрий.

Поэтому лично мне кажется, что если через пять лет не случится никаких "черных лебедей", генеративный ИИ станет инструментом для создания прекрасных продуктов для оптимизации процессов.

– Например?

– Например, как веб-приложения, куда люди вначале просто складывали данные и вытаскивали их по мере надобности, а в какой-то момент взяли и построили отличную автоматизацию, и этим перевернули мир.

Генеративный искусственный интеллект и агентская архитектура вполне могут стать новым верхним слоем уже существующих инструментов, который внесет автоматическое принятие решений на основании типичных случаев. Вот так например (смеется).

– А если "черный лебедь" все же случится?

– Если "черный лебедь" минимизирует галлюцинации моделей и сделает их на 100% точными, вполне возможно, мы проснемся совсем в другом мире.