Apple выпустила прототип инструмента искусственного интеллекта, анимирующего изображения по текстовому описанию

Штатные исследователи Apple представили Keyframer, прототип инструмента генеративной анимации с искусственным интеллектом, который позволяет добавлять движение к 2D-изображениям, описывая, как их надо анимировать.

В исследовательской статьи Apple заявила, что большие языковые модели (LLM) « недостаточно изучены» по анимации, несмотря на потенциал, который они продемонстрировали в других творческих средах, например письмо и генерация изображений. Инструмент Keyframer, работающий на основе LLM, подается как один из примеров применения этой технологии, передает The Verge.

Используя GPT4 от OpenAI в качестве базовой модели, Keyframer может принимать файлы масштабируемой векторной графики (SVG) — формат иллюстраций, который можно изменять без ущерба для качества — и генерировать CSS-код, чтобы анимировать изображения на основе текстовой подсказки. Пользователь загружает изображение, вводит подсказку вроде «Пусть звезды мерцают» и нажимает кнопку «Сгенерировать». Приведенные в исследовании примеры, показывают, как иллюстрация Сатурна может переходить на разные фоны или показывать исчезающие и появляющиеся на переднем плане звезды.

Пользователи могут создавать несколько анимационных дизайнов в одном пакете и настраивать такие свойства, как цветовые коды и продолжительность анимации. Опыт кодирования не требуется, поскольку Keyframer автоматически преобразует эти изменения в CSS, хотя сам код можно полностью редактировать.

Однако, впереди еще долгий путь. Keyframer еще не является общедоступным, а исследование пользователей в рамках научной работы Apple включало только 13 человек, которые могли использовать только два простых, предварительно выбранных SVG-изображения, экспериментируя с инструментом.

Apple также осторожно упоминает о своих ограничениях, указывая, что Keyframer сосредотачивается на веб-анимации, такой как последовательности загрузки, визуализация данных и анимированные переходы. В отличие от этого, анимация, которую вы видите в фильмах и видеоиграх, слишком сложна для создания с помощью одних только описаний — по крайней мере, пока.