Новый ИИ-софт от Anthropic управляет компьютером вместо пользователя — как это работает

Компания Anthropic представила новый инструмент искусственного интеллекта Computer Use вместе с обновленными версиями своих языковых моделей — Claude 3.5 Sonnet и Claude 3.5 Haiku. Computer Use может управлять курсором мыши пользователя и выполнять базовые задачи на компьютере.

Обновленная версия Claude 3.5 Sonnet демонстрирует улучшения по всем показателям, особенно в сфере программирования, где модель уже была лидером отрасли. Claude 3.5 Haiku по многим параметрам достигает производительности Claude 3 Opus — предыдущей самой мощной модели компании, сохраняя при этом прежнюю стоимость и скорость работы.

С помощью Computer Use система выполняет многошаговые инструкции для работы с компьютером: просматривает экран, двигает курсор, нажимает кнопки и вводит текст. На этом этапе инструмент доступен только через API и работает с моделью Claude 3.5 Sonnet.

Для успешного управления курсором Computer Use использует особый механизм работы: система делает последовательные снимки экрана и вычисляет количество пикселей для точного перемещения курсора. Именно способность правильно считать пиксели стала ключевой для выполнения команд.

Впрочем, текущая версия инструмента имеет определенные технические ограничения. Из-за работы с отдельными снимками экрана, а не видеопотоком, система может пропускать кратковременные оповещения. Также Computer Use пока не освоил некоторые распространенные действия, например, перетаскивание объектов.

Перед публичным запуском Anthropic привлекла к тестированию нескольких мощных партнеров. Среди компаний, которые испытали Computer Use, — Amazon, Canva, Asana и Notion. Их опыт помог усовершенствовать систему перед открытым бета-тестированием.

В сфере разработки подобных инструментов наблюдается жесткая конкуренция. Главный соперник Anthropic — компания OpenAI — также работает над похожей технологией, но пока держит ее в закрытом доступе. Аналитики прогнозируют, что в течение следующих лет такие инструменты будут генерировать значительные прибыли.

Учитывая потенциальные риски, Anthropic позаботилась о защите от злоупотреблений. Компания внедрила системы обнаружения подозрительной активности и установила ограничения: Computer Use не может взаимодействовать с социальными сетями, регистрировать домены или работать с правительственными сайтами. Разработчики могут присоединиться к публичному бета-тестированию на официальном сайте Anthropic.

Также от Anthropic не отстает компания Microsoft, которая недавно представила масштабное обновление своего искусственного интеллекта Copilot, добавив ему возможности голосового общения и распознавания изображений.

Источник: Arstechnika, Anthropic