Microsoft навчила Copilot сканувати вміст браузера

Microsoft значно розширила функціонал свого ШІ-помічника Copilot, впровадивши в нього функцію Copilot Vision, яка тепер дає змогу безоплатно сканувати й інтерпретувати вміст веб-сторінок безпосередньо в браузері Edge. Про це, як пише The Verge, у своєму акаунті Bluesky повідомив генеральний директор Microsoft AI Мустафа Сулейман.

Copilot Vision являє собою “розмовний інтерфейс”, як його називають у Microsoft. Це означає, що користувачі можуть взаємодіяти з ШІ, ставлячи запитання голосом, а Copilot відповідатиме, ґрунтуючись на візуальній інформації з екрана.

За словами Сулеймана, якщо користувач погодиться на активацію функції, Copilot Vision зможе “буквально бачити те, що ви бачите на екрані”. Він запропонував кілька сценаріїв використання: наприклад, Copilot Vision може допомогти вам слідувати рецепту під час готування або “розшифрувати” опис вакансії, щоб одразу ж перейти до індивідуальної підготовки до співбесіди або мозкового штурму для супровідного листа. Важливо зазначити, що, згідно зі сторінкою підтримки Microsoft, “Copilot Vision може виділяти частини екрана, щоб допомогти знайти релевантну інформацію”, але він не натискає на посилання і не виконує жодних дій від імені користувача.

Ширші, системні функції Copilot Vision поки залишаються ексклюзивними для передплатників Copilot Pro. З підпискою Vision виходить за рамки Edge, даючи змогу ШІ допомагати у використанні функцій у таких додатках, як Photoshop або програми для редагування відео, а також давати підказки в іграх, наприклад, у Minecraft.

Microsoft підкреслює, що компанія реєструє відповіді Copilot, але не збирає користувацькі запити, зображення або вміст сторінок під час сеансу Copilot Vision. Користувач може припинити загальний доступ до екрана для Copilot, завершивши сеанс або закривши вікно браузера.