GitHub навчив Copilot генерувати код по фото і розуміти голосові команди

Платформа GitHub анонсувала низку оновлень для Copilot, а також дала уявлення про «агентне майбутнє» свого помічника в програмуванні на базі ШІ.

Серед помітних оновлень є функція під назвою Vision for Copilot, яка дозволяє користувачам додавати скріншот, фотографію або діаграму до чату, а Copilot генерує інтерфейс, код та альтернативний текст, щоб втілити його в життя.

Так, наприклад, хтось із команди маркетингу може зробити скріншот веб-сторінки та проілюструвати деякі зміни, які вони хочуть внести на цю сторінку. Замість того, щоб запитувати такі зміни за допомогою текстових підказок, тепер можна завантажити зображення та просто попросити Copilot реалізувати зміни, як зазначено у файлі.

Варто зазначити, що це було доступно як розширення у VS Code з жовтня, і Microsoft підтвердила в описі програми, що воно зрештою буде вилучено на користь власної функції в GitHub Copilot Chat. Раніше це також вимагало від користувача мати власний ключ API.

GitHub також представляє нову функцію під назвою «пропозиції наступного редагування» як частину ширшої функціональності Copilot для автозаповнення коду. До цього часу GitHub Copilot у редакторі VS Code працював від позиції курсора, але тепер він буде дивитися на інші нещодавні редагування, щоб передбачити, що ви можете захотіти зробити далі. По суті, він використовує багатші контекстуальні підказки для автоматичної ідентифікації та пропозиції того, яким має бути наступне редагування. Якщо розробник хоче прийняти пропозиції, він може натиснути клавішу Tab, або Esc, щоб відхилити.

Агентне майбутнє GitHub

У листопаді минулого року в GitHub дебютувала нова функція Copilot Edits, якає новим способом здійснення багатофайлових редагувань за допомогою підказок природною мовою. Ця функція тепер переходить до загальної доступності, а також включає новий «режим агента», який ідентифікує всі файли, що стосуються змін, які розробник намагається внести, замість того, щоб покладатися на те, що вони вручну вибирають файли, до яких слід застосувати зміни.

У довгостроковій перспективі мета полягає в тому, щоб такі «режими агента» застосовувалися до інших аспектів Copilot, що дозволить більшу автоматизацію в ширшому діапазоні взаємопов’язаних завдань. Ось чому GitHub також анонсував нову ініціативу під назвою Project Padawan. Вона по суті є агентом SWE (програмної інженерії), який може самостійно обробляти цілі завдання під керівництвом розробника, який призначає завдання Copilot.

Доумке не дав жодних вказівок щодо того, коли ці оновлення можуть бути готовими до широкого використання, лише зазначив, що ведуться роботи з партнерами та спільнотою над їх покращенням.

Джерело: TechCrunch