ШІ для спілкування з дельфінами: що відомо про DolphinGemma від Google

Компанія Google представила свою нову розробку – штучний інтелект DolphinGemma, створений для вивчення та розшифровки звуків, які використовують дельфіни під час спілкування.

Мета проєкту – зрозуміти структури мови цих чарівних ссавців та наблизитися до можливості міжвидового діалогу.

Що таке DolphinGemma

DolphinGemma – це велика мовна модель, розроблена Google у співпраці з дослідниками з Технологічного інституту Джорджії (Georgia Tech) і некомерційним проєктом Wild Dolphin Project (WDP).

Її створено на основі відкритої архітектури Gemma, з якої також походять моделі Gemini. DolphinGemma аналізує послідовності звуків, які видають дельфіни, і навчається розпізнавати шаблони подібно до того, як інші мовні моделі працюють з людською мовою.

Модель використовує технології Google для обробки аудіо, зокрема інструмент SoundStream, що розбиває звуки на маленькі зрозумілі частинки – токени, щоби ШІ міг їх аналізувати. Вона має близько 400 млн параметрів і може працювати навіть на смартфонах Pixel, які дослідники використовують у польових умовах.

Організація Wild Dolphin Project вже майже 40 років вивчає дельфінів у природному середовищі. Завдяки багаторічним спостереженням дослідники накопичили унікальну базу відео- та аудіоматеріалів, де звуки дельфінів зіставлені з конкретними індивідуумами та їхньою поведінкою.

Наприклад, особисті “свисти” дельфінів допомагають матерям і дитинчатам знаходити одне одного; “шкварчання” пов’язане з агресивною поведінкою; клацання використовуються під час залицяння або переслідування акул.

Розробники проєкту хочуть зрозуміти, чи мають дельфіни структуровану мову, подібну до людської, і чи можна її розкласти на правила та шаблони.

Як працює DolphinGemma

Модель аналізує природні звуки дельфінів, виявляє повторювані структури й прогнозує, який звук може йти наступним у “реченні” ссавців. Такі можливості відкривають новий рівень у розумінні того, як дельфіни спілкуються одне з одним.

У перспективі, використовуючи ці знання, науковці зможуть створювати синтетичні звуки, які дельфіни будуть впізнавати як сигнали до взаємодії. До прикладу, пов’язані з улюбленими предметами чи іграми.

Окрім пасивного аналізу, дослідники WDP працюють над двостороннім спілкуванням із дельфінами через систему CHAT (Cetacean Hearing Augmentation Telemetry), яка працює під водою. CHAT створює штучні сигнали – свисти, пов’язані з певними предметами, наприклад водоростями або хустками. Якщо дельфін повторює цей свист, система розпізнає його в режимі реального часу, і дослідник може дати йому відповідний предмет як нагороду.

Для цього використовуються смартфони Google Pixel. Саме вони аналізують звуки, відстежують відповіді та видають сигнал дослідникам через спеціальні навушники, які працюють під водою. Уже цього літа Google планує зробити DolphinGemma відкритою для наукової спільноти.