Google создала нейросеть MusicLM, которая генерирует музыку по текстовому описанию

Это новая модель ИИ, которая умеет генерировать качественную музыку по текстовому описанию.

Для обучения нейросети использовалось 280 часов музыкальных композиций.

В итоге она умеет генерировать музыку разных жанров по абстрактному описанию в духе «успокаивающая мелодия скрипки» и т.

Также доступна генерация музыки по картинке и описанию для нее.

MusicLM генерирует музыку при частоте дискретизации 24 к.

Гц в любом жанре и с любыми инструментами, которые указаны в описании.

На страничке проекта выложены примеры композиций, которые сгенерированы по детальному описанию.

Это «оптимистичный саундтрек для аркадной игры с гитарными рифами», «медленное регги с басом, барабаном и электрогитарой».

Некоторые примеры неожиданно качественные и в них даже есть вокал.

В других много шумов и скаженных звуков.

Однако результаты все равно впечатляют.

MusicLM еще в разработке, лично испытать возможности ИИ не получится.

И эта модель ИИ доступна для публичного и коммерческого использования.

На фоне успехов популярной нейросети Midjourney для генерации изображений, нельзя исключать что в будущем нейросети частично заменять людей при создании аудио-визуального контента.

The Verge.