Может ли нейросеть написать хит: как ИИ сочиняет музыку

Нейросеть создаёт музыку иначе, чем человек. Во время обучения она находит закономерности в музыкальных данных, а затем использует их для генерации нового материала. Это похоже на то, как после множества прослушанных песен человек начинает узнавать характерные черты разных жанров. Только нейросеть делает это с помощью математических моделей.

Чтобы модель могла работать с музыкой, её нужно представить в виде данных. Например, формат MIDI хранит не сам звук, а информацию о том, что нужно сыграть: какие ноты, когда они должны прозвучать и сколько длиться. Аудиозапись тоже можно преобразовать в данные — например, разбить на аудиотокены, небольшие элементы, которые модель обрабатывает как последовательность. Ещё один вариант — спектрограмма, которая показывает, какие частоты звучат в разные моменты времени.

Когда пользователь вводит промпт, то есть текстовое описание будущей песни, модель получает ориентиры для генерации. В запросе можно указать жанр, настроение, инструменты и особенности вокала. Например: «Поп-баллада, фортепиано и струнные, медленный темп, грустное настроение, женский вокал».

Дальше модель генерирует музыкальный материал с учётом этих ориентиров. Сам процесс зависит от её устройства. Авторегрессионные модели создают музыку последовательно, предсказывая следующий элемент на основе предыдущих. Диффузионные начинают с шума и постепенно преобразуют его в музыкальный материал.

В результате все эти этапы складываются в готовый трек: текстовый запрос задаёт направление, модель генерирует музыкальный материал, а затем он преобразуется в звук.

Создать песню с помощью ИИ можно в разных сервисах, но набор функций у них отличается. Одни позволяют работать со своим аудио и подробно редактировать результат, другие рассчитаны на более простой сценарий — описать идею и получить готовый трек. Рассмотрим четыре сервиса.

• Suno создаёт песни по описанию и умеет работать с собственным аудио. Например, можно загрузить напетую мелодию или игру на инструменте, а затем продолжить или переработать запись. Есть инструменты для изменения стиля и отдельных элементов композиции. На бесплатном тарифе песни предназначены для некоммерческого использования, то есть зарабатывать на них нельзя.
• В Udio можно продолжить готовый трек, сделать ремикс, изменить отдельный фрагмент или текст. Режим Styles использует другую композицию как ориентир для звучания, а редактор Sessions помогает работать с отдельными частями песни. Некоторые функции доступны только на платных тарифах.
• В Mureka можно создавать песни и инструментальную музыку, продолжать композиции, делать ремиксы и использовать референсы. Одна из особенностей — создание версии песни на другом языке с сохранением мелодии. Русский входит в число официально поддерживаемых языков.
• «Сонграйтер» ориентирован на создание песен на русском языке. Можно описать идею и поручить ИИ работу над текстом или загрузить собственные слова, а затем выбрать жанр, настроение, инструменты и вокал. Основной сценарий — быстро получить готовую песню по заданным параметрам.

Чтобы создать первый трек, опиши будущую песню, добавь текст и запусти генерацию. Нейросеть быстро предложит вариант, но найти удачное звучание и довести песню до нужного результата обычно получается не с первой попытки.

1. Опиши будущую песню. В промпте укажи жанр, настроение, инструменты и особенности вокала. Например: «Энергичный поп-рок, быстрый темп, электрогитары и ударные, яркий припев, мужской вокал». Добавь свой текст песни или сгенерируй его с помощью ИИ.
2. Сгенерируй несколько вариантов. Запусти генерацию и послушай, что получилось. Если результат не устраивает, измени промпт или доступные настройки и попробуй снова. Один и тот же запрос может давать разные результаты, поэтому стоит сравнить несколько вариантов.
3. Доработай трек. Выбери наиболее удачный вариант и при необходимости поправь текст, отдельные фрагменты или другие доступные параметры. Когда песня будет готова, сохрани её. Например, на бесплатном плане Suno доступно до семи пробных скачиваний за всё время. После этого дополнительные скачивания можно купить или перейти на платный тариф. Перед публикацией проверь условия своего тарифа и правила использования готовой музыки.

На песне, созданной с помощью ИИ, можно зарабатывать — например, выпустить её на стриминговой платформе и получать деньги за прослушивания. Но перед публикацией нужно проверить правила сервисов, которыми ты пользуешься.

Во-первых, разрешает ли нейросеть зарабатывать на созданной музыке. Например, в Suno это зависит от тарифа: песни с бесплатного плана предназначены для некоммерческого использования.

Во-вторых, нужно проверить правила площадок, через которые ты выпускаешь музыку. DistroKid принимает треки, созданные с помощью ИИ, если они соответствуют его требованиям. А Spotify может удалить песню, если она без разрешения имитирует голос другого исполнителя.

Есть и вопрос, который пока обсуждают юристы и разработчики: можно ли обучать нейросети на чужой музыке, защищённой авторским правом.

В России автором произведения может быть только человек, который создал его своим творческим трудом. Если человек использует ИИ как инструмент, значение имеет его собственный творческий вклад. Например, он может сам написать текст, придумать или записать часть музыки, а затем переработать результат генерации.

С полностью сгенерированными треками всё сложнее. Российские законы пока отдельно не объясняют, в каких случаях работа человека с генеративным ИИ достаточна для признания авторства. Поэтому нельзя сказать, что любой пользователь автоматически становится автором песни только потому, что написал промпт и запустил генерацию.

В других странах действуют свои правила. Например, в США полностью сгенерированный ИИ материал сам по себе не защищается авторским правом. При этом защита может распространяться на то, что человек создал или творчески переработал самостоятельно.

Музыканты уже используют ИИ в работе — например, чтобы искать идеи, создавать отдельные элементы песни или экспериментировать со звучанием. Но нейросеть не обязательно делает всю работу целиком. Музыкант может отбирать удачные варианты, менять структуру и текст, записывать собственный вокал или инструменты и сочетать сгенерированный материал со своим.

Как эти технологии изменят профессию в будущем, пока предсказать сложно.

Другая сторона технологии — возможность подражать конкретным артистам. После выхода «Walk My Walk» Blanco Brown говорил, что услышал в песне сходство со своей музыкальной манерой, хотя сам голос, по его словам, на его собственный не похож.

Особенно чувствительный вопрос — имитация голоса: она может создать впечатление, что исполнитель участвовал в записи, хотя на самом деле этого не было. Такие эксперименты могут столкнуться с ограничениями уже на этапе публикации. Например, Spotify может удалить трек, если тот без разрешения имитирует голос другого исполнителя.

Нейросети уже позволяют создавать полноценные песни по текстовому запросу — с вокалом и музыкальным сопровождением. Для первого трека не нужно знать ноты: достаточно описать идею, выбрать удачный вариант и при необходимости доработать его.