Сочиняем музыку

riffusion

Интересная бесплатная нейросеть, которая генерирует музыку по текстовому запросу. Она ещё обучается и постепенно пополняет свою базу знаний. Программа использует в процессе сонограммы, представляющие собой визуализацию звукового ряда.

Запустить генерацию можно с главной страницы. Алгоритм работы предельно простой и понятный.

Теперь от себя. Сеть понимает только английский, обучена на нем. Другой язык исказит.  В промпте можно написать сразу английский стих - короткий не больше 20 слов. Или задайте тему тоже на английском и нажмите "Write lyrics" и сети напишут текст песни, точнее фрагмента. Он небольшой - секунд 12, к сожалению. Чуть ниже можете описать вашу музыку, типа народная, кантри, джаз, опера и т.д. Создать музыкальный фрагмент , нажмите "Riff".
Ниже была попытка написать песню на немецком языке на слова Гете. Звучит прикольно, но к немецкому практически не имеет отношения. Вот несколько попыток.

 




Продолжение стихотворения Гете "Находка"






Конкретную музыку, стиль не указывал - мне было интересно, что сети умеют. Далее я взял англоязычные стихи классика  Роберта Фроста.
Использованы такие строки. " Some say the world will end in fire,
Some say in ice." Далее "From what I’ve tasted of desire
I hold with those who favor fire."





Далее следующие строки из этого же стихотворения





Итак, пока приходится сожалеть, что делает только маленькие фрагменты. Так что пока играемся. И кстати, там еще они умеют обрабатывать текст с микрофона, но не пробовал.

Развлекаюсь и обучаюсь  :-D
Первая моя попытка создать песню с помощью нейросетей. Текст на слова Гете (на немецком) .  Использованы только первые 4 строчки. Музыка, вокалисты - нейросеть. Самое сложное было заставить петь на немецком языке - сеть обучена на английских текстах. С диким акцентом, но получилось.    Пришлось выдумывать новую орфографию  . Это видно по обложке.
А так в оригинале
Ich ging im Walde
So für mich hin,
Und nichts zu suchen,
Das war mein Sinn ("Gefunden" | "Находка")