И вот смотрите прикол она умеет генерировать голос но это одно из фич а другая заключается в том что она устроена на основе Stable diffusion а она генерирует картинки но как происходит из текста картинка.Они обучили модель Stable diffusion на спектрограммах или по понятному языку картинках которые визаулизирует аудио она просто генерирует новую спектограмму дальше она конвертируется в вав или мп3 и вот у вас получилась нормальная и одекватная песня сгенерированная нейросетью

79
2 years ago
Длиньше я пока искал другие нейросети по генерации музыки нашёл одну очень необычную под название Ruffusion
Next up
Забыл выложить арт к своему спавндею
Пиздец,страшнааа(Неудачная генерация)
Встретимся ближе к концу лета, наверное
Большая история моих нейросетей по Лунтику
"Снова вместе!"
Пишу для будущих заметок: я разработал теоретическую новую гибридную архитектуру для генерации длинных аудиотреков с пониженным использованием VRAM. Эта архитектура также легко модифицируется, позволяя повысить контроль над процессом генерации.
Чуть более глобальные новости про Luntik Flux.
подарочек для @SlavaEylon
Сегодня у меня день рождения!
0 comments