И вот смотрите прикол она умеет генерировать голос но это одно из фич а другая заключается в том что она устроена на основе Stable diffusion а она генерирует картинки но как происходит из текста картинка.Они обучили модель Stable diffusion на спектрограммах или по понятному языку картинках которые визаулизирует аудио она просто генерирует новую спектограмму дальше она конвертируется в вав или мп3 и вот у вас получилась нормальная и одекватная песня сгенерированная нейросетью

Длиньше я пока искал другие нейросети по генерации музыки нашёл одну очень необычную под название Ruffusion
Next up
Ну что ж,тестовая моделька для Luntik Flux готова.Особенности данной модели в артилке
Небольшие новости про Luntik Flux .Артикль
Пишу для будущих заметок: я разработал теоретическую новую гибридную архитектуру для генерации длинных аудиотреков с пониженным использованием VRAM. Эта архитектура также легко модифицируется, позволяя повысить контроль над процессом генерации.
Забыл выложить арт к своему спавндею
> Moonzy X: How It Started - New Poster_
Чуть более глобальные новости про Luntik Flux.
Пиздец,страшнааа(Неудачная генерация)
Было принято одно важное решение об Luntik Flux.
Датасет будет увеличен с 500 изображений до 1130 изображений для улучшения качества и добавления новых персонажей
0 comments