Первое моя старая теория что нейросеть Sonauto это просто модифицированная нейросеть stable audio оказалось не правдой .Автор ответил мне что это не так что он сам сделал эту нейросеть и т д.Вторая теория новая:Перед вами видео с музыкальной композиции от нейросети stable audio 1.0 .Так вот там есть хоть и искаженный но голос.И даже он сочетается с музыкой .Так вот моя теория заключается в том что если модифицировать stable audio tools что добавить доп условие это текст песни, то возможно нейросеть будет воспроизводить возможно кривоватый но голос с осмысленным текстом.Текст песни можно получить с помощью модели whisper-large . Поместить можно эту модель в конфиг файле ,и там же немного настроить там.А более сложное это найти скрипт то ли тренировки то ли другой и модифицировать что бы была доп условие это текст песни.
Loading...Первая новость:Мне не удалось обучить музыкальную модель из-за ошибок в консоли и из-за того, что не удалось найти нужную версию Clap (фигня, которая описывает музыку).Вторая новость это моя теория насчёт stable audio tools
Next up
Если вы хотите создать свою собственную муз.нейросеть но туториалов по transformer нету?То как за основу берите stable audio tools https://github.com/Stability-AI/stable-audio-tools?tab=MIT-1-ov-… это уже готовая нейросеть с открытым исходным кодом и вы можете модифицировать для своих задач
Относительно недавно у меня появилась странная вещь, связанная с нейросетями
@Magic_4df5 
глазами нейросетями
вот такие пироги
В крации там я уже без понятия то ли я ошибся в размерах датасета то ли автор что то наколдовал .Но примерно вышло файлов музыки на 5000-6000
Батя Лунтика. или... эм.. не знаю..
Как вы знаете я главный на гж нейросетевой dungeon master пытаюсь сделать свою говно нейронку из этой https://github.com/Stability-AI/stable-audio-tools и вот просто знайте настолько мало легальных датасетов с музыкой и подписями к ней что мне придётся использовать.Дальше в артикле
Эмм перед прочтение этого поста посмотрите этот пост :https://gamejolt.com/p/eman-ya-tupoy-ya-seychas-sizhu-i-dumayu-a…
Мем 139
Ну вкрации я такой поизучал нейронки stable audio (открытая) и sonauto ai (закрытая)и вот мои вердикты
0 comments