1 month ago

Мои предсказания по поводу "Какие открытые нейросети выйдут или уже будут доступны в начале 2025 году?"


Тут буду два пункта:

1) Очень вероятно

2)Мои предположения

Начнём с первого пункта.

Генераторы видео:

Fluxvideo - очень хорошая нейросеть для генерации видео от создателей Flux 1.0 .Вот официальный тизер данной Нейросети : https://blackforestlabs.ai/up-next/ .По видео видно ,что у неё хорошая запоминаемость персонажей (видео с поющими зверями) и хорошая анатомия .Предполагаю что максимальная генерация либо 10 секунд , либо где-то от 30 секунд до 1 минуту.Если будет до 1 минуты то это уже что то революционное .Так же наверное она будет открытый и выпущена в трёх версиях:

Pro - самое лучшее качество, закрытая,доступна только по api

Dev - версия для разработчиков ,открытая ,имеет чуть меньшее качество чем версия pro.Имеет лицензию только для некоммерческого использования .Имеет стандартную генерацию в 20 и более шагов

Shell - версия больше нацеленная на обычных пользователей, качество чуть меньше чем dev .Лицензия Apache 2.0 .Генерирует быстро ,за 5-8 шагов .

Второй пункт :

Генераторы изображений

Flux 1.1 - Открытые версии модели Flux 1.1 в версиях dev ,shell.Flux 1.1 имеет более хорошее качество картинки и большой прирост в скорости.Скоре всего не выйдет потому что-то она очень крутая и просто потому что уже есть версии

Генераторы музыки:

Songcreator - музыкальный генератор с вокалом.Основан на архитектуре диффузии.Так же умеет генерировать музыку по вокалу ,вокал по музыки ,продолжает музыку .Больше информации тут : https://songcreator.github.io/ . Говорили что будут добавлять цензуру что бы не могли повторить голоса исполнителей.Скорее всего не выйдет из-за того что этот проект студенческий (вроде) ну и потому что они хуй пойми когда они её зацензурят .

Пока что всё что я знаю,маловота ну и ладно



0 comments

Loading...

Next up

Как вы знаете я главный на гж нейросетевой dungeon master пытаюсь сделать свою говно нейронку из этой https://github.com/Stability-AI/stable-audio-tools и вот просто знайте настолько мало легальных датасетов с музыкой и подписями к ней что мне придётся использовать.Дальше в артикле

Ну вкрации я такой поизучал нейронки stable audio (открытая) и sonauto ai (закрытая)и вот мои вердикты

Первая новость:Мне не удалось обучить музыкальную модель из-за ошибок в консоли и из-за того, что не удалось найти нужную версию Clap (фигня, которая описывает музыку).Вторая новость это моя теория насчёт stable audio tools

Хотите рофл? Я нашёл датасет музыки с 7000 композиций с статусом общественным достоянием .И так же я потихоньку разбераюсь с stable audio tools .и надеюсь я сегодня буду обучать свою первую музыкальную модельку

В крации там я уже без понятия то ли я ошибся в размерах датасета то ли автор что то наколдовал .Но примерно вышло файлов музыки на 5000-6000

Короче я почти разобрался с нейросетью по генерации музыки.Осталось понять что делать с подписями для музыки и что такое кондиционеры(это связано с нейросетями ,а не с бытовой техникой)

Эмм перед прочтение этого поста посмотрите этот пост :https://gamejolt.com/p/eman-ya-tupoy-ya-seychas-sizhu-i-dumayu-a…

@Magic_4df5 глазами нейросетями

Относительно недавно у меня появилась странная вещь, связанная с нейросетями

Если вы хотите создать свою собственную муз.нейросеть но туториалов по transformer нету?То как за основу берите stable audio tools https://github.com/Stability-AI/stable-audio-tools?tab=MIT-1-ov-… это уже готовая нейросеть с открытым исходным кодом и вы можете модифицировать для своих задач