9 months ago

Мои предсказания по поводу "Какие открытые нейросети выйдут или уже будут доступны в начале 2025 году?"


Тут буду два пункта:

1) Очень вероятно

2)Мои предположения

Начнём с первого пункта.

Генераторы видео:

Fluxvideo - очень хорошая нейросеть для генерации видео от создателей Flux 1.0 .Вот официальный тизер данной Нейросети : https://blackforestlabs.ai/up-next/ .По видео видно ,что у неё хорошая запоминаемость персонажей (видео с поющими зверями) и хорошая анатомия .Предполагаю что максимальная генерация либо 10 секунд , либо где-то от 30 секунд до 1 минуту.Если будет до 1 минуты то это уже что то революционное .Так же наверное она будет открытый и выпущена в трёх версиях:

Pro - самое лучшее качество, закрытая,доступна только по api

Dev - версия для разработчиков ,открытая ,имеет чуть меньшее качество чем версия pro.Имеет лицензию только для некоммерческого использования .Имеет стандартную генерацию в 20 и более шагов

Shell - версия больше нацеленная на обычных пользователей, качество чуть меньше чем dev .Лицензия Apache 2.0 .Генерирует быстро ,за 5-8 шагов .

Второй пункт :

Генераторы изображений

Flux 1.1 - Открытые версии модели Flux 1.1 в версиях dev ,shell.Flux 1.1 имеет более хорошее качество картинки и большой прирост в скорости.Скоре всего не выйдет потому что-то она очень крутая и просто потому что уже есть версии

Генераторы музыки:

Songcreator - музыкальный генератор с вокалом.Основан на архитектуре диффузии.Так же умеет генерировать музыку по вокалу ,вокал по музыки ,продолжает музыку .Больше информации тут : https://songcreator.github.io/ . Говорили что будут добавлять цензуру что бы не могли повторить голоса исполнителей.Скорее всего не выйдет из-за того что этот проект студенческий (вроде) ну и потому что они хуй пойми когда они её зацензурят .

Пока что всё что я знаю,маловота ну и ладно



0 comments

Loading...

Next up

Относительно недавно у меня появилась странная вещь, связанная с нейросетями

Ну вкрации я такой поизучал нейронки stable audio (открытая) и sonauto ai (закрытая)и вот мои вердикты

В крации там я уже без понятия то ли я ошибся в размерах датасета то ли автор что то наколдовал .Но примерно вышло файлов музыки на 5000-6000

Как вы знаете я главный на гж нейросетевой dungeon master пытаюсь сделать свою говно нейронку из этой https://github.com/Stability-AI/stable-audio-tools и вот просто знайте настолько мало легальных датасетов с музыкой и подписями к ней что мне придётся использовать.Дальше в артикле

@Magic_4df5 глазами нейросетями

Эмм перед прочтение этого поста посмотрите этот пост :https://gamejolt.com/p/eman-ya-tupoy-ya-seychas-sizhu-i-dumayu-a…

Первая новость:Мне не удалось обучить музыкальную модель из-за ошибок в консоли и из-за того, что не удалось найти нужную версию Clap (фигня, которая описывает музыку).Вторая новость это моя теория насчёт stable audio tools

Если вы хотите создать свою собственную муз.нейросеть но туториалов по transformer нету?То как за основу берите stable audio tools https://github.com/Stability-AI/stable-audio-tools?tab=MIT-1-ov-… это уже готовая нейросеть с открытым исходным кодом и вы можете модифицировать для своих задач

Короче я почти разобрался с нейросетью по генерации музыки.Осталось понять что делать с подписями для музыки и что такое кондиционеры(это связано с нейросетями ,а не с бытовой техникой)

Хотите рофл? Я нашёл датасет музыки с 7000 композиций с статусом общественным достоянием .И так же я потихоньку разбераюсь с stable audio tools .и надеюсь я сегодня буду обучать свою первую музыкальную модельку