Loading...
56
8 months ago

Ну вот наконец это случилось.Это текстовый туториал по генерации нейросетевых спрайтов на пк с видеокартой и на процессоре .В этом туториале будет показано минимальную сборку для генерации спрайтов с позами


Микро дисклеймер данная нейросеть будет очень много весить

Первое переходи на это сайт GitHub - LykosAI/StabilityMatrix: Multi-Platform Package Manager for Stable Diffusion

нажимаем на релизы :

msedge_jncqmnwmmk.png

теперь нажимаю на установку зип архива (это для винудлс но если у вас другая система выбираем свою систему) :

msedge_6dlxyvblal.png

Когда скачили архив ,разархивировали и поместили на нужный диск то нажимаем на иконку программы:

explorer_ixebp0o31r.png

если виндулс ругается то делаем следующие шаги(это для обывателей 10 и 11 винды если у вас ниже винда и ругается сторонний антивирус то добавьте программу в исключение) :

нажимаем на подробнее:

ns2lr4cxyi.png

теперь нажимаем на выполнить в любом случае:

lfxmfzbthb.png

не бойтесь вирусов там нету.

Следующий шаг установка :

выбираем не портативную версию или портативная(портативная версия находится в той же папке где и само программа и портативная версия лучше) просто нажмите на продолжить

stabilitymatrix_ngm4kxqavy.png

или делаем вот так:

stabilitymatrix_xkkua4ab5l.png

теперь выбираем наш лучший и оптимизированный интерфес под названием Forge:

stabilitymatrix_g2q95tyi0m.png

дальше скипаем установку модели мы потом установим свои:

stabilitymatrix_b7sdvetnho.png

теперь наша нейросеть устанавливается после установки переходи на данный сайт: vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main (huggingface.co) и скачиваем нашу vae

Когда скачали то устанавливаем две аниме модели выбирайте на ваш вкус и стиль но лучше качайте с этого сайта вот эту модель idkwiMIX(NSFW) - Deformed_V3 | Stable Diffusion Checkpoint | Civitai

msedge_ruaeunvzvw.png

нажимаем на скачать и ждём скачики если вам не нравится это модель то выбираем одну модель из этих я рекомендую модель (nsfw )она без цензуры хотите с цензурой то выбираем (sfw) WarriorMama777/OrangeMixs at main (huggingface.co)

Скачиваем лоры с моей странички (Кхунтик,Хузи,Фоны)(Поймите название персонажей пж )

cyborgkiller084240 Creator Profile | Civitai

скачиваем с этого сайта модели ,для понимания нейросети наших поз webui/ControlNet-modules-safetensors at main (huggingface.co) название моделей control_depth-fp16.safetensors ,control_openpose-fp16.safetensors

Теперь снова заходим в Stability Matrix и нажимаем на кнопку которая показана на картинке :

stabilitymatrix_hrvzhmezxp.png

теперь мы перетаскиваем модели по пунктам что модели controll перекидываем в ControlNet .Нащи лоры в lora.Нашу vae в vae.Модель OrangeMixs или другая перекидываем в пункт stable diffusion .

Осталось совсем немного.

переходи обратно в главную страницу запуска :

stabilitymatrix_kl1n8l0wn9.png

(внимание данный пункт для работы на процессоре если у вас есть какая некакая видео карто то можите пропустить если на видео карте не работает то попробыйте через этот пункт запустить на процессоре)

нажимаем на шестерёнку:

stabilitymatrix_fxmpfobjru.png

тепрь листаем и нажимаем что показанно на картинке

stabilitymatrix_i60rsel3jr.png

нажимаем на запустить :

stabilitymatrix_pauymzpyxr.png

Ждём первый долгий старт и автоматически откроется наш веб интерфейс .

Осталось установить пару удобных расширений и всё.

Переходим в Extensions :

msedge_48v1be2oca.png

потом переходим во вкладку Available и нажимаем на кнопку Load from:

и делаем тоже самое что на картинке :

msedge_4qrn9we3rv.png

потом переходи в вкладку Install from URL и вставляем в строку эту ссылку https://github.com/layerdiffusion/LayerDiffuse.gitкак как указана на фото :

msedge_7wx1d6xn3l.png

переходим обратно в Installed:

msedge_6qtyreysab.png

Смотри что нажата галочка  Extension и если она нажата выходим из программы:

msedge_atny4ganuo.png

теперь надо вернуться в StabilityMatrix и запустить снова :

stabilitymatrix_kiczzy051y.png

вот микро пояснение за основные вещи

image.png

CFG Scale обозначает насколько нейросеть будет добавлять свои детали оставляем как и есть .

Чем больше шагов генерации тем лучше я рекомендую 25 шагов

если развернуть как на фото то можно вставлять уже готовые подсказки

msedge_pjmun4cqmq.png

теперь про позы и прозрачный фон :

позы :

раскрываем вкладку ControlNet Integrated и если поза выглядит как на картинке то нажимаем на Depth и вставляем нашу позу Depth

msedge_r7iu7k0xhz.png

модель и настройки всё подставляется как надо .Что бы поэкспериментируйте попробуйте поиграться с Control Mode

если у вас вот так :

msedge_agtuynfs71.png

то тоже самое все как и в Depth только под openpose

если у вас не работает ControlNet то поставьте галочку на Enable и сделайте размер изображение по размеру позы

теперь по пнг фону (работает личноу меня кривовато но могут получаться хорошие результаты) раскрываем вкладку как на фото

msedge_cgtkekpmqy.png

теперь делаем как показано на картинке

msedge_z7sr42vlhs.png

Поздравляю мы научились генерировать картинки локально на пк ,если вы хотите узнать по больше о других вкладках и расширениях то я рекомендую посмотреть это видео https://youtu.be/-5oOirX-7-Q?si=VdqAb51SQoMO8yUT а вот насчет ControlNet вот https://youtu.be/UV9JRKh2aKc?si=AL8VcH3fqxsTcf_3 так же рекомендую канал на ютубе про эту нейросеть (101) XpucT - YouTube ,если возникли вопросы по нйеросети пишите мне в лс или в коментариях под эти постом

насчет поз готовых пока что поэкспериментируйте с позами из интернета вот по этой ссылке Civitai | Share your models или вот по этой Civitai | Share your models а завтра если успею то я выложу пак поз по кунтику если вы сами понимаете



2 comments

Loading...

Next up

Буду наверное сегодня писать интерфейс с улучшениями для Googletrans что бы ускорить проверку датасета

Тестовая лора по Корнею.Прикольная

Если очень кратко то мультилора выйдет не скоро.(Примерно к новому году)

Всем привет! В связи с тем, что по игре целых !7 МЕСЯЦЕВ! не выходило никаких новостей, решил показать вам анимацию Лунтыша! :)

Как вам?

Я короче пошёл на небольшой отдых от создание моделей .Пока собираюсь начать изучать python ,в основном для разработки GUI приложений

RIDDLE.

Небольшие новости по поводу мультилоры.Артикль

Тестовая Лора для шнюка, нормально в принципе выглядит

NEW POSTER

На данный момент у меня стоит вопрос с одним решением.Артикль