Stable Diffusion-UI : l’IA auto-hébergée pour créer des images

EDIT : ajouts de liens en bas d’article pour Windows, Google Colab + sources de créations

L’IA fait de plus en plus parler d’elle ces derniers mois, notamment dans les domaines de l’Art et de l’écriture (ChatPGT).

Certains sur le Discord de SuperBoki jouent (exemple 1, exemple 2) avec le bot MidJourney puis Holaf a parlé, avec un peu d’insistance, du projet Stable Diffusion-UI qui permet d’installer de quoi installer localement l’outil de génération d’images Stable Diffusion.
Et évidemment avec une WebUI.

Je commence seulement à découvrir le projet, l’article a de fait uniquement pour but de montrer comment l’installer.

/!\ Les GPU AMD et Mac ne sont pas encore supportés

Comme c’est basé sur Docker je suppose que ça peut tourner sur Windows mais dans mon cas c’est bien sous Linux. Et si dans l’idéal il est préférable de faire tourner ça avec un GPU on peut aussi se contenter d’un CPU. C’est ce que je fais, mon serveur n’ayant pas de carte graphique.
Niveau ressources, donc uniquement en CPU, ça en consomme environ 50% et 15-20% de RAM. Ma machine embarque un AMD Ryzen 5600G et 32Go de RAM, sous Proxmox 7.3 (Debian donc), avec Docker installé à même l’hôte et sur du SSD.

L’installation est simple, il suffit de suivre les recommandations du Github :

git clone https://github.com/AbdBarho/stable-diffusion-webui-docker.git# Entrer dans le dosseir et lancer la création du Docker d'installationdocker compose --profile download up --build# Ce qui demandera du temps...# Une fois terminé on peut lancer le projetdocker compose --profile UI up --build

Le « UI » étant à remplacer par l’interface qu’on souhaite utiliser. Là encore, se référer au Wiki, à savoir :

invoke: One of the earliest forks, stunning UI Repo by InvokeAI
auto: The most popular fork, many features with neat UI, Repo by AUTOMATIC1111
auto-cpu: for users without a GPU.
sygil: Another great fork Repo by Sygil-Dev
sygil-sl: A second version of the above using streamlit (still in development, has bugs)

Ne pouvant jouer qu’avec mon CPU, et débutant, je lance avec auto-cpu :

docker compose --profile auto-cpu up --build

Et j’accède à l’interface sur http://IP:7860

En bon noob, je reste sur txt2image (créer une image à partir de texte) et lance, fièrement, ma 1ère génération d’image basée sur « aerya »

Et bah je suis pas déçu… Après quelques minutes… tadaaaaa

Oui. Vous pouvez vous moquer de moi. Y’a un début à tout ^^’

Je retourne voir les gars qui nous claquent des images plutôt sympatiques (à base de RTX 4000 pour Holaf, quand même)

Et comprends qu’il est préférable de taper des mots clés ayant un sens (par rapport à la base de données de l’IA). Comme par exemple (merci MageMinds) :

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, english medieval witch, green vale, pearl skin,golden crown, diamonds, medieval architecture, professional majestic oil painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski

Et j’obtiens cette fois-ci, en 15/20 minutes, une image plus proche de ce que je recherche

Moi non plus je ne sais pas pourquoi c’est coupé en 2…

Faut bien voir que par défaut l’image est en 512×512, plus vous voudrez augmenter sa résolution plus ça prendra de calcule et donc de temps. Idem en jouant avec tous les réglages, ce dans quoi il faut que je me lance.

Certes mon appréhension de Stable Diffusion est vraiment rapide et simpliste, pour autant j’y vois un outil (un jouet ?) très intéressant et assurément jouissif pour satisfaire ma curiosité.

A vos claviers !

EDIT : on peut trouver des modèles sur Civitai

EDIT1 : la version pour Google Colab (dans le Cloud donc, très très rapide)

EDIT2 : ça s’installe aussi très bien sous Windows

(284 vues)