Bonjour !
Aujourd'hui un petit bookmark pour l'intelligence artificielle, surtout dédié à Stable Diffusion.
On parlera ici juste des projets opensource que vous pouvez installer en local sur votre PC et faire tourner sans internet.
Sur votre PC, en effet, vous pouvez tout faire sans aucune limitation, mais franchement, vous pouvez vous retrouver avec des horreurs au final car il n'y a aucune censure, mais c'est ça qui est drôle aussi (ou pas)....
par exemple: "Deux ours en peluche jouant avec leurs balles sur la plage avec leurs amis", même si vous ne pensez pas du tout à mal peut devenir une scêne digne d'une orgie romaine, mais avec des ours en peluche...... Vous êtes prévenus (mais il existe des filtres optionnels pour éviter d'afficher ce genre d'images générées pour éviter de choquer mamie à côté qui voulait juste que vous fassiez une image choupinou pour le dernier né.)
Petit dictionnaire de base:
LLM: "Large Language Model" ( "Grand modèle de langage" est un gros fichier dans lequel sont stockés les données d'une IA, avec parfois plus d'un milliard de paramêtre ou plus.
Le LLM sont des réseaux de neurones profonds qui ont été entrainés sur des images (facile pour eux !) ou du texte (plus difficile pour eux) et ils savent reconnaitre des images ou du texte non étiquetés.
Ils sont étiquetés comme des perroquets stochastiques car ils répondent selon un ordre lié aux statistiques qu'ils trouvent dans les textes stockés dans leurs réseaux neuronaux: exemple:
Question: "il fait beau aujourd'hui, le ciel est......"
L'IA: "Bleu" (bah oui, même vous, vous auriez pu répondre !!!, et violet ne semble pas du tout approprié )
Question: "Avec quelle garniture on mange un hamburger ?"
L'IA: "Des frites" (il y avait peu de chance qu'on mange ça avec des fraises)
Pour le moment, ça ne semble pas casser trois pattes à un canard, mais sur des questions qui paraissent compliqués, l'IA utilise les mêmes trucs qu'avec le ciel ou l'hamburger mais fait carrément illusion, et on dit "WAOUH" alors qu'on ne devrait pas !.
C'est pareil avec les images.
Avec des biais atroces il y a 2 ans:
dessine moi des gens qui mangent au fastfood: tous obèses
Dans les déserts: des tuaregs exclusivements
En Espagne, toutes les femmes dansent le flamenco
Etc....
L'IA marchait mais les données qu'elle utilisait était au final peu varié et très images d'épinal.
On s'en sortait en réécrivant de manière très détaillée les prompts:
"Dessine moi une rue typique d'Andalousie avec une femme habillée en noir sous une ombrelle à côté de son mari avec une chemise blanche et un pantalon noir et unbe légère barbe. Les murs de la rue sont blanchis à la chaux et il y a des balconnières avec pleins de géraniums en fleurs et un contrejour. il fait chaud, il est midi" (ce qui évitait d'avoir un festival de flamenco au milieu d'une rue), mais désormais les nouveaux LLM sont mieux organisés et n'ont plus trop ces biais liés à un apprentissage sur pas beaucoup de données et donc ça met fin aux images d'épinal que l'on trouvait souvent dans les tous premiers modèles de type SD1.5.
NSFW: "Not safe for work", (pas sûr pour le travail/ dangereux au travail), c'est à dire que vous avez une chance de voir des orgies romaine d'ours en peluche s'afficher sur votre PC, et si vous avez du monde autour, clairement, malaise assuré.
SFW: Normalement, tout se passera bien, normalement !
Je télécharge un fichier SAFETENSOR (*.ckpt) ou un PICKLETENSOR (*.pt) ?
ATTENTION !!!! NE TELECHARGEZ JAMAIS DE MODELE DE TYPE PICKLETENSOR.
Les modèles LLM peuvent être de deux types:
MONMODELELLM.pt est de type "Pickletensor"..... ces modèles peuvent inclure du code python très malveillant (rare, mais il y en a).
Il faudra préférer des fichiers de type "MONMODELELLM.CKPT" qui est de type "Safetensor" et QUI NE PEUT INCLURE DU CODE PYTHON (normalement, jusqu'à la date d'aujourd'hui, un exploit d'un hacker est toujours à prévoir).
Les pros savent qu'ils ne doivent pas utiliser les fichiers pickletensors (aka *.pt) et qu'il y a des utilitaires pour les transformer en safetensors (aka *.ckpt) et on effacera directement le fichier *.pt après pour éviter les erreurs et le lancer par mégarde.
On va commencer par les bases: L'origine de tout ça:
HuggingFace (Cocorico !)
Hugging Face est une start-up franco-américaine du domaine de l'Intelligence artificielle créée en 2015 et qui développe des outils pour utiliser l'apprentissage automatique.
Création : 2016Domaine d'activité : Apprentissage automatique
Siège : Brooklyn, Manhattan, USA
Ce site propose des solutions autonomes pour papoter avec une IA, des trucs conceptuels (reconnaissance d'objets ou de personnes sur des photos, la création d'image ou de vidéo à partir de texte (prompt) ou d'image....
Pour commencer à découvrir ce site, je vous propose d'aller ici:
https://huggingface.co/spaces
Il s'agit de démos en ligne pour tester les projets opensource (ou pas parfois)....
Quand vous cliquez sur un "Spaces" pour essayer une démo, il y a toujours un lien (normalement) vers GitHub pour accéder aux ressources du projet pour tenter de l'installer sur son PC.
Sur HuggingFace, il y a aussi pas mal de modèles pour des IA (ex: pour stable diffusion) à télécharger.
Normalement, il y a peu de chance de voir des horreurs avec ces modèles réputés "SFW" (Safe for Work), car ce sont les modèles officiels (sauf si c'est marqué "NSFW", il y a certains LLM dont l'apprentissage a été loupés mais qui sont proposés quand même car rigolo et ils sont pédagogiques (il y a un LLM (nommé "le génie", si vous arrivez à le retrouver !), qui a été formé sur des millions et des millions de données et qui envoie paitre les utilisateurs avec des réponses du genre:
"Vous n'avez qu'à aller faire votre recherche sur google", ou "Franchement, vous n'avez rien d'autre à faire que de m'embêter avec vos questions stupides ? vous perdez du temps au lieu de bosser là" etc .... Un vrai fiasco qui a fait marrer tout le monde, mais on a publié cette IA ronchonne comme Mélenchon..... pour mémoire et l'éducation des masses.
Civitai:
Déjà si vous êtes en panne d'inspiration,
Allez faire un tour sur la galerie d'image:
https://civitai.com/images
Si une image vous plait:
Cliquez dessus !
Ex: https://civitai.com/images/18604341
Sur le panneau de droite, vous aurez tous les paramêtres pour la refaire à l'identique !
ex:
"Resources used
ATTENTION: Si vous vous inscrivez sur Civitai, vous pourrez ensuite activer (ou désactiver) le "NSFW" dans vos préférences à vos risques et périls ... beaucoup d'images X et de checkpoints X trainent sur Civitai, et n'activez pas cette option au travail ou en zone publique !!!!
Comme vous le voyez, Civitai refuse (pour le moment ?) de diffuser des modèles de type "SD3" suite à une grosse facherie avec la maison mère de Stable Diffusion et surtout une licence d'utilisation trop floue.....
Bon, mais il y a un site qui tente le coup (et qui risque de se prendre un procès par la maison mère de Stable Diffusion qui est devenue extrêmement ronchonne depuis 3 mois)
Shakker
Ils tentent le coup et il sera intéressant de voir dans un avenir proche si ils se prennent une tannée via une armée d'avocats de Stable diffusion ou si ça passe.
C'est ici
https://www.shakker.ai/
Pour la petite histoire:
Stability AI est une société qui a tenté au départ de lancer des modèles Open source en IA.
Ils ont sorti au départ le mémorable format SD1.5 qui permettait de faire des images sur son propre PC avec du texte, et on avait des résultats étonnants (ça marchait EN LOCAL sur un pc !!!!) et on avait en 10mn un bonhomme avec 7 doigts par main et trois bras dans un bar, mais c'était juste wow à l'époque.
Puis ils ont sorti la version 2.0, avec moins de doigts et de bras,
Puis la version SDXL et Cascade.....
La version SDXL est très propre et est encore largement utilisée aujourd'hui, la version cascade est peu utilisée et c'est dommage.....
Le soucis est que Stability IA recherche des fonds d'investissement et doit présenter des choses propres et honorables aux investisseurs, tandis qu'une certaine part de la communeauté opensource à tendance à vouloir décensurer au maximum les modèles proposés par Stability IA.
Ce qui a donné l'affaire "Pony".
Pony est une gamme de modèles bidouillées par des geeks boutonneux fan de boobs qui donne de meilleure résultat générique (oui, on peut faire une peinture dans le style impressionniste du port d'amsterdam l'hiver avec des bateaux de pêche à voile qui reviennent sous un coucher de soleil impossible avec un rendu de peinture à l'huile digne de Monet et aussi des elfes nues montrant leurs boobs XXL aux orcs du coin.....
Pony étant plus efficace que les modèles officiels, ça la fout mal pour stability IA qui a du mal du coup à justifier sa légitimité et surtout à vendre ses modèles, et surtout, quand un truc sert à faire du porn, bah, vous êtes mis un peu à l'écart de tout, façon Xavier Niel au départ.
Bref, Stability IA avait promis de libérer son dernier modèle, plus perfomant dans ses réseaux neuronaux que SDXL mais a mis de grosses barrières sur les licences (on ne peut pas trop modifier les modèles et surtout les diffuser) et a bien pourri l'anatomie humaine de SD3.....
Tous les personnages sont carréments asexués: oeuf au plat pour les dames dans les robes digne de l'Arabie Saoudite et aucun problème de testiboules et autre chez les hommes car ils sont castrés.
Sinon SD3 fait des champs de roses sous des couchers de soleil de toute beauté.....
Bref, ça sent le sapin pour la branche SD3 et on attend de voir comment la communeauté open source, encore sous le choc de la dispute légitime ou pas entre "Pony" qui milite pour aucune censure (à un poil de couille près) et Stable diffusion qui aimerait que ces modèles soient utilisables de partout et tant pis pour l'anatomie humaine.
SD3 sera le dernier modèle versé par Stability IA à la communeauté opensource.
Cette société repart dans le closed source.
Github
Beaucoup de projets sont programmés là bas mais franchement, ce blog et cette page n'y suffirait pas pour décrire tout ça en détail mais promis, on va utiliser GitHub à Minima grace au projet "Stability Matrix"pour installer des programmes pour vous permettre de faire de jolies images !
Le projet Stability Matrix sur GitHub
Bon, on va télécharger le couteau suisse de l'IA générative: Stability Matrix.
Pré requis:
Il faut un PC gamer bas de gamme au minima, avec une carte graphique Nvidia de 4go (minimum) à plus !
(plus il y a du GPU, mieux c'est !) (en 4go, on calcule une image entre 10s à 40s)
On peut lancer ce programme sans carte graphique, ça fonctionne en mode CPU, mais il faudra compter entre 10mn à 3h pour faire une simple image ! (mais ça marche !, mais votre PC va tousser (laissez le tranquille et faite autre chose !)
Il faut aussi 100go de libre sur son disque dur ! (50go, ça marche mais ne soyez pas gourmand) (minimum, ma configuration me prend 250go pour info)
Allez ici:
https://github.com/LykosAI/StabilityMatrix
et allez en bas de la page pour télécharger la bonne version (Windows, mac ou linux etc) (cliquez par exemple sur " Windows 10, 11 " pour télécharger la version pour windows)
Décompressez votre zip là où vous le souhaitez, mais après, il ne faudra plus y toucher si vous lancez le programme !
Dans le zip, un unique executable: "StabilityMatrix.exe" (pour windows)
Déposez le à la racine de D: par exemple et lancez le !
Tout s'installe tout seul......
(prenez un café en attendant)
On installe un package:
Le plus simple d'accès est selon moi:
"RuinedFooocus"
Dans stability Matrix: on clique sur "packages" dans la colonne de gauche, normalement, il n'y a rien pour vous ! (moi, j'ai installé pleins de trucs).
On clique sur "+ Add package" en bas:
puis on choisit le package "Ruined Fooocus"....
et on clique sur "Install" .....
laissez ce programme tourner et installer ce qu'il a besoin....
Revenez ensuite sur "packages" et lancez "Ruined Fooocus" en cliquant sur "Launch".
ça va encore retélécharger des trucs et des machins, repartez prendre un café...
ça ouvre ensuite une interface web de votre navigateur....
Si ça n'ouvre pas, vous pouvez en ouvrir une autre ici en cliquant là:
si vous cliquez sur >_ console, vous ouvrirez la console du programme pour voir si le programme tourne ou est planté (ça peut être utile)...
On peut aussi arrêter le programme ou le redémarrer ....
vous pouvez lancer votre premier prompt dans votre navigateur !
rentre
Hercule va a la plage
rentrer votre prompt en ANGLAIS EXCLUSIVEMENT (vous pouvez vous faire aider pour la traduction par Google translate ) puis cliquez sur "Generate" et c'est tout !
Vous en savez assez et vous pouvez vous amuser !
...
...
... vous en voulez plus ?
Pour aller plus loin:
remarquez ce petit onglet juste en dessous:
"[ ]Hurt me plenty"
Cochez le et vous pourrez commencer à bricoler Ruined Fooocus en intégrant de nouveaux modèles SDXL que vous pouvez téléchargez via Stability Matrix ici:
(attention, veuillez télécharger que les modèles SDXL ou SD3, les autres modèles ne marchent pas avec Ruined Fooocus -mais marche avec les "Webui" etc, d'autres packages)
une fois le modèle téléchargé via Stability Matrix, il est disponible pour tous les packages installés....
Dans Ruined Fooocus, cochez [x] Hurt me plenty
Puis rendez vous sur l'onglet "Models" puis faite "refresh files", votre modele devrait apparaitre, puis sélectionnez le ......
Si par mégarde vous utilisez un modèle SD3 dans Ruined Foocus:
il faudra prendre la version à 6go (sd3+clips)....
Les autres versions ne marchant pas (encore) sous ruined fooocus (la version medium à 4go ne marche pas, et celle de 10go avec le texte non plus)
et surtout prendre cette option dans Ruined Fooocus:
A vous de découvrir tout le reste !
Bonne journée !
Post Scriptum:
Le drame SD3: asexualiser façon Barbie et Ken les personnages mais faire de jolies paysage pour compenser.
le même prompt pour tous: "a man and a woman in speedo on a tropical beach, facing the camera, foggy, bokeh", seed: 45164581