Bonjour !
Ceci est plus un mémo personnel laborieux sur windows (et peut être sur Linux ou mac car c'est en python) pour installer les scripts permettant de lancer Pyramid Flow qu'un réel tuto.
Le projet Open Source "Pyramid Flow" peut être vu ici:
https://github.com/jy0205/Pyramid-Flow
Prérequis:
Avoir de préférence un PC récent avec une carte graphique Nvidia musclée (mais ça marche aussi avec des cartes Nvidia de 4gb (mais c'est très très lent)
Installer "GIT"
https://git-scm.com/book/fr/v2/D%C3%A9marrage-rapide-Installation-de-Git
Installer un environnement Python sur votre PC windows:
https://www.python.org/downloads/windows/
Faire du café, plein....
On commence ?
Créer un répertoire où vous voulez mais sachez que vous aurez du mal à le déplacer ensuite.
Choisissez judicieusement sa place:
Par exemple: vous pouvez créer un répertoire "Package IA"
Puis aller dedans...
Dans ce répertoire, vous pourrez mettre aussi d'autres IA.
Dans ce répertoire "Packages IA": créer un autre répertoire "Pyramid-Flow" et aller dedans.
Dans le navigateur de fichier Windows, en haut de la fenêtre, vous avez l'adresse du répertoire:
ex: D:\Package IA\Pyramid-Flow
Cliquez sur la barre d'adresse et tapez dedans
CMD
Pour lancer une fenêtre de commande noire et moche mais très utile qui sera active dans ce répertoire.....
Installation des scripts de Pyramid Flow:
Dans la fenêtre de commandes tapez:
python from huggingface_hub import snapshot_download
model_path = 'PATH' # The local directory to save downloaded checkpoint
snapshot_download("rain1011/pyramid-flow-sd3", local_dir=model_path, local_dir_use_symlinks=False, repo_type='model')
(explication: ce script lance l'interprétateur Python qui télécharge les scripts actuels de Pyramide-Flow sur HuggingFace.)
Installer le PIP compatible aux scripts de Pyramid-Flow:
tapez ceci dans votre fenêtre de commandes:
pip install torch==2.4.0+cu118 torchvision torchaudio --index-url https://download.pytorch
.org/whl/cu118
Installer gradio
pip install --upgrade gradio
Lancer Gradio:
python app.py
Il y a un lien internet local qui apparait dans la fenêtre de commandes:
Ex: en cherchant un peu dans les logs après avoir lancé gradio, on trouve par exemple: http://127.0.0.1:7860/ : copiez cette adresse puis coller là dans votre navigateur.
Et voilà, vous avez une petite page web locale qui permet de servir d'interface avec Pyramid-Flow pour lancer des créations de vidéos à partir de texte ou d'images. (cf en dessous)
Amusez vous bien ! mais.....
Sur un PC avec un carte Nvidia de 4gb, il faut compter au moins 1h30 pour faire une vidéo de ... 5s (avec 16 images (frames)), vous êtes prévenus !!!!
Mais c'est rigolo, ça passe (C'est le début de quelque chose qui va être optimisé dans un avenir très proche), et les vidéos sont très réalistes par rapport aux autres modèles
Bonus:
Si il y a des messages d'erreurs::
Si erreur genre: Le point d'entrée de procédure ?dtype@TensorOptions@c10@@QEBA?AU12@V?$optional@VtypeMeta@caffe2@@@std@@@Z est introuvable dans la bibliothêque de liens dynamique C:\Users\User\appData\Local\Programs\Python\Python310\Lib\site-packages\xformers\_C.pyd.
Soucis de compatibilité avec Xformers: on désinstalle et on réinstalle
pip uninstall xformers
PUIS
pip install xformers
Si ça ne marche pas:
pip install xformers --prefer-binary
(NB: on peut aussi spécifier la version avec pip install xformers==0.0.20 )
astuce au besoin:
pip install torch==2.1.0+cu118 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
puis dans la fenêtre de commandes, tapez dedans:
Python
puis dès que le curseur affiche >>>
collez
import torch
print(torch.cuda.is_available())
le résultat doit être "true"
Désespéré car le résultat est "False"?
On peut tenter ça:
pip install torch==2.4.0+cu118 torchvision torchaudio --index-url https://download.pytorch
.org/whl/cu118
Puis essayez de relancer gradio (cf le tuto au dessus) pour lancer l'interface.
Si il y a d'autres erreurs, prenez du café et allez rechercher sur Google ou ChatGPT (qui maitrise bien le sujet avec sa dernière version) (car là, après ces points, ça marche chez moi)