Name: Tremplin Numérique
Price range: $$$

Sommaire

Résumé

Évitez les abonnements à Adobe coûteux; GIMP + Stable Boy offre une puissante alternative de remplissage générative.
Configurez GIMP avec un plugin de garçons stable et exécutez le modèle de diffusion stable dans Google Colab pour des fonctionnalités génératives gratuites.
Ajuster les paramètres, suivre le guide de configuration et dépanner des résultats optimaux avec un moteur génératif de bricolage.

Vous n'avez pas besoin de laisser tomber votre argent durement gagné sur un abonnement Creative Cloud juste pour profiter des fonctionnalités de Firefly de Photoshop. Permettez-moi de montrer comment vous pouvez briser une solution de bricolage gratuite qui est tout aussi puissante. De plus, vous pouvez l'utiliser même sur un pomme de terre car il s'exécute dans le cloud.

Firefly de Photoshop est de la pure magie, mais coûteuse

La fonction de remplissage générative dans Photoshop est incroyablement puissante. Si vous avez déjà passé des heures à composer méticuleusement des choses dans des images, la voir apparaître instantanément (parfaitement mélangée) fera toujours tomber votre mâchoire. Avec une génération automatique, vous peignez simplement dans une sélection, écrivez ce que vous voulez dans cet espace (un chat, un ballon de football, un arbre) et Photoshop le laisse tomber avec la bonne perspective, l'éclairage et tout.

Malheureusement, cette fonctionnalité est verrouillée derrière l'abonnement Creative Cloud, vous devez donc cracher 20 $ par mois juste pour l'utiliser.

GIMP + Stable Boy (une alternative libre et open source)

J'ai donc essayé de chercher des solutions open source, mais cela semblait impossible au début. Photoshop a de toute façon très peu de concurrents FOSS (gratuits et open source), et aucun qui a ce remplissage génératif sophistiqué.

Finalement, je suis tombé sur un plug-in gratuit qui peut apporter ces capacités à GIMP (un outil de manipulation d'image gratuit). Il s'appelle Stable Boy, et il est construit sur une diffusion stable (l'un des modèles de génération d'images les plus populaires et les plus puissants). Il vous permet de peindre dans des sélections avec des invites de texte, de générer une direction de l'image à partir des invites de texte, un remix et du haut de gamme comme vous le pouvez avec Adobe Firefly dans Photoshop.

Avec un GPU moderne et costaud, vous pouvez exécuter une diffusion stable localement avec peu d'effort. Je n'ai pas de GPU fantaisie et la plupart du temps, je travaille sur mon ordinateur portable de toute façon, donc le faire fonctionner localement n'est pas une option. J'ai plutôt essayé la meilleure chose suivante. Il existe des services qui louent une puissance de traitement GPU ou CPU dans le cloud pour exécuter des modèles IA lourds. De cette façon, cela fonctionnerait même sur une pomme de terre, tant qu'il est connecté à Internet. Le seul problème est que ces services coûtent beaucoup ou ne donnent que quelques jetons en cas d'essai. C'est aussi un non-go.

La réponse a cliqué pour moi lorsque je me souvenais que je pouvais simplement exécuter le modèle de diffusion stable dans Google Colabs et le lier au plug-in GIMP via une API. C'est ainsi que j'ai pu obtenir un remplissage génératif de type Photoshop fonctionnant à l'aide d'outils gratuits qui fonctionnent sur n'importe quel ordinateur.

Tout ce dont vous avez besoin pour faire fonctionner

Permettez-moi d'expliquer comment les pièces s'emboîtent.

GIMP est un outil d'édition d'image gratuit qui prend en charge les plug-ins. Nous allons l'installer et charger le plugin de garçon stable. C'est la moitié du puzzle.
Nous devons également faire fonctionner le backend IA. Pour cela, nous utilisons un ordinateur portable Google Colab pour exécuter le modèle de diffusion stable et générer une URL d'API en direct. Un garçon stable dans GIMP peut parler au modèle de course à cause de cette URL.

Voici tout ce dont nous avons besoin pour que cela fonctionne:

GIMP Version 2.10.34 (ce doit être cette version car le plugin stable Boy ne fonctionne pas avec les autres).
Stable Boy (ce plugin GIMP gratuit est disponible sur GitHub).
Google Colab Access (vous aurez besoin d'un compte Google et vous devrez accorder l'accès à votre Google Drive).
Le carnet de diffusion stable que nous exécuterons dans Google Colab.
Lien API (le carnet de diffusion stable générera automatiquement cela pour nous).
Un peu un esprit de bricolage.

Installez GIMP et chargez un garçon stable

Commençons par télécharger la bonne configuration GIMP (2.10.34) à partir des archives. Vous devrez peut-être faire défiler un peu. Installez GIMP via la configuration hors ligne et lancez-la.

Maintenant, prenons un garçon stable. Nous pouvons le faire de deux manières.

Si vous avez installé Git sur votre ordinateur, ouvrez le terminal et entrez cette commande. Il clonera l'intégralité du dépôt dans votre stockage local.

git clone https://github.com/thndrbrrr/gimp-stable-boy.git

Si vous n'avez pas installé Git, ouvrez le repo github, cliquez sur le bouton du code vert en haut du référentiel et choisissez «Télécharger Zip». Extraire le fichier zip n'importe où.

Revenons maintenant à Gimp. Trouvez l'édition dans le menu supérieur et accédez à Modifier> Préférences. Faites défiler tout le long et cliquez sur l'icône «+» à côté des dossiers. Le menu déroulant doit avoir un menu «plug-ins».

Nous dirigerons GIMP vers le dossier Stable Boy que nous avons téléchargé plus tôt. Pour ce faire, ouvrez le dossier GIMP stable Boy et cliquez sur le dossier «SRC».

Sélectionnez le chemin d'accès à ce dossier et copiez-le. Revenez maintenant aux préférences GIMP et cliquez sur l'icône du dossier «Ajouter un dossier». Collez ce chemin que vous avez copié dans la barre d'adresse et appuyez sur la touche Entrée. Le chemin pourrait ressembler à quelque chose comme ça.

C:UsersUsernamegimp-stable-boysrc

Pour que les modifications prennent effet, nous redémarrons GIMP. Si tout se passe bien, vous devriez avoir un nouveau bouton de garçon stable brillant dans le menu de la barre supérieure, tout comme celui-ci!

Si Stable Boy n'apparaît pas dans la barre de menu après l'avoir branché dans le dossier Préférences, cela pourrait être parce que le chemin que vous avez entré est mauvais ou que vous utilisez la mauvaise version de GIMP. Cliquez sur Aide> À propos de GIMP pour voir la version que vous utilisez. Il devrait lire «2.10.34»

Propose sur un garçon stable

Maintenant, faisons la seconde moitié du puzzle – la moitié de l'AI. Cela prendra quelques pas pour y arriver. Tout ce dont nous avons réellement besoin, c'est de l'URL de l'API pour lancer une instance d'interface utilisateur Web de diffusion stable. Permettez-moi de vous montrer comment générer cette clé API.

Tout d'abord, ouvrez ce cahier dans Google Colab. Le cahier est intitulé « Fast_Stable_diffusion_Automatic1111.ipynb ». Vous devrez peut-être vous connecter avec votre compte Google si vous ne l'avez pas déjà fait.

Vous verrez que le cahier a un tas de cellules avec de minuscules boutons de jeu à côté d'eux. Cliquez sur un bouton de lecture exécute ce bloc de code particulier. Nous allons les cliquer tous un par un. Si une cellule fonctionne avec succès, elle deviendra verte. S'il échoue, il deviendra rouge.

Lorsque vous exécutez la première cellule, il vous demandera de vous connecter à votre Google Drive. Une fenêtre contextuelle doit apparaître avec une boîte de dialogue de confirmation pour accorder à cet accès Colab Notebook à votre lecteur.

Ensuite, exécutez les cellules «Installer / Update Automatic1111» et «Besoin». Attendez que chacun finisse de courir avec succès.

L'étape suivante est l'endroit où nous choisissons le modèle que nous allons nourrir à Stable Boy. Nous avons besoin d'un modèle qui prend en charge l'intervention, sinon le remplissage génératif créera des distorsions d'images étranges, pas du contenu réel. Cliquez sur le menu déroulant à côté de la version du modèle et choisissez «V1.5 Insération». Ensuite, exécutez également la cellule du modèle.

Laissez les deux cellules restantes telles qu'elles sont avec leurs paramètres par défaut.

Enfin, cliquez sur le bouton STABLE STABLE STABLE pour générer la touche API fraîche. Le lien devrait ressembler à ceci. Si vous le copiez ou l'ouvrez dans un navigateur, cela vous amènera à une version Web de la diffusion stable que vous pouvez utiliser librement.

Ne fermez pas cet onglet avant d'avoir terminé votre travail. La fermeture de l'onglet supprime également l'instance publique que nous exécutons ici.

N'oubliez pas que Google ne vous permettra pas d'exécuter cela pour toujours parce que les crédits de cloud computing ne sont pas illimités. Les crédits pour l'exécution des cahiers se renouvellent automatiquement, mais si vous laissez une instance de cahier en cours d'exécution et que vous vous endormerez, vous vous réveillerez avec un ordinateur portable gelé et que Google vous avertit qu'il a plafonné votre utilisation. Je suggère d'exécuter le cahier uniquement pendant que vous travaillez et que vous le désactivez lorsque vous avez terminé.

Revenons maintenant à Gimp. Ouvrez une image ou créez un nouveau document (les spécifications du document n'ont pas d'importance). Cliquez ensuite sur STABLE GOY dans la barre de menu et sélectionnez «Préférences». Il devrait y avoir une barre d'adressage pour coller dans une clé API. L'URL que vous avez copiée plus tôt va ici.

Assurez-vous qu'il n'y a pas de barre oblique supplémentaire à la fin de l'URL, ou un garçon stable ne pourra pas appeler l'API.

Testons notre configuration

Si tout se passe bien, un garçon stable devrait être opérationnel maintenant. Tessons-le.

Avec un document vierge ou une image ouverte, créez une nouvelle couche transparente appelée «Masque d'instruction». Il est sensible à la casse et doit être nommé exactement cela, sinon vous obtiendrez une erreur.

Ensuite, prenez un pinceau, réglez la palette en noir et peignez en forme de l'objet que vous souhaitez générer. Ici, j'ai peint une simple silhouette ronde d'une balle. Il n'est pas nécessaire que ce soit exact, mais vous obtiendrez de meilleurs résultats avec des masques plus précis.

Assurez-vous de rester sur la couche transparente de «masque d'instruction». Garder le calque de masquage sélectionné, cliquez sur Stable Boy et cette fois choisissez «Insération».

Le masque d'instruction a beaucoup de paramètres et de cadrans avec lesquels vous pouvez jouer pour modifier le résultat final. Je vais expliquer ce qu'ils font tous plus tard. Pour l'instant, donnons-lui simplement une invite de texte et appuyons sur «OK» avec les paramètres par défaut. L'invite pourrait ressembler à ceci.

A realistic soccer ball with a soft shadow under it

Le traitement prend parfois quelques secondes, mais une fois qu'il est fait, la fenêtre disparaîtra et l'image rendue apparaîtra sur un calque séparé. Vous pouvez masquer le calque de masque d'origine ou le supprimer.

Voici une autre démonstration d'insuffisance générée sur la base du masque de silhouette d'un chiot assis.

a realistic golden retriever puppy sitting on grass, front view

Quelques conseils de dépannage dont vous aurez probablement besoin

Si, au lieu d'une image, vous voyez simplement une coupure étrange, un flou ou des distorsions, cela signifie l'une de ces trois choses dans mon expérience.

GIMP n'exécute pas correctement le plugin de garçon stable ou le modèle de diffusion stable que vous exécutez ne prend pas en charge l'intérêt.
Le masque de découpage n'a pas été configuré correctement.
Vous devrez peut-être modifier certains paramètres avant de réessayer.

Si l'intervention ne fonctionne pas, essayez l'une des autres options que le garçon stable offre. Si les fonctionnalités de mise à l'échelle, de génération de texte à l'image ou d'image à image fonctionnent comme prévu, cela signifie que le problème est avec le modèle d'IA que vous exécutez.

Pour vérifier que vous exécutez le bon modèle, ouvrez l'URL de l'API dans un navigateur et accédez au tableau de bord de diffusion stable. Il devrait dire «SD-V1-5-Inpainting.CKPT» dans le coin supérieur droit. Si ce n'est pas le cas, cela signifie que vous exécutez le mauvais modèle.

Pour le réparer, revenez au cahier Colab, localisez la cellule contenant tous les modèles et choisissez la bonne. Répétez ensuite les étapes que vous avez suivis avant et testez à nouveau la détention.

Une autre façon de tester si Stable Boy est en direct est de cliquer sur Filtres> Python-Fu> Console. Si aucune console n'apparaît, cela signifie que Python n'est pas regroupé avec cette version particulière de GIMP et que vous devez réinstaller la bonne. N'oubliez pas que la version 2.10.34 fonctionnera toujours.

Enfin, vérifiez le double que le masque d'intervention a été créé correctement. Le nom (sensible à la casse) doit être correct, le masque doit être fait avec une brosse noire de 100% d'opacité et la couche de masque doit être sélectionnée.

Voici ma configuration recommandée pour obtenir les meilleurs résultats.

Gardez la force du débroussage entre 75% et 80%
Choisissez le bruit latent pour la détention de remplissage
Le nombre de pas devrait être d'environ 40 ans.
Passez à cet échantillonneur si disponible: DPM ++ 2M Karras

J'ai obtenu des résultats étonnamment bons avec ce moteur génératif bricolage. Cela peut avoir besoin de violon (et la configuration peut devenir frustrant) mais je l'ai trouvé incroyablement gratifiant et amusant!