Entraîner un LoRA : apprendre son style ou son personnage à une IA d’image

Entraîner un LoRA, c’est apprendre à un modèle d’image ce qu’il ne sait pas faire : votre trait et votre palette, ou la tête d’un personnage que vous êtes seul à dessiner. Une dizaine d’images bien choisies peut suffire, et le modèle de départ n’est pas modifié. Il reçoit seulement un petit fichier en plus.

L’idée vient d’une publication de chercheurs de Microsoft parue en 2021, pensée pour un modèle de texte. Voici son principe, puis la méthode, des images au test. Et les droits, là où beaucoup se trompent : on entraîne sur ses propres images ou sur des images autorisées, jamais pour imiter un artiste vivant sans son accord.

Le principe, d’après la publication de 2021

LoRA veut dire Low-Rank Adaptation, adaptation de rang faible. L’article d’Edward Hu et de sept coauteurs, mis en ligne sur arXiv le 17 juin 2021, part d’un constat : déployer une copie réentraînée de GPT-3 (175 milliards de paramètres) pour chaque usage coûte beaucoup trop cher. Les auteurs gèlent donc le modèle et greffent, dans chacune de ses couches, deux petites matrices entraînables.

Pour une matrice de poids W₀, la mise à jour s’écrit B × A, deux matrices étroites dont la dimension commune, le rang r, reste très inférieure à celles de W₀. La couche calcule alors W₀x + BAx. La matrice A part d’un tirage aléatoire, B de zéro : au premier pas, rien ne change. Un coefficient α/r dose ensuite l’effet, et le modèle d’origine reste gelé.

Face à un réentraînement complet de GPT-3, la méthode divise par 10 000 le nombre de paramètres entraînables et par trois la mémoire GPU (de 1,2 To à 350 Go). La sauvegarde passe de 350 Go à 35 Mo par tâche. Et comme BA se fusionne dans W₀ après l’entraînement, le modèle ne répond pas plus lentement. Sur GPT-3, un rang de 1 ou 2 suffisait souvent.

L’image a suivi. Selon le blog de Hugging Face, Simo Ryu a été, à sa connaissance, le premier à adapter la méthode à Stable Diffusion, et Diffusers l’intégrait fin janvier 2023, avec des fichiers d’environ 3 Mo au lieu d’une copie complète du modèle.

Style ou personnage : ce que le LoRA apprend vraiment

Un LoRA d’image apprend un sujet (votre mascotte, un visage) ou une manière (un trait, une lumière). Replicate demande d’ailleurs de choisir entre « subject » et « style ».

La recette du sujet vient de DreamBooth, publié par des chercheurs de Google en 2022 : quelques images suffisaient à lier un sujet à un identifiant unique, qui le rappelle ensuite dans des scènes absentes des images de départ. DreamBooth seul met à jour tout le modèle, précise la documentation de Diffusers. Ses scripts marient donc les deux méthodes : ils s’appellent train_dreambooth_lora.

Le fine-tuning image complet, lui, réécrit le modèle et oblige à stocker une copie entière. Le LoRA tient dans un fichier à part, de quelques centaines de Mo selon la page LoRA de Diffusers. Mais n’attendez pas de lui qu’il corrige les défauts du modèle de base : il l’oriente, il ne le remplace pas.

Constituer le jeu d’images

Combien d’images ? Le guide de Replicate en accepte deux, mais retient dix comme bon minimum. Plus que le nombre, c’est la variété qui compte. Pour un personnage, angles, lumières et décors changent ; pour une manière, ce sont les sujets, dans un style constant. Replicate conseille du 1024 × 1024 ou plus ; AI Toolkit range lui-même les images par proportions, sans recadrage.

Chaque image reçoit une légende, dans un fichier texte du même nom (image2.jpg, image2.txt), avec le mot déclencheur. Choisissez un terme qui n’existe dans aucune langue, recommande Replicate, et surtout pas « TOK », trop répandu, qui entrerait en conflit avec d’autres modèles combinés au vôtre. Notre conseil : décrivez ce qui change (le décor, la pose) et taisez ce qui doit rester constant, que le modèle rattachera au mot déclencheur.

Les outils pour entraîner un LoRA, en local ou en ligne

En local, trois projets libres font le travail :

• AI Toolkit, d’Ostris (licence MIT) : FLUX.1 [dev], FLUX.2 [dev], FLUX.2 [klein] Base et FLUX.3 Image Klein. Le Mac y reste expérimental, et son exemple pour FLUX.1 [dev] vise une carte de 24 Go.
• Les sd-scripts de Kohya (Apache 2.0), de Stable Diffusion 1.x à FLUX.1. Leur documentation FLUX.1 descend à 8 Go de mémoire vidéo, au prix de la vitesse.
• Les scripts Python de Diffusers. Celui de FLUX.3 Klein a rejoint le dépôt le 15 octobre 2026, jour de la sortie du modèle, avec un mode d’emploi et un exemple de LoRA de style.

En ligne, rien à installer. Replicate entraîne un LoRA FLUX depuis un formulaire : un zip d’images, le mot déclencheur, le type et 1 000 pas conseillés. Facturé à la seconde, l’entraînement d’une vingtaine d’images prenait environ deux minutes, soit 1,46 dollar au tarif cité par son guide. fal propose un formulaire voisin. Vos images partent sur leurs serveurs : lisez leurs conditions.

Reste le modèle de base, et la licence compte autant que la qualité, car un LoRA ne fonctionne qu’avec le modèle sur lequel il a été entraîné.

Pour FLUX.3, la fiche de Black Forest Labs prévient que l’exception commerciale ne vaut pas permission générale d’affiner le modèle à des fins commerciales. Pour un LoRA FLUX payé par un client, FLUX.2 [klein] 4B reste la voie sûre, sauf licence accordée par l’éditeur. Pour installer FLUX.3 Klein, voyez notre guide FLUX.3 Klein en local et notre point sur l’IA en local sur Mac ou PC.

Les 7 réglages qui comptent

Pour entraîner un LoRA, les trois outils locaux nomment différemment les mêmes boutons. Voici les sept qui pèsent sur le résultat, avec les valeurs de leurs exemples officiels :

1. Les images : dix au moins chez Replicate.
2. Les légendes : AI Toolkit remplace [trigger] par votre mot et retire la légende 5 % du temps, ce qui améliore le guidage à la génération, selon Diffusers.
3. La résolution : 1 024 pixels chez Diffusers ; AI Toolkit mélange 512, 768 et 1 024. La baisser économise de la mémoire.
4. Le rang : de 4 à 128 selon Kohya, 16 chez AI Toolkit, 32 dans l’exemple FLUX.3 de Diffusers. Plus il monte, plus le fichier grossit.
5. L’alpha : alpha égal au rang est un point de départ courant pour Diffusers, la moitié du rang si le résultat « surcuit ». Kohya met 1 par défaut.
6. Le taux d’apprentissage : 1e-4 (0,0001) dans les trois exemples.
7. Les pas : 500 pour FLUX.2 [klein] 4B dans le guide FLUX.2 de Diffusers, 1 000 conseillés par Replicate, 2 000 chez AI Toolkit, qui situe la bonne plage entre 500 et 4 000.

Surveillez surtout le dernier. Trop peu de pas, et le concept n’est pas appris, prévient Replicate ; trop, et le modèle recopie vos images. À propos de DreamBooth, Diffusers le dit sans détour : le surapprentissage arrive vite.

Tester le résultat avant de s’en servir

Entraîner un LoRA ne s’arrête pas au dernier pas. Comparez les sauvegardes intermédiaires à prompt et graine identiques, comme le fait AI Toolkit, qui sauvegarde tous les 250 pas et génère ses aperçus avec une graine fixe. Quatre essais suffisent :

• avec le mot déclencheur, dans des scènes absentes du jeu d’images : le sujet doit suivre ;
• sans lui : si votre style déborde partout, le LoRA est trop fort ;
• en faisant varier le poids, de 0 (modèle de base) à 1 (LoRA appliqué pleinement), selon la documentation de Diffusers ;
• face à vos images : une ressemblance trait pour trait impose de revenir à une sauvegarde antérieure.

Notez enfin le réglage retenu à côté du fichier : dans six mois, vous aurez tout oublié.

Vos images ou celles des autres : ce que dit le droit

Entraîner un LoRA sur vos propres dessins ou photos ne pose pas de difficulté : vous en êtes l’auteur. Avec les images d’autrui, tout change, car le jeu d’entraînement en contient des copies. Or l’article L122-4 du Code de la propriété intellectuelle rend illicite toute reproduction faite sans le consentement de l’auteur.

L’exception de fouille de textes et de données (article L122-5-3) autorise la copie d’œuvres consultées licitement pour une analyse automatisée, sauf si l’auteur s’y est opposé de manière appropriée, par exemple par un procédé lisible par machine. Couvre-t-elle un LoRA conçu pour imiter un artiste précis ? Aucun juge français ne l’a dit, à notre connaissance. Nous ne parierions pas dessus.

Et le style ? On répète qu’il n’est pas protégé. Dans son rapport du 16 juillet 2026, le Conseil supérieur de la propriété littéraire et artistique (CSPLA) juge la maxime exacte, mais équivoque. Un procédé ou un courant (l’aquarelle, l’impressionnisme) reste libre. Le style qui traduit l’identité expressive d’un auteur, inscrite dans des éléments détectables de ses œuvres, peut en revanche être protégé, surtout s’il s’incarne dans un personnage. Une génération « à la manière de » qui reprend ces éléments devient contrefaisante. À défaut, le parasitisme prend le relais.

D’où notre règle, sans exception : jamais de LoRA pour imiter un artiste vivant sans son accord écrit. Notre enquête sur les fausses signatures IA montre où mène la confusion. Le domaine public est plus sûr : Berthe Morisot est morte en 1895, et les droits patrimoniaux s’éteignent soixante-dix ans après la mort de l’auteur (article L123-1). Ostris en a tiré un LoRA à la manière de la peintre. Le droit moral, lui, est perpétuel : ne signez pas de son nom.

Pour une personne réelle, il faut son accord écrit et précis (support, objectif, durée), rappelle Service-Public.fr. Diffuser sans son consentement une image générée qui la représente est puni d’un an de prison et de 15 000 euros d’amende (deux ans et 45 000 euros en ligne), sauf si le trucage est évident ou signalé (article 226-8 du Code pénal). Pour les contenus sexuels, voyez ce que dit la loi sur les deepfakes.

Ce que l’AI Act change pour votre LoRA

Le règlement européen sur l’IA vise moins l’entraînement que l’usage. Depuis le 2 août 2026, son article 50 oblige le déployeur d’un système qui génère un hypertrucage (une image qui ressemble à des personnes ou à des lieux réels et pourrait passer pour vraie) à signaler qu’elle vient d’une IA. Pour une œuvre manifestement artistique, satirique ou fictive, une mention appropriée suffit.

L’amateur qui génère chez lui y échappe : le règlement exclut l’activité personnelle à caractère non professionnel (article 3). Pas le graphiste qui livre un client. Le Code pénal, lui, ne fait pas la distinction.

Devenez-vous fournisseur de modèle en voulant entraîner un LoRA ? En principe, non. Les obligations des fournisseurs de modèles à usage général, applicables depuis le 2 août 2025, visent les éditeurs des modèles de base. Selon les lignes directrices de la Commission européenne, affiner un modèle ne fait de vous un fournisseur qu’au-delà d’un tiers de son calcul d’entraînement d’origine, un seuil qu’un LoRA de quelques milliers de pas a peu de chances d’approcher.

Enfin, le règlement omnibus 2026/1744 du 8 juillet 2026 interdit, à partir du 2 décembre 2026, d’utiliser un système d’IA pour générer des images intimes réalistes d’une personne identifiable sans son consentement explicite. Un LoRA entraîné sur un visage et utilisé ainsi est visé. Calendrier complet : notre point sur ce qui s’applique déjà de l’AI Act.

Foire aux questions

Combien d’images faut-il pour entraîner un LoRA ?

Dix images variées font un bon minimum selon Replicate, qui en accepte deux. DreamBooth, la méthode publiée par Google en 2022, travaillait avec trois à cinq images d’un sujet. En ajouter allonge l’entraînement : soignez plutôt la variété des angles et des décors.

Peut-on entraîner un LoRA sans carte graphique ?

Oui, en ligne : Replicate ou fal l’entraînent sur leurs serveurs à partir d’un zip d’images. En local, il faut une carte graphique : les sd-scripts de Kohya descendent jusqu’à 8 Go de mémoire vidéo pour FLUX.1, et l’exemple d’AI Toolkit pour FLUX.1 [dev] vise 24 Go.

Un LoRA FLUX fonctionne-t-il avec un autre modèle ?

Non. Ses matrices ont les dimensions des couches du modèle de base, comme le montre la publication de 2021 : un fichier entraîné sur FLUX.1 [dev] ne se charge pas tel quel sur FLUX.3 Klein, dont l’architecture diffère. Pour FLUX.3, en revanche, les fichiers de Diffusers et d’AI Toolkit sont interchangeables, selon Diffusers.

Puis-je vendre les images produites avec mon LoRA ?

Cela dépend d’abord de la licence du modèle de base. FLUX.2 [klein] 4B, sous Apache 2.0, l’autorise ; FLUX.3 Klein l’accepte sous 5 millions de dollars de chiffre d’affaires, sans permission générale d’affinage commercial. Vos images ne sont ensuite protégées que si votre direction créative s’y lit, estime le CSPLA (voir notre dossier sur les créations générées par IA). Et le jeu d’images doit être à vous.

Sources

• Code de la propriété intellectuelle, articles L122-4, L122-5-3 et L123-1, Légifrance
• Code pénal, article 226-8, Légifrance
• Règlement (UE) 2024/1689 sur l’intelligence artificielle, articles 3, 50, 53 et 113, EUR-Lex
• Règlement (UE) 2026/1744 du 8 juillet 2026 (omnibus numérique sur l’IA), EUR-Lex
• Commission européenne, questions-réponses sur les lignes directrices pour les fournisseurs de modèles d’IA à usage général
• Ministère de la Culture, CSPLA, rapport de mission sur le statut des productions de l’intelligence artificielle (16 juillet 2026)
• Service-Public.fr, Droit à l’image et respect de la vie privée