Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Pour développer idées, projets de jeux, univers, règles et scénarios
Avatar de l’utilisateur
Pyth
Ascendant
Messages : 1601
Inscription : ven. mars 23, 2018 9:12 am

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Pyth »

Yusei a écrit : mar. sept. 06, 2022 1:32 pm Même si on définit une "distance" minimum entre deux styles et qu'on interdit aux IA de se rapprocher trop du style d'un artiste humain, elles resteront plus efficaces et plus rapides. Je ne sais pas si c'est un problème qui peut se régler en légiférant.
A mon avis il y a quelque chose à creuser du coté de l'utilisation des sample en musique, en élaborant un cadre juridique plus ou moins similaire à celui permettant de protéger les droits de l'artiste originel d'une œuvre samplée. Si besoin en mettant des IA à contribution d'ailleurs, après tout si elles sont capables de reproduire le style d'un artiste donné, elles doivent l'être aussi pour identifier dans une image le ou les artistes lui ayant servi de référence.
All things are true. God's an Astronaut. Oz is Over the Rainbow, and Midian is where the monsters live.
Avatar de l’utilisateur
Altay
Ascendant
Messages : 1518
Inscription : sam. mai 07, 2016 12:04 pm

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Altay »

Yusei a écrit : mar. sept. 06, 2022 12:01 pm Je ne suis pas sûr de ce que tu veux dire par "extrapolation". Par exemple, je peux demander une photo de JFK qui marche sur Mars, d'un croisement entre un chat et un chien, d'un humain avec plus de deux bras (ah non, lui je n'y arrive pas), donc cette forme d'extrapolation fonctionne. Qu'est-ce qui serait hors de portée ?

Si ton modèle a été optimisé uniquement à partir d'images de chiens, tu ne pourras jamais générer un lapin. Je vais jargonner mais les réseaux de neurones estiment une distribution (d'images) que l'on suppose être engendrée par une distribution latente dont le support est une (sous-)variété mathématique. Le modèle ne peut pas sortir de cette variété (ou du moins, si, mais la vraisemblance des images produites est alors très mauvaise). Par contre on peut se balader comme on veut dans cette variété, ce qui permet des interpolations entre les observations qui ont servi à l'apprentissage.

En pratique on contourne ce problème en entraînant sur des très grands jeux de données : rien n'est « hors distribution » si la distribution recouvre toutes les images possibles.

Anubis Vlad Tepas a écrit : mar. sept. 06, 2022 12:43 pm La "créativité" de certaines réalisations ne tient qu'à la fusion inattendue de plusieurs concepts, là aussi préexistants. En conséquence, ces outils génèrent et renforcent des clichés tenaces. Essayez de créer le portrait d'un personnage féminin qui ne ressemble pas à une Barbie sur MidJourney. Il vous faudra persévérer pendant un moment avant d'y arriver.

C'est typiquement un problème de curation du jeu de données. Des variables corrélées dans le jeu de données seront corrélées dans la sortie du générateur. Identifier et retirer ces corrélations involontaires est un problème majeur en machine learning.

Pyth a écrit : mar. sept. 06, 2022 2:19 pm A mon avis il y a quelque chose à creuser du coté de l'utilisation des sample en musique, en élaborant un cadre juridique plus ou moins similaire à celui permettant de protéger les droits de l'artiste originel d'une œuvre samplée. Si besoin en mettant des IA à contribution d'ailleurs, après tout si elles sont capables de reproduire le style d'un artiste donné, elles doivent l'être aussi pour identifier dans une image le ou les artistes lui ayant servi de référence.

C'est difficile à faire de façon fiable mais ce n'est pas complètement idiot : il y a des moyens techniques de trouver les images utilisées pour entraîner le générateur qui contribuent le plus à la génération d'une image pour un prompt donné.
Avatar de l’utilisateur
Cryoban
Dieu de la carbonite
Messages : 13618
Inscription : mar. mars 29, 2011 9:25 pm
Localisation : Angers

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Cryoban »

Altay a écrit : mar. sept. 06, 2022 3:31 pm C'est difficile à faire de façon fiable mais ce n'est pas complètement idiot : il y a des moyens techniques de trouver les images utilisées pour entraîner le générateur qui contribuent le plus à la génération d'une image pour un prompt donné.

Mais ça c'est sans compter le post-traitement par l'humain qui va faire un repaint j'imagine? parce que là ca vient potentiellement tout brouiller. (ex ceux qui transforme des photos au point qu'on ne sait pas dire si c'est une photo ou une peinture numérique)
Mais bon du coup ce n'est plus totalement une oeuvre d'IA
Cthulhu Invictus: Limes Obscurus. Certaines forêts sont plus sombres que d'autres
Dark Operators, un hack du BRP pour Delta Green avec sa feuille de PJ. Du poulpe et des Forces Spéciales.
Un cadavre encombrant Un prologue alternatif à La Ville en Jaune
Yusei
Dieu en cavale
Messages : 9699
Inscription : jeu. janv. 30, 2014 9:47 am
Contact :

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Yusei »

Altay a écrit : mar. sept. 06, 2022 3:31 pm Si ton modèle a été optimisé uniquement à partir d'images de chiens, tu ne pourras jamais générer un lapin.
D'accord, mais un humain qui n'a jamais vu de lapin sera aussi bien embêté pour en dessiner un. Les humains peuvent dessiner des choses qui n'existent pas, mais toujours en se basant sur ce qu'ils ont appris. Et si je n'ai pas vu de lapin mais qu'on me décrit un petit animal à fourrure doté de longues oreilles, je peux essayer d'en faire un, mais l'IA aussi (par interpolation entre des trucs qui ne sont pas des lapins):
Spoiler:
Image
Je ne trouve pas que ce soit pire que, par exemple, les moines médiévaux qui essayaient de dessiner des animaux qu'ils n'avaient jamais vu.

Pour préciser, je connais un peu les limites des IA génératrices d'image, je travaille dessus. Ce n'est pas vraiment de ça dont je parle, mais du fait qu'on pense que les humains peuvent Créer, d'une manière qui ne serait pas accessible par apprentissage automatique.

Dans un autre domaine, la question se posait avec les IA qui jouent à des jeux. Il y a ceux qui pensent que c'est de la force brute, et donc pas intelligent, mais les joueurs de go professionnels décrivent les IA comme ayant mieux compris le jeu qu'eux, parlent de ses intentions, etc. Ce n'est pas que de l'anthropomorphisation, c'est aussi qu'une forme d'intelligence émerge d'un processus un peu con. Une intelligence sans conscience, mais une intelligence quand même.
Dernière modification par Yusei le mar. sept. 06, 2022 4:30 pm, modifié 1 fois.
Yusei
Dieu en cavale
Messages : 9699
Inscription : jeu. janv. 30, 2014 9:47 am
Contact :

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Yusei »

Cryoban a écrit : mar. sept. 06, 2022 4:09 pm Mais ça c'est sans compter le post-traitement par l'humain qui va faire un repaint j'imagine?
On pourrait très certainement trouver quand même des sources d'inspiration ou des styles de manière automatique, mais le problème c'est que ça marcherait aussi sur les créations humaines, et je ne suis pas sûr que les artistes aient envie de devoir se justifier que 13% de leur oeuvre soit inspirée par Bilal, 7% par Moebius...
Avatar de l’utilisateur
Altay
Ascendant
Messages : 1518
Inscription : sam. mai 07, 2016 12:04 pm

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Altay »

Yusei a écrit : mar. sept. 06, 2022 4:15 pm Ce n'est pas vraiment de ça dont je parle, mais du fait qu'on pense que les humains peuvent Créer, d'une manière qui ne serait pas accessible par apprentissage automatique.

Je simplifie volontairement dans la mesure où je ne pense pas que la question concernant la créativité des modèles génératifs dont on parle ici soit pertinente. Concernant la question « est-ce qu'on peut imaginer un protocole basé sur l'apprentissage automatique/par renforcement qui émule le processus de création humain ? », je pense que la réponse est probablement oui et qu'elle vaut le coup d'être étudiée, mais les générateurs type Dall-E/Midjourney/StableDiffusion ne sont qu'une partie de la solution.

Yusei a écrit : mar. sept. 06, 2022 4:15 pm D'accord, mais un humain qui n'a jamais vu de lapin sera aussi bien embêté pour en dessiner un. Les humains peuvent dessiner des choses qui n'existent pas, mais toujours en se basant sur ce qu'ils ont appris. Et si je n'ai pas vu de lapin mais qu'on me décrit un petit animal à fourrure doté de longues oreilles, je peux essayer d'en faire un, mais l'IA aussi:

Oui oui, ces générateurs sont très forts pour le zero-shot learning. Simplement, d'un point de vue mathématique, est-ce qu'échantillonner dans une distribution, c'est créer ? J'ai l'impression que non, du moins pas au sens où les gens l'entendent habituellement. La création requiert une intention pour s'éloigner de la distribution, par exemple en cherchant des prompts qui amènent le générateur à produire des images moins vraisemblables. Ce n'est pas quelque chose que le générateur est (pour l'instant) en mesure de faire sans intervention humaine. Mais à nouveau, j'essaie de simplifier pour casser un peu les fantasmes qui circulent beaucoup concernant la capacité des IA à produire du contenu nouveau ex nihilo et je pense que si on en parlait dans un contexte professionnel je serais beaucoup plus nuancé. :mrgreen:

Cryoban a écrit : mar. sept. 06, 2022 4:09 pm Mais ça c'est sans compter le post-traitement par l'humain qui va faire un repaint j'imagine? parce que là ca vient potentiellement tout brouiller. (ex ceux qui transforme des photos au point qu'on ne sait pas dire si c'est une photo ou une peinture numérique)
Mais bon du coup ce n'est plus totalement une oeuvre d'IA

Je ne me suis pas suffisamment penché sur la question mais en effet, plus les altérations a posteriori sont importantes, plus ce sera difficile de retrouver les sources.
Avatar de l’utilisateur
Cryoban
Dieu de la carbonite
Messages : 13618
Inscription : mar. mars 29, 2011 9:25 pm
Localisation : Angers

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Cryoban »

Yusei a écrit : mar. sept. 06, 2022 4:26 pm je ne suis pas sûr que les artistes aient envie de devoir se justifier que 13% de leur oeuvre soit inspirée par Bilal, 7% par Moebius...

Ah oui vu comme ça ...effectivement :lol:
Cthulhu Invictus: Limes Obscurus. Certaines forêts sont plus sombres que d'autres
Dark Operators, un hack du BRP pour Delta Green avec sa feuille de PJ. Du poulpe et des Forces Spéciales.
Un cadavre encombrant Un prologue alternatif à La Ville en Jaune
Avatar de l’utilisateur
cdang
Dieu d'après le panthéon
Messages : 4633
Inscription : jeu. avr. 30, 2015 10:23 am
Localisation : Le Havre (Choisy-le-Roi, Saint-Étienne, La Rochelle)

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par cdang »

Perso, j'ai un truc qui me trotte dans la tête : une IA pourrait-elle créer un style ? Par exemple, si le cubisme n'existait pas, pourrait-elle le recréer avec des contraintes du style « représenter les choses sous plusieurs angles simultanément » ?

(Du coup pas forcément faire du Picasso sans connaître Picasso, mais vraiment faire quelque chose dans un style nouveau même si ça ne ressemble pas aux œuvres cubistes existantes. Je ne sais pas si je suis bien clair.)

Ce qui est très différent je pense de créer des nouvelles choses (un radis en tutu qui promène un chien) dans un style existant (photoréaliste, à la manière d'un dessin d'enfant, à la manière de Van Gogh...)
--
Vous êtes mort
Avatar de l’utilisateur
Pyth
Ascendant
Messages : 1601
Inscription : ven. mars 23, 2018 9:12 am

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Pyth »

Yusei a écrit : mar. sept. 06, 2022 4:26 pm
Cryoban a écrit : mar. sept. 06, 2022 4:09 pm Mais ça c'est sans compter le post-traitement par l'humain qui va faire un repaint j'imagine?
On pourrait très certainement trouver quand même des sources d'inspiration ou des styles de manière automatique, mais le problème c'est que ça marcherait aussi sur les créations humaines, et je ne suis pas sûr que les artistes aient envie de devoir se justifier que 13% de leur oeuvre soit inspirée par Bilal, 7% par Moebius...
Mais dans cette logique ils n'auraient pas à le faire, du moins pas avant un certain de seuil de similitude, celui représentant le point de bascule entre inspiration (réinterprétation amenant à une création originale) et plagiat (contrefaçon éhontée). Bon, c'est plus facile à dire qu'à faire, ok, et ça peut difficilement se limiter à un bête pourcentage, mais il  a bien des tentatives de légiférer sur la question en matière de musique avec le sample, ça pourrait déjà abattre une partie du boulot (par exemple pour le droit au respect de l’œuvre, intervenant lors d'une éventuelle dénaturation de l'image de l’œuvre originale ou de son auteur/trice. Droit au respect de l’œuvre qui existe déjà en arts plastiques d'ailleurs, cf les ayant-droit d'Hergé ayant fait interdire avec succès des représentations de Tintin en train de se shooter).

 
All things are true. God's an Astronaut. Oz is Over the Rainbow, and Midian is where the monsters live.
Yusei
Dieu en cavale
Messages : 9699
Inscription : jeu. janv. 30, 2014 9:47 am
Contact :

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Yusei »

cdang a écrit : mar. sept. 06, 2022 5:05 pm Perso, j'ai un truc qui me trotte dans la tête : une IA pourrait-elle créer un style ? Par exemple, si le cubisme n'existait pas, pourrait-elle le recréer avec des contraintes du style « représenter les choses sous plusieurs angles simultanément » ?
Pour l'instant, je ne pense pas. Ce n'est pas que le générateur ne pourrait pas générer des images comme ça, mais je ne pense pas qu'on puisse formuler la demande et qu'elle soit comprise. J'ai essayé de décrire une peinture pointilliste en disant "painted using only dots" et ça marche à peu près, mais il a vu du pointillisme pendant son entraînement, il faudrait essayer en omettant certains styles. J'ai fait aussi quelques essais pour faire une peinture cubiste sans parler de cubisme, sans succès.
Dernière modification par Yusei le mar. sept. 06, 2022 6:34 pm, modifié 1 fois.
Avatar de l’utilisateur
JPhMM
Ascendant
Messages : 1571
Inscription : sam. août 20, 2005 10:01 pm
Localisation : Landes

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par JPhMM »

Yusei a écrit : mar. sept. 06, 2022 6:28 pm
cdang a écrit : mar. sept. 06, 2022 5:05 pm Perso, j'ai un truc qui me trotte dans la tête : une IA pourrait-elle créer un style ? Par exemple, si le cubisme n'existait pas, pourrait-elle le recréer avec des contraintes du style « représenter les choses sous plusieurs angles simultanément » ?
Pour l'instant, je ne pense pas. Ce n'est pas que le générateur ne pourrait pas générer des images comme ça, mais je ne pense pas qu'on puisse formuler la demande et qu'elle soit comprise.
Dans la mesure où une quantité non négligeable d’œuvres de l'IA MidJourney est reconnaissable comme étant de sa production, ne peut-on considérer qu'elle a déjà un style ?
 
• Pour Château Falkenstein, trilogie l'Or du Roi, épisode premier : Wasserschlangen.
Yusei
Dieu en cavale
Messages : 9699
Inscription : jeu. janv. 30, 2014 9:47 am
Contact :

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Yusei »

JPhMM a écrit : mar. sept. 06, 2022 6:34 pm Dans la mesure où une quantité non négligeable d’œuvres de l'IA MidJourney sont reconnaissables comme étant d'elle, ne peut-on considérer qu'elle a déjà un style ?
Oui mais je pense que cdang parlait de style dans un sens plus large. Genre, Picasso a fait du cubisme, mais il a aussi un style à lui au sein du cubisme. Midjourney a un style, mais pas dans un sens aussi important que cubisme, impressionnisme, etc.

Edit: Je vous donne quand même un de mes essais pour décrire du pointillisme comme étant "peint juste avec des cercles de couleur", parce que je le trouve sympa (et pas du tout pointilliste):
Spoiler:
Image
Avatar de l’utilisateur
Pyth
Ascendant
Messages : 1601
Inscription : ven. mars 23, 2018 9:12 am

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Pyth »

...Et ça, un de mes tests sur Stable Diffusion pour "une église gothique éclairée par des torches, de nuit, dans le style de Rembrandt" (zero Photoshop). Et y a de l'idée je trouve :

Spoiler:
Image

 
All things are true. God's an Astronaut. Oz is Over the Rainbow, and Midian is where the monsters live.
Avatar de l’utilisateur
Sylvestre
Banni
Messages : 1426
Inscription : mar. mars 10, 2009 10:29 pm

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Sylvestre »

John Wick a annoncé sur Facebook publier bientôt un JDR GN de vampires, Blood, dont la couverture est signée d'un certain Aaron Acevedo "via Midjourney"

John Wick a écrit : Art by the inestimable Aaron Acevedo (via Midjourney)

Image

.
Mes recherches JDR sont là :)

"Tragedy tomorrow ! Comedy tonight !"
Avatar de l’utilisateur
Pyth
Ascendant
Messages : 1601
Inscription : ven. mars 23, 2018 9:12 am

Re: Synthèse d'images (Dall-E, Imagen, Midjourney, StableDiffusion, etc.)

Message par Pyth »

C'est déjà beau qu'il rajoute "via Midjourney"!
All things are true. God's an Astronaut. Oz is Over the Rainbow, and Midian is where the monsters live.
Répondre