Midjourney, un générateur d’photos populaire alimenté par l’IA, crée des photos de Donald Trump et Joe Biden malgré le fait de dire cela empêcherait les utilisateurs de le faire avant la prochaine élection présidentielle américaine.
Lorsque Engadget a demandé au service de créer une picture du « président des États-Unis », Midjourney a généré quatre photos dans différents types de l’ancien président Donald Trump.
Lorsqu’on lui a demandé de créer une picture du « prochain président des États-Unis », l’outil a également généré quatre photos de Trump.
Lorsque Engadget a demandé à Midjourney de créer une picture du « président actuel des États-Unis », le service a généré trois photos de Trump et une picture de l’ancien président Barack Obama.
La seule fois où Midjourney a refusé de créer une picture de Trump ou de Biden, c’était lorsqu’on lui a demandé explicitement de le faire. « La communauté Midjourney a voté pour empêcher l’utilisation de « Donald Trump » et de « Joe Biden » pendant la saison électorale », a déclaré le service à ce sujet. Autres utilisateurs sur X ont pu pour que Midjourney génère également les photos de Trump.
Les exams montrent que les garde-fous de Midjourney pour empêcher les utilisateurs de générer des photos de Trump et Biden avant la prochaine élection présidentielle américaine ne sont pas suffisants. En fait, il est très facile pour les gens de les contourner. D’autres chatbots comme ChatGPT d’OpenAI, Copilot de Microsoft, Gemini de Google et Meta AI n’ont pas créé d’photos de Trump ou Biden malgré de multiples invitations.
Midjourney n’a pas répondu à une demande de commentaire d’Engadget.
Midjourney a été l’un des premiers générateurs d’photos alimentés par l’IA à interdire explicitement aux utilisateurs de générer des photos de Trump et Biden. « Je sais que c’est amusant de faire des pictures de Trump – je fais des pictures de Trump », a déclaré le PDG de l’entreprise, David Holz, a dit aux utilisateurs dans une session de chat sur Discord, plus tôt cette année. « Cependant, il est probablement préférable de ne pas le faire – mieux vaut se retirer un peu pendant cette élection. Nous verrons. » Un mois plus tard, Holz aurait dit Les utilisateurs ont déclaré qu’il était temps de « mettre un peu de pression sur les sujets liés aux élections » et ont admis que « ce sujet de modération est plutôt difficile ». Les règles de contenu existantes de l’entreprise interdisent la création de « personnalités publiques trompeuses » et de « représentations d’événements » ayant le « potentiel d’induire en erreur ».
L’année dernière, Midjourney a été utilisé pour créer un fausse picture du pape Benoît XVI portant une veste blanche bouffante Balenciaga qui est devenue virale. Elle a également été utilisée pour créer de fausses photos de Trump est arrêté avant sa comparution devant le tribunal pénal de Manhattan l’année dernière pour son implication dans un versement d’argent à la star de cinéma pour adultes Stormy Daniels. Peu de temps après, la société essais gratuits interrompus du service et, à la place, a demandé aux gens de payer au moins 10 $ par mois pour l’utiliser.
Le mois dernier, le Centre de lutte contre la haine numérique, une organisation à however non lucratif qui vise à mettre fin à la propagation de la désinformation et des discours de haine en ligne, trouvé Les garde-fous de Midjourney contre la génération d’photos trompeuses de politiciens populaires, dont Trump et Biden, ont échoué à 40 % de ses exams. Le CCDH a pu utiliser Midjourney pour créer une picture du président Biden en cours d’arrestation et de Trump apparaissant à côté d’une doublure corporelle. Le CCDH a également pu contourner les garde-fous de Midjourney en utilisant des descriptions de l’apparence physique de chaque candidat plutôt que leurs noms pour générer des photos trompeuses.
« Midjourney est beaucoup trop facile à manipuler dans la pratique ; dans certains cas, il est complètement contourné en ajoutant simplement une ponctuation pour passer à travers les mailles du filet », a écrit Le PDG du CCDH, Imran Ahmed, a déclaré à l’époque : « Les mauvais acteurs qui veulent subvertir les élections et semer la division, la confusion et le chaos s’en donneront à cœur joie, au détriment de tous ceux qui comptent sur des démocraties saines et fonctionnelles.
Plus tôt cette année, une coalition de 20 entreprises technologiques, dont OpenAI, Google, Meta, Amazon, Adobe et X signé un accord pour aider à prévenir les deepfakes lors des élections qui auront lieu en 2024 dans le monde entier en empêchant leurs companies de générer des photos et d’autres médias qui pourraient influencer les électeurs. Midjourney était absent de cette liste.
