Bientôt 3 ans après le lancement de ChatGPT, pour le texte, ou de Midjourney, pour les images ; les réseaux sociaux ont vu débarquer cet été le résultat de la démocratisation des modèles d’IA générant de la vidéo, notamment le modèle Veo 3 de Google. Encore plus que les précédentes, ces technologies sont utilisées par des comptes propagandistes d’extrême-droite pour générer des contenus et des narratifs racistes. Pourquoi est-il si facile de générer ce type de publications ?
Les modèles génératifs, comme les générations d’IA qui les précèdent, sont des modèles probabilistes. Ils sont nourris de milliards de documents existants, et reproduisent cette unique réalité. Quand des vidéos racistes mettent en scène des personnes noires sous les traits de singes, ou qu’une image générée par IA représente une personne juive avec un nez crochu, l’IA emprunte aux vastes iconographies existantes, négrophobes et antisémites, qui font partie des données qu’on lui a fourni. L’IA ne crée jamais rien : elle reproduit la culture dominante, majoritairement et donc statistiquement raciste.
Ce qui nous frappe sur les modèles génératifs existe déjà depuis des décennies, de manière plus pernicieuse, dans la vague précédente d’IA : les modèles simples de classification, qui voyant une photo, indiquent « poire » ou « pomme ». Ils sont aussi utilisés pour classer des dossiers, indiquer les probabilités, et marquer « fraudeur-se probable », « suspect-e » sur des situations, dans la justice, l’administration, la vidéosurveillance etc. Là aussi le racisme structurel s’autoreproduit : les données sur les suspect-es condamné-es ou les fraudeur-ses dont sont nourries les IA sont produites par des institutions qui ciblent déjà majoritairement les personnes pauvres et racisées.
