Aujourd’hui, ça n’est plus un secret, les nombreuses vidéos façon “face cachée de TikTok” ont bien montré une chose, la plateforme est infestée de contenu qui n’a rien à y faire. Mais parmi tout ce contenu parfois bizarre, parfois effrayant voire carrément criminel, il y en a un qui est plus rarement évoqué : le contenu néo-nazi. Et je ne parle pas juste d’influenceurs plus ou moins ouvertement d’extrême droite, non, je parle littéralement de réseaux organisés de néo-nazis sur TikTok.
Alors, quels types de contenu publient-ils ?
Comment réussissent-ils à passer les filtre de la modération ?
Comment cherchent-ils à recruter de nouveaux membres à la vue de tous ?
Plongeons ensemble dans la face pas si cachée…
…des néo-nazis de TikTok.
Même si, ces dernières années, le nazisme trouve un certain regain de popularité, les néo-nazis ont malgré tout un problème… Pour eux, il est encore assez compliqué de répandre ouvertement leurs idées et de profiter de l’élan de visibilité que peuvent offrir les plateformes populaires pour convaincre de nouveaux partisans.
Le truc, c’est que leurs idées sont assez clairement identifiées. Et pour ce qui est des plateformes, on a soit celles qui sont contres et qui mettent en place une modération automatique plus ou moins efficace, mais qui, en tous cas, tentent de freiner la visibilité de ce genre de contenu. Soit les plateforme, comme X, qui, sous couvert de liberté d’expression, font la part belle aux idées extrêmes. Alors on se retrouve dans une sorte de jungle qui voit se confronter des groupes d’extrémistes déjà convaincus avec des opposants qu’il ne s’agit pas de convaincre.
Dans un cas comme dans l’autre, ces plateformes ne sont pas vraiment le bon endroit pour s’adresser à de nouvelles têtes. Mais au milieu de cette dichotomie, certains ont vu TikTok, sa large audience internationale et sa modération discutable comme une opportunité. LA solution pour s’adresser à une nouvelle audience.
C’est en tous cas le constat qu’on fait des chercheurs de l’ISD, l’Institute for Strategic Dialogue, dans un rapport intitulé NazTok: « Un réseau organisé de néo-nazi sur TikTok qui fait des millions de vues.”
Dans leur étude publiée en juillet 2024, Nathan Doctor, Guy Fiennes et Ciarán O’Connor ont repéré plusieurs centaines de comptes promouvant ouvertement le nazisme, et accumulant des dizaines de millions de vues. Et vous allez voir que ces comptes ne sont pas cachés, voir même, qu’ils arrivent subtilement à se servir de l’algorithme de TikTok pour être mis en avant.
Toute une organisation
Avant de se pencher sur le contenu publié, il est important de comprendre comment fonctionne ce réseau, et comment il a été mis au jour. Plus tôt en 2024, Nathan Doctor, l’un des chercheurs de l’ISD, bossait sur d’autres travaux qui l’ont conduit à fouiller un peu TikTok. C’est comme ça qu’il est tombé, par hasard, sur un premier compte qui publiait du contenu néo nazi. Le chercheur décide alors de remonter le fil de ce compte, histoire de voir les autres comptes qui y sont liés, ceux avec lesquels il interagit. Assez vite, le chercheur a découvert un réseau de plusieurs centaines de comptes TikTok néo-nazis liés les uns aux autres.
Un réseau qui, d’ailleurs, ne trouve pas sa base directement sur TikTok. En réalité, il s’agit d’un ensemble d’individus qui se retrouvent sur des canaux Telegram, plus ou moins privés, ou en tous cas sur lesquels l’objectif n’est pas de convaincre de nouvelles têtes, mais de coordonner leur stratégie. Car voici la particularité de ce réseau, ils ont établi de véritables stratégies de communications sur d’autres plateformes, avec TikTok comme cœur de cible. Et pour cause, sur le canal Telegram, certains membres expliquent :
“Nous avons posté des trucs sur notre tout nouveau compte TikTok avec 0 abonnés, mais on a eu plus de vues que vous ne pourriez jamais atteindre sur Bitchute ou Twitter. Ça atteint beaucoup plus de gens.”
C’est depuis ces QG, sur Telegram, qu’est coordonnée la création de centaines de comptes sur TikTok, se suivant les uns les autres, et interagissant avec les contenus publiés de chacun.
Un véritable réseau qui permet, d’une part, de booster la visibilité du contenu publié. (Il faut comprendre que sur TikTok, les vues accumulées et l’interactions avec le contenu le rend intéressant à mettre en avant aux yeux de l’algorithme.) Et d’autre part, cette façon d’agir, en réseau donc, permet de ne pas subir le jeu de la modération. Même si, et on le verra un peu plus tard, la plateforme semble un peu à la ramasse sur ce sujet, lorsque, malgré tout, un compte fini par se faire bannir, et bien cela n’affecte en rien l’ensemble du réseau. Un autre compte va être recréé, se servant de ce même réseau pour retrouver une audience. Et là on parle de plusieurs millions de vues.
Et c’est tout l’intérêt d’agir en réseau plutôt que de chercher à avoir quelques comptes forts avec une grosse audience. Si ça avait été le cas, alors le bannissement d’un de ces comptes suffirait à affecter significativement l’opération de communication. Ici, avec une multitude de comptes, plus petits, certes, mais suffisamment nombreux pour atteindre une audience toute aussi large, si l’un d’eux tombe, cela n’affecte en rien le réseau qui pourra en créer un nouveau pour le remplacer, et se servir de ce même réseau pour gonfler son audience.
Le contenu
Je pense que vous comprendrez qu’étant donné l’immondice de ce contenu, et sa visibilité déjà très large, trop large même, je ne vais pas en faire la promotion. Je vais me concentrer essentiellement sur les exemples mis en lumière dans le rapport de l’ISD. Mais il est largement suffisant pour comprendre le phénomène, et si vous voulez en voir plus, je vous invite à aller lire le rapport complet, ainsi que l’article de Wired qui y est lié.
Ce qui est particulièrement prégnant dans le contenu produit par ce réseau, c’est la promotion d’idéologie nazi, avec l’accent mis sur la menace venant de l’étranger accompagnée de visions antisémite semblables à celle des années 30/40… Bon, à la différence près que du contenu généré par IA s’invite dans la partie pour générer des images d’illustration aussi réaliste que la technologie le permet.
Si l’on voit déjà en quoi ces contenus sont problématiques, ce réseau ne se limite pas à de l’idéologie. En réalité, ils sont beaucoup plus proactifs et mènent, sur TikTok, de véritables campagnes de recrutement.
Parmi les comptes repérés par les chercheurs, certains partageaient régulièrement des liens pour rediriger leurs audiences en dehors de la plateforme. Par exemple, certains comptes redirigeaient vers des sites web mettant à disposition des flyers à distribuer accompagnés d’instructions pour les imprimer. Ou encore, d’autres proposaient également de suivre des comptes privés sur TikTok, proposant du contenu encore plus radical, et même de rejoindre des canaux Telegram sans modération, et donc forcément, beaucoup plus extrémistes. C’est sur ces canaux que les chercheurs ont pu trouver des appels à la mobilisation, pour que ces idées sortent des réseaux et envahissent les rues.
Il y a un exemple précis qui fait froid dans le dos. Il s’agit d’un compte, anonymisé dans le rapport, mais dont le nom contenait une insulte antisémite, ne laissant aucun doute sur son orientation. Bon, pour s’y retrouver, car on reparlera de ce compte un peu plus tard, appelons le… Andrew. Et, si l’on n’est pas encore tout à fait sûr des idées d’Andrew, sa biographie enfonce le clou :
“Révolution armée maintenant. Annihilation totale de 🔯”
Sur TikTok, Andrew compte quand même quelques milliers d’abonnés et propose un contenu grave. Des incitation à la violence extrême en appelant, je cite : “à se procurer des armes et à les détruire”. Pas besoin de vous faire un dessin pour savoir qui Andrew vise dans cet appel au meurtre. Le truc, c’est que ça ne s’arrête pas là. Ce compte ne se contente pas d’inciter à la violence, mais explique également comment s’y prendre. Dans le contenu qu’il publie, les chercheurs sont tombés sur des instructions incomplètes pour fabriquer des bombes improvisées, des armes imprimées en 3D ou encore du Napalm à petit budget. Et si ces instructions sont incomplètes, l’auteur redirige également son audience vers d’autres plateformes, non modérées, pour obtenir la fin des instructions.
Bon, vous commencez à comprendre où se situe le problème avec ce genre de réseau. Au-delà de répandre une idéologie nauséabonde, il s’agit de véritables campagnes de recrutement avec pour objectif de mener des actions en dehors du monde numérique. Ces comptes rendent régulièrement hommage à des suprémacistes blancs auteurs de tueries de masse, comme celui de Christchurch, en Nouvelle Zélande, dont l’attentat contre des mosquées avait fait 51 morts et 49 blessés.
L’objectif de ce réseau, et de probablement bien d’autres similaires, est de répandre massivement leurs idées, de manière plus ou moins soft, pour atteindre une nouvelle audience qui pourrait y être sensible, même juste un peu. Une fois touchée, une partie de cette audience sera baignée par ce type de contenu, la poussant vers des idées de plus en plus extrêmes, avant, pour certains, d’aller plus loin, de sortir de TikTok et de s’engager d’une façon ou d’une autre dans des groupes néo-nazi, avec toutes les conséquences que ça peut avoir.
La modération
Comment arrivent-ils à faire passer ça ?
Je veux dire, à priori, je me dis que poster des discours d’Hitler et des incitations à la haine ne doit pas être possible sur TikTok non ? La plateforme a quand même des conditions d’utilisations assez strictes et classiques sur le sujet, alors le contenu devrait se faire supprimer avant même d’être publié…
Et bien, pour passer ces barrières automatiques de modération, le réseau fait preuve d’un ensemble de techniques plus fourbes les unes que les autres.
Dans l’ensemble, il s’agit d’utiliser le plus possible un langage codé. Alors, pas un langage codé très compliqué, l’idée c’est que tout le monde puisse comprendre, mais un langage suffisamment codé pour ne pas être repéré par la modération automatique de la plateforme.
Ça va de l’émoji étoile de David pour comprendre de qui ils parlent à des paronymes un poil plus subtiles. Par exemple, en anglais « juifs » se dit « Jews », et un mot qui y ressemble pas mal c’est « Juice », c’est à dire jus, comme un jus de fruit. Alors, on retrouve, que ce soit dans le contenu ou carrément dans des pseudos, pas mal d’émoji de briquette de jus de fruit.
À ce propos, dans l’article de Wired sur le sujet, Nathan Doctor, l’un des auteurs de la publication s’agace du fait que ce langage codé, qui est, on ne va pas se mentir, absolument basique arrive à passer la modération :
« La nature codée de ce contenu n’est pas une excuse, car si c’est assez facilement reconnaissable par quelqu’un dans une autre langue, cela devrait aussi être reconnaissable pour TikTok. »
On retrouve également des altérations à peine subtiles du contenu. Ça va d’une image incrustée dans une autre pour compliquer la tâche des bots de modération, à des symboles masqués grossièrement pour en comprendre le sens sans en afficher ce qui est reconnaissable et problématique. Par exemple, cette image générée par IA d’un salut nazi devant un drapeau avec la croix gammée masquée par un émoji coeur…
Un ensemble de techniques et de langages à peine codés, donc, qui permet à ces réseaux, d’une part de prospérer en ne craignant pas trop la modération, mais également de se repérer entre eux, même lorsqu’il s’agit de réseaux qui ne sont pas liés les uns aux autres.
Pour ça, les musiques, et plus largement, les audios utilisés dans les TikTok concernés ont un rôle clé. Il faut savoir que, sur TikTok, on peut ré-utiliser l’audio d’une vidéo pour en créer une autre, mais également retrouver tous les contenus qui utilisent ce même audio. Il suffit de cliquer dessus. Et bien ces réseaux se servent de ça, d’une part pour s’infiltrer dans les contenus liés aux audios les plus populaires, comme en 2021 où le morceau Little Dark Age de MGMT avait explosé sur TikTok avant que des communautés d’extrême droite ne détournent cette trend. Et d’autres part, ça leur permet également de propager des audios que différents groupes de néo-nazis pourront utiliser, sans pour autant ne s’être ni coordonnés, ou même ne se connaitre.
Quelques semaines après la sortie du rapport de l’ISD, en septembre 2024, la chaîne britannique Sky News a listé, en deux jours seulement, plus de 70 000 TikTok utilisant des audios ouvertement nazi, qu’il s’agisse de discours ou de chants d’époque. Un contenu ayant généré plus de 21 millions de likes d’après leur enquête…
Cette technique permet alors à ces réseau, à travers le monde, ne partageant pas forcément la même langue, de se repérer entre eux, d’interagir avec le contenu des uns et des autres afin qu’ils soient mis en avant par l’algorithme de la plateforme.
Algorithme de recommandation
Parce que voilà tout l’enjeu de ces réseaux. Se servir de la plateforme, et de son très puissant algorithme de recommandation pour voir son contenu présenté à un maximum de monde.
Si vous n’avez pas l’habitude d’utiliser TikTok, il faut savoir que quand on ouvre l’application, on atterrit sur une page de recommandation de contenu. Ça s’appelle la For You Page. Et l’algorithme de TikTok est très fort pour vous proposer du contenu qui va accrocher votre attention, quitte à vous enfermer dans des bulles de contenu très fermées.
Et bien, pour le contenu néo nazi, entre l’ensemble de technique pour passer les filtres de modération, le contenu qui fait réagir, et une audience de base gonflée par l’ensemble du réseaux et des autres réseaux similaires, et bien ce contenu se retrouve facilement mis en avant par la plateforme.
C’est ce qu’ont constaté les chercheurs en créant de nouveaux comptes, des comptes vierges de tout historique. Ils ont alors regardé 10 TikTok de ce réseau avant de revenir à la page d’accueil, la For You Page. Il n’en aura pas fallu plus pour que l’algorithme de recommandation se mette à recommander d’autres contenus néo-nazi ou affilié à ces comptes tout neuf. Et, plus surprenant encore, TikTok avait même recommandé du contenu de comptes qui, à ce stade, n’avaient même pas été repérés par les chercheurs. Ces comptes tests se retrouvaient alors enfermés dans une bulle pouvant aller très loin.
Alors… Qu’en est-il de la modération sur la plateforme ?
Dans l’article de Wired sur le sujet, Jamie Favazza, un porte-parole de TikTok explique :
« Les comportements haineux, les organisations et leurs idéologies n’ont pas leur place sur TikTok, et nous supprimons plus de 98 % de ce contenu avant qu’il ne soit signalé (…) Nous travaillons avec des experts pour rester en avance sur l’évolution des tendances et pour renforcer continuellement nos protections contre les idéologies et groupes haineux. »
Le problème, c’est que le constat des chercheurs ne va pas du tout dans ce sens. Dans leur étude, ils ont voulu évaluer la modération de TikTok. Pour ça, ils ont signalé 50 comptes néo-nazi en dénonçant des discours de haine, ce qui enfreint les règle d’utilisation de la plateforme. Le lendemain, aucun de ces comptes n’avaient été suspendus. Au bout de deux semaines seulement 15 ont été bannis, et après un mois, seuls 23 des 50 comptes signalés avaient finalement été clôt. Cette réactivité est grandement insuffisante, les quelques comptes supprimés ne le sont que bien après avoir accumulé un bon gros paquet de vues. À titre d’exemple, les 23 comptes supprimés avaient accumulé plus de 2 millions de vues avant leur bannissement.
Vous vous souvenez du compte dont nous parlions un peu plus tôt, Andrew, celui qui partageait, entre autre, des instructions sur la fabrication de bombe et qui appelait au meurtre ?
Et bien les chercheurs de l’ISD ont alerté TikTok sur ce compte spécifiquement. En réponse, TikTok a indiqué n’avoir trouvé aucune violation dans son contenu, et le compte est encore resté actif plus d’une semaine avant d’être finalement banni.
Et, au-delà de ça, comme on l’a vu, le fait que ces groupes fonctionnent en réseau les rend presque invulnérables à ces bannissements, TikTok ne s’attaquant qu’à des comptes spécifiques plutôt qu’à des groupes de comptes. Le réseau pourra constamment en recréer de nouveau sans ne perdre aucune force de frappe…
On se retrouve alors face à une plateforme, l’une des plus puissantes de la planète, capable de développer des algorithmes assez pointus et puissants pour biaiser le cerveau de plus de 2 milliards d’utilisateurs dans le monde. Cette même plateforme qui explique que le langage codé de ces groupes de néo-nazis semble trop subtil pour être efficacement modéré.
Alors, je ne dis pas que c’est simple, mais être une plateforme d’une telle ampleur, avec autant de puissance, incombe des responsabilités toutes aussi importantes. Responsabilités qui, à l’heure actuelle, ne semblent pas être dans leurs priorités.
Comme l’expliquent les chercheurs dans la conclusion du rapport :
« Le succès ne réside pas dans la suppression immédiate de toutes formes de nazisme dès qu’elles apparaissent sur la plateforme, mais plutôt dans l’élévation suffisante des barrières à l’entrée. Aujourd’hui, des néo-nazis autoproclamés considèrent TikTok comme une plateforme propice à la diffusion de leur idéologie. »
Pour aller plus loin sur le sujet :
Le rapport de l’ISD
https://www.isdglobal.org/digital_dispatches/naztok-an-organized-neo-nazi-tiktok-network-is-getting-millions-of-views/
Des articles sur le sujet
https://www.wired.com/story/tiktok-nazi-content-moderation/
https://www.lemonde.fr/pixels/article/2024/07/29/naztok-un-rapport-revele-comment-des-groupes-neonazis-utilisent-l-algorithme-de-tiktok-a-son-avantage_6261156_4408996.html
https://news.sky.com/story/sky-news-investigation-finds-over-70-000-tiktok-posts-using-nazi-recordings-13210624
https://www.francetvinfo.fr/replay-radio/le-vrai-du-faux/tiktok-des-discours-de-propagande-d-adolf-hitler-sans-aucun-contexte-ni-rappel-historique-font-des-millions-de-vues-sur-la-plateforme_6778105.html
Rapport de l’ISD sur les discours de haine sur TikTok
https://www.isdglobal.org/wp-content/uploads/2021/08/HateScape_v5.pdf
