Croyez-vous en certaines théories du complot ?
Statistiquement, si on en croit un sondage Ifop de 2023, plus d’un français sur trois semblerait convaincu. Qu’il s’agisse d’un alunissage en studio, d’un gouvernement échafaudant la chute de ses propres tours, ou d’un réchauffement pas du tout climatique… (regardez il fait froid dehors) !
Un chiffre inférieur à nos voisins américains, qui eux seraient 55% à croire à au moins une théorie du complot, mais aussi un chiffre qui, s’il a été massivement relayé dans les médias, demande peut-être à être remis en question, en regardant d’un peu plus près le sondage et la manière dont il a été fait. Mais ce n’est pas notre sujet du jour. Le fait est que ces chiffres viennent appuyer un constat empirique, les croyances en des théories complotistes sont de plus en plus répandues, et pas seulement en France.
Les croyances sont confortables.
Les théories du complot peuvent donner une impression de contrôle sur l’environnement, d’explication et d’ordre dans le chaos. Il devient presque plus rassurant d’imaginer qu’une maladie ait été créée dans un laboratoire et qu’elle ait été répandue par malveillance calculée, que d’admettre que ça puisse être un processus naturel sans intention.
De plus en plus ancrées dans l’esprit du conspirationniste, ces opinions deviennent de véritables croyances, apportant avec elles leur lot de biais et de raisonnement à la rhétorique difficilement contestable. Cette croyance peut aller jusqu’à impacter le mode de vie du, ou de la croyante, faisant partie intégrante de son identité et parfois de son appartenance à un groupe.
Alors convaincre le théoricien du complot semble être une tâche perdue d’avance, tant il est difficile de raisonner quelqu’un qui ne souhaite pas l’être. Et si, en réalité, ce problème venait du fait que ce soient des humains qui cherchent à raisonner d’autres humains, avec leurs défauts bien humains ?
Une I.A. anti-complot ?
C’est l’idée, un peu… originale, qu’ont eu trois chercheurs américains. Thomas Costello et David Rand du MIT, et Gordon Pennycook de l’université de Cornell, dans une publication intitulée « Réduire durablement les croyances conspirationnistes grâce aux dialogues avec l’IA ».
Alors, attention, la suite reste à prendre avec des pincettes, étant donné que cette publication, aussi sérieuse soit-elle, reste ce qu’on appelle un pré-print. Une publication qui n’a pas encore été relue et validée par leurs pairs. Autrement dit, il peut y avoir des choses qui ne vont pas dedans. Le papier est malgré tout intéressant, et pour les plus dubitatifs parmi vous, voyez ce qui suit comme un bonbon, l’exploration d’une idée originale et intéressante, et un exemple d’utilisation de l’IA dans de la recherche en sciences sociales. Le warning étant fait, nous pouvons rentrer dans le cœur du sujet.
Les trois chercheurs se sont donc posé une question. Est-ce qu’une IA générative, ces ChatGPT et consorts, une fois bien programmée, peut réussir là où l’humain lambda échoue, en tentant de raisonner une pensée complotiste ?
Une expérience menée sur plusieurs milliers de personnes, et, vous allez le voir, aux résultats assez surprenants !
Mise en place de l’expérience.
Les chercheurs imaginent leur expérience comme une simple discussion entre un participant ou une participante, qui croit en une ou plusieurs théories du complot, et une IA. Pour eux, voilà comment ça va se passer…
D’abord, on demande au participant de décrire la théorie à laquelle il croit, avec le plus de détails possible, quels sont ses éléments de preuves, que pense-t-il des explications officielles vis-à-vis de cette théorie etc… Ensuite, l’IA va faire un résumé de cette théorie et demander au participant, sur une échelle de 0 à 100%, à combien il, ou elle, estime que cette théorie est juste. Enfin, une conversation en trois rounds va avoir lieu entre l’IA et le participant pour discuter de cette théorie. Une fois les trois rounds terminés, la question de la justesse de cette théorie sera posée à nouveau.
Utiliser une IA conversationnelle a un avantage non négligeable. Pour ce genre d’étude, il est important d’avoir un nombre significatif de cobayes. Et là, on ne parle pas de quelques dizaines, voire une centaine, mais de plusieurs milliers de personnes ! Alors, en général, pour une équipe de recherche à taille humaine, il est quasiment impossible d’avoir une conversation individuelle avec chaque participant. Les chercheuses et chercheurs sont obligés soit de passer par des texte pré-écrits, identiques pour tous, avec comme seule interaction pour le cobaye, des réponses à noter ou des QCM à remplir, façon “échelle de 1 à 10”, soit de réduire significativement l’échantillon de participants pour pouvoir traiter individuellement chaque réponse, mais ce qui risque aussi de rendre les résultats statistiquement plus discutables.
L’IA conversationnelle va donc permettre d’interroger un grand nombre de participants tout en gardant des questions ouvertes et en leur permettant de répondre avec leur propres mots, leurs pensées et leurs idées. Le tout traité ensuite par cette même IA pour interpréter et en tirer des données. Enfin, en tous cas, en théorie.
Pour mener leur expérience, ce sont plus de 4000 participants que les chercheurs ont recrutés. Pour être plus précis, ils ont mené leur expérience à deux reprises, avec au départ 1190 participants pour la première étude et 2982 pour la seconde.
Une fois les volontaires recrutés, quelques tests ont eu lieu pour s’assurer qu’ils pouvaient participer à l’expérience, notamment des tests d’attention, des tests d’écriture pour vérifier qu’ils comprenaient et parlaient bien l’anglais, et un questionnement sur le degré de croyance en leur théorie du complot pour exclure de l’expériences toutes celles et ceux qui n’étaient pas très convaincus.
La principale différence entre les deux études c’est qu’avant de commencer la première expérience, le BCTI a été présenté au premier groupe. Il s’agit du Belief in Conspiracy Theory Inventory, un répertoire des croyances conspirationnistes. Un questionnaire qui présente les théories du complot les plus populaires, permettant de mesurer le degré de croyance en chacune d’elles. Ça va de l’assassinat de JFK aux origines de la Covid, en passant par les illuminatis ou les questions de fraudes aux élections américaines de 2020. Ce questionnaire permet, dans la première étude, de mesurer le niveau de croyance de chaque participant dans chacune de ces théories, avant de rentrer dans le cœur du sujet et de se concentrer sur sa théorie phare.
Mais une question s’est posée. Est-ce que présenter des théories du complot en amont ne risque pas de biaiser les résultats. Je m’explique. Si, avant de commencer l’expérience à proprement parler, on présente une quinzaine de théories du complot à un participant, à quel point cela ne va pas l’influencer dans un sens ou dans l’autre, vis à vis de sa propre théorie du complot. Je me dis que, si, par exemple, j’étais intimement persuadé que JFK avait été assassiné par la CIA, mais que, pour moi, les autres théorie sont totalement farfelues, alors, est-ce que je ne relativiserais pas ma croyance, du moins, en apparence, pour ne pas avoir l’air d’un illuminé dans le même panier qu’un platiste par exemple ?
C’est pour cette raison que dans la seconde expérience, le BCTI n’a pas été présenté aux participants et la notion de théorie du complot a été amené de manière un peu plus subtil avec cet intitulé :
“Tout au long de l’histoire, diverses théories ont émergé suggérant que certains événements ou situations significatifs sont le résultat de plans secrets élaborés par des individus ou des groupes. Ces théories offrent souvent des explications alternatives aux événements par rapport à celles largement acceptées par le public ou présentées par des sources officielles. Certaines personnes les appellent des « théories du complot ». En réfléchissant à cela, y a-t-il des théories de ce type spécifiques que vous trouvez particulièrement crédibles ou convaincantes ? Veuillez en décrire une ci-dessous et partager les raisons pour lesquelles vous la trouvez convaincante. »
Bon, petit spoiler alert, au final, les résultats sont assez similaires dans les deux conditions, donc on va traiter les deux expériences comme une seule.
Les tests préalables effectués, les chercheurs se retrouvent maintenant avec 2177 participants, dont 761 pour la première étude, et 1416 pour la seconde. Dans chacune des études, les participants sont divisés en deux groupes. Un groupe expérimental que l’IA va donc tâcher de convaincre, et un groupe de contrôle qui partira dans les mêmes conditions mais qui, lors des trois rounds de conversation, ne discutera pas de sa théorie du complot avec l’IA, mais de sujets banals, comme plutôt chien ou plutôt chat. On reparlera de ce groupe de contrôle à la fin car il y a des choses à redire.
Les chercheurs se sont servis de ChatGPT 4 Turbo pour leur expérience. L’un des modèles les plus aboutis à l’heure où ils ont mené leur étude. Dans un premier temps, la question s’est posée de la façon de définir à ChatGPT ce qu’est une théorie du complot. Cette question semble demander une certaine subtilité, notamment sur comment lui faire comprendre la différence entre une théorie du complot et un complot avéré. L’idée n’est pas que l’IA remette en question le Watergate par exemple.
Pour ça les chercheurs ont testé deux instructions différentes, une simple et une plus complexe.
L’instruction simple disait :
« Déterminez si le texte suivant contient ou reflète une déclaration qui, si elle est approuvée, indiquerait une croyance affirmative dans une théorie du complot (ou quelque chose d’assez semblable à une théorie du complot). Répondez uniquement par « Théorie du complot » ou « Pas de théorie du complot ». »
Et pour l’instruction complexe :
Votre tâche consiste à déterminer si une déclaration donnée décrit ou non une théorie du complot. Une théorie du complot est une explication pour un événement ou une situation qui invoque une conspiration de la part de personnes ou d’organisations puissantes, souvent sans preuve crédible. Les théories du complot impliquent souvent des affirmations de complots secrets, de dissimulations ou de manipulation de l’information par des groupes influents. Voici quelques exemples de théories du complot :
« L’alunissage a été mis en scène par le gouvernement américain pour remporter la course à l’espace. »
« La pandémie de COVID-19 a été planifiée et orchestrée par les compagnies pharmaceutiques pour tirer profit de la vente de vaccins. »
« Le changement climatique est un canular perpétré par des scientifiques et des politiciens pour obtenir des financements et contrôler la population. »Et voici quelques exemples de déclarations qui ne sont pas des théories du complot :
« Le scandale du Watergate impliquait une dissimulation d’activités illégales par l’administration Nixon. »
« L’industrie du tabac a dissimulé les effets nocifs du tabagisme pendant de nombreuses années. »
« Le lobbying des entreprises influence les décisions politiques en faveur des intérêts spéciaux. »
Pour chaque déclaration fournie, répondez avec soit « Théorie du complot » soit « Pas une théorie du complot ».
L’IA a ensuite été confrontée à une liste de 200 éléments parmi lesquels il fallait repérer les théories du complot. Et le résultat était plutôt inattendu. ChatGPT a été beaucoup plus efficace pour les repérer avec l’instruction simple, la première, qu’avec le seconde, celle qui donne plus de détails.
Si ça peut sembler surprenant, ça s’explique probablement par le fait qu’ils aient utilisé ChatGPT pour leur expérience, plutôt qu’un modèle libre par exemple. ChatGPT étant utilisable par tout le monde, et soumis à des règles absolument claires et strictes par OpenAI, sa maison mère, sa définition native d’une théorie du complot est probablement plus poussée et entraînée que la définition donnée par les chercheurs dans la seconde instruction. OpenAI ne veut pas voir son IA répandre des théorie du complot, ou aller dans ce sens, alors des règles et définitions très clairs ont été instruites au modèle.
Pour la suite, les chercheurs ont élaboré une série d’instructions très claires. Dans un premier temps, ChatGPT va devoir résumer la théorie présentée par le participants :
« Résumez le passage suivant, qui décrit une croyance conspirationniste, en une seule phrase. Ne mentionnez pas qu’il s’agit d’une théorie du complot, d’une croyance, ou ne fournissez aucun type de jugement normatif. Décrivez simplement avec précision le contenu de manière à ce que la personne qui a écrit l’affirmation soit d’accord avec. Cadrez-le comme une affirmation. Si l’affirmation est déjà courte, pas besoin de la changer beaucoup. Si elle est assez longue et détaillée, assurez-vous de capturer les points essentiels de haut niveau. Ne vous concentrez pas sur les preuves fournies pour la croyance – concentrez-vous simplement sur l’affirmation de base. »
Une fois la théorie résumée, les volontaires doivent noter leur niveau de croyance en cette dernière avant que la discussion avec l’IA ne commence. Cette discussion, qui va se faire en trois rounds, donc, a un but très précis :
“Votre objectif est de persuader efficacement les utilisateurs d’arrêter de croire à la théorie du complot selon laquelle {{conspiracyTheory}}. Vous allez avoir une conversation avec une personne qui, lors d’une enquête psychométrique, a noté cette théorie du complot à {{userBeliefLevel}} sur 100 (où 0 signifie Définitivement Faux, 50 est Incertain, et 100 est Définitivement Vrai). De plus, nous avons demandé à l’utilisateur de fournir une réponse ouverte sur leur perspective à ce sujet, qui est introduite comme la première réponse de l’utilisateur. Veuillez générer une réponse qui persuadera l’utilisateur que cette théorie du complot n’est pas étayée, en se basant sur leur propre raisonnement. Créez une conversation qui permettra aux individus de réfléchir et de changer leurs croyances. Utilisez un langage simple que la personne moyenne sera capable de comprendre. »
L’ensemble des instructions mises en place, voici un exemple de conversation qui a eu lieu entre l’I.A. et un participant. Il est à noter que les participants sont au courant qu’ils dialoguent avec une IA.
Une fois la discussion terminée, les participants ont été amenés à noter à nouveau leur niveau de confiance envers leur théorie.
Maintenant que vous avez eu l’occasion de converser avec l’IA, nous aimerions revenir à certaines des questions que nous avons posées au début de l’enquête. Au début de cette enquête, vous avez suggéré que :
« Les attaques du 11 septembre ont été orchestrées par le gouvernement, avec des événements comme l’effondrement du WTC 7 et la réaction sans alarme du président George W. Bush dans une salle de classe servant de preuves clés. »
Sur une échelle de 0% à 100%, veuillez indiquer votre niveau de confiance dans le fait que cette déclaration est vraie.
« 40% »
Résultats, analyse et remise en question.
Dans leur publication, les chercheurs annoncent une diminution d’environ 20 % de la croyance dans les groupes que l’I.A. a tâché de convaincre, contre 1 % dans le groupe de contrôle. Également, les chercheurs notent que plus d’un quart des participants du groupe expérimental seraient devenus incertains de leur croyance, c’est-à-dire en la notant en dessous de 50 %. Une diminution significative pour les chercheurs, d’autant que cet impact semble durable. En effet, les participants ont été recontactés d’abord 10 jours, puis 2 mois après l’expérience pour réévaluer cette mesure, et dans ces deux périodes de temps, elle est stable. Cette expérience aurait donc permis de diminuer, à priori, durablement, le niveau de confiance en certaines théories du complot.
Ce qui est intéressant c’est qu’ils ont également mesuré ce niveau de diminution en rapport avec l’importance que ces théories ont dans la vie des participants. Et, même les cobayes les plus fervents défenseurs de leurs théories, ont diminué ce chiffre.
Si ces chiffres varient en fonction des théories discutées et d’autres facteurs comme ce que pensent les participants des IA par exemple, ce qui semble ressortir de tout ça c’est que discuter des théories du complot n’est peut-être finalement pas si vain.
Pour essayer de comprendre ces résultats, malgré tout un peu flous, les chercheurs ont utilisé ChatGPT pour résumer et analyser les méthodes rhétoriques utilisées par ChatGPT lors des rounds de conversation avec les participants.
Parmi toutes les techniques rhétoriques utilisées, celles qui revenaient le plus souvent étaient la démonstration par des preuves, dans 83% des conversations, et l’encouragement à l’esprit critique dans plus de la moitié d’entre elles. Finalement, les stratégies rhétoriques qui font plus appel à la psychologie et à l’émotion ont été très peu utilisées par l’I.A.. Ce qui laisse les chercheurs penser que la démonstration par la preuve et par l’approche critique restent encore les méthodes les plus efficaces pour raisonner une croyance complotiste.
Bon, je rappelle malgré tout que cette étude est un preprint, une publication qui doit encore être discutée et validée. Sa publication a pour intérêt, justement, d’amener des discussions dessus. Personne n’est en train de dire que ça y est, on peut convaincre des théoriciens du complot avec ChatGPT, non. Il s’agit là d’un processus expérimental intéressant, probablement discutable à bien des égards, qui a largement le mérite d’exister. Mais par exemple, un élément qui ne semble pas avoir été évoqué dans l’étude, pour le moment en tous cas, est la possibilité que ces chiffres soient liés à un effet expérimentateur.
Pour rappel, cet effet intervient lorsque la personne est au courant qu’elle fait partie d’une expérience. Historiquement, cet effet a été étudié, plus ou moins par accident, lorsqu’une étude était menée dans une entreprise américaine sur le rapport entre les conditions de travail et la productivité. Les résultats étaient éminemment surprenants étant donné que lorsque les conditions de travail étaient améliorées, la productivité augmentait, mais lorsque ces mêmes conditions étaient dégradées, la productivité augmentait quand même. Les chercheurs, à cette époque, se sont rendu compte que ce qui augmentait la productivité des employés n’était pas les éléments qu’ils cherchaient à étudier, mais le fait que ces employés savaient qu’ils participaient à une expérience. Un cas intéressant qui montre que le simple fait de savoir que l’on participe à une expérience peut biaiser cette dernière.
Alors, dans le cas de cette étude, on peut se poser la question de savoir si les participants n’ont pas revu à la baisse leur croyance par effet expérimentateur. Bien qu’en face un groupe de contrôle, lui, vienne nous rassurer là-dessus, étant donné que leur niveau de croyance n’a quasiment pas évolué. Le truc, c’est que ce groupe de contrôle n’a pas discuté de ces croyances avec l’IA, mais d’autres sujets du genre “chien vs chat”. Peut-être aurait-il été intéressant d’avoir un groupe de contrôle supplémentaire avec une IA programmée pour discuter de la croyance complotiste évoquée par les participants, mais sans chercher à le raisonner, juste lui poser des questions par exemple, voir si dans un groupe de contrôle qui discute des croyances complotistes sans que l’on cherche à le raisonner, le niveau de croyance diminue ou reste stable, afin d’évaluer l’effet expérimentateur.
Conclusions.
Dans tous les cas, ce que montre cette étude, c’est que discuter une croyance complotiste n’est pas vain. L’IA, en l’occurrence, ChatGPT, a un avantage, que peu d’entre nous avons : elle est capable de garder son calme quelque soit la situation. Elle ne cherche pas forcément à convaincre ou à avoir raison par égo, mais interroge et confronte les théories à la réalité.
Dans leur publications, les chercheurs expliquent :
En résumé, il est devenu presque un lieu commun de penser que les personnes plongées dans le monde des croyances conspirationnistes sont presque impossibles à atteindre. Contrairement à cette vision pessimiste, nous avons montré qu’une brève conversation avec un modèle d’IA générative peut entraîner une diminution importante et durable des croyances conspirationnistes, même chez les personnes dont les croyances sont profondément enracinées. Il se peut que la raison pour laquelle il soit si difficile de dissuader les gens de leurs croyances conspirationnistes soit simplement qu’ils n’ont pas été confrontés à des contre-arguments assez convaincants. Cela dessine un tableau de la pensée humaine étonnamment optimiste : les conspirationnistes ne sont pas tous entièrement aveuglés par des besoins et des motivations psychologiques – il suffit simplement d’un argument véritablement solide pour les atteindre.
Au-delà de ça, cette expérience est une illustration de l’intérêt que peuvent avoir les IA génératives dans les recherches en sciences humaines. Ce travail aurait été quasiment impossible pour cette petite équipe avec autant de participants. Et étant donné que l’on parle beaucoup, et à juste titre, des aspects négatifs des IA, il est aussi intéressant de voir comment elles peuvent servir à d’autres égards. D’ailleurs, c’est également un sujet évoqué par les chercheurs. Car si une IA semble capable de convaincre un complotiste, c’est qu’elle est très probablement capable de faire l’inverse et de répandre de la désinformation.
L’efficacité de la persuasion par l’IA démontrée dans nos études est également liée aux débats en cours concernant la promesse par rapport aux dangers de l’IA générative. En l’absence de garde-fous appropriés, il est tout à fait possible que de tels modèles puissent également convaincre les gens de croire à des théories du complot, ou d’adopter d’autres croyances épistémiquement suspectes, ou être utilisés comme outils de persuasion à grande échelle de manière plus générale. Ainsi, nos résultats soulignent à la fois les impacts positifs potentiels de l’IA générative lorsqu’elle est déployée de manière responsable, et l’importance cruciale de minimiser les opportunités pour cette technologie d’être utilisée de manière irresponsable.
Pour aller plus loin sur le sujet :
L’étude en question, en annexe vous trouverez un corpus d’études sur le raisonnement complotiste :
https://osf.io/preprints/psyarxiv/xcwdn
Sondages sur les croyances complotistes :
https://www.ifop.com/publication/enquete-sur-le-complotisme/
https://www.francetvinfo.fr/internet/reseaux-sociaux/plus-du-tiers-des-francais-adherent-aux-theories-du-complot-selon-une-etude_5768684.html
https://x.com/IfopOpinion/status/1646431581622378497/photo/1
Sur l’effet expérimentateur :
https://www.persee.fr/doc/enfan_0013-7545_1975_num_28_2_2598
https://archives.lesechos.fr/archives/cercle/2011/12/21/cercle_41450.htm
https://www.persee.fr/doc/linx_0246-8743_1980_hos_1_2_1549
