Malgré les « Notes de la communauté », la plupart des contenus faux ou trompeurs détectés par les vérificateurs de faits en Europe ne sont pas modérés sur X/Twitter
Résumé
Science Feedback a étudié les données paneuropéennes de la base de données du Réseau européen des normes de vérification des faits (EFCSN), qui concernent les contenus vérifiés relatifs aux élections du Parlement européen de 2024.
Nous constatons que la plupart des contenus sur X (anciennement Twitter) jugés faux ou trompeurs par les vérificateurs de faits ne présentent aucun signe visible d’action de modération de la part de la plateforme.
Plus précisément, sur les 894 tweets que les vérificateurs de faits européens de 22 pays ont identifiés comme contenant des informations erronées et téléchargés dans la base de données de l’EFCSN :
- 19,5 % ont été supprimés de la plateforme,
- 11,7 % avaient une note communautaire et/ou une autre étiquette d’avertissement « hors contexte »
- 68,8 % n’ont fait l’objet d’aucune action visible.
Alors que X présente le système participatif de Notes de la communauté comme un substitut populaire à la vérification des faits par des professionnels, nos résultats montrent que dans un contexte européen, les Notes de la communauté (et plus généralement les systèmes de modération de contenu de X) ne parviennent pas à identifier les messages trompeurs et souvent très viraux signalés par les vérificateurs professionnels, qui restent ainsi sans réponse.
Si l’on considère les Notes de la communauté de manière plus générale, d’autres doutes sont soulevés quant à leur capacité globale à étiqueter les contenus trompeurs ou faux à l’échelle nécessaire.
Premièrement, si l’on considère un échantillon de 19 pays de l’UE qui représentent 60 millions d’utilisateurs de la plateforme, seules 51 640 Notes de la communauté (environ une sur 500 000 tweets) ont été affichées au cours des 10 premiers mois de 2024 (une période qui comprend les élections du Parlement européen). Ce volume de Notes de la communauté est probablement inférieur de plusieurs ordres de grandeur à la prévalence des informations trompeuses sur la plateforme.
Deuxièmement, nous constatons une extrême disparité dans la densité des Notes de la communauté entre les États membres de l’UE. Le pays à la densité la plus élevée (le Danemark, avec 2,44 Notes pour 1 000 utilisateurs sur une période de 10 mois) compte 32 fois plus de Notes de la communauté par utilisateur actif que le pays à la densité la plus faible (la Hongrie, avec 0,08). Ce déséquilibre suggère que, au moins dans certains États membres, les Notes de la communauté offrent une couverture insuffisante.
Les Notes de la Communauté peuvent-elles se substituer à une vérification professionnelle des faits ?
BirdWatch de Twitter, qui a été rebaptisé “Notes de la communauté” (X’s Community Notes, a été présenté par le propriétaire de la plateforme, Elon Musk, comme un « changement dans la lutte contre les informations erronées » et a été comparé au processus traditionnel de vérification des faits, dans lequel des organisations spécialisées évaluent l’exactitude factuelle d’une affirmation.
La base de données du projet “European Elections 24”
Dans la période précédant et suivant l’élection du Parlement européen de 2024, l’EFCSN a créé une base de données commune pour ses quelque 40 membres afin de fournir des données sur les affirmations qu’ils ont examinées et les plateformes sur lesquelles ces affirmations sont apparues. La base de données contient plus de 3 000 articles de vérification couvrant 35 pays européens.
De cette base de données, nous avons extrait tous les tweets qui avaient été évalués par des vérificateurs de faits comme contenant des informations erronées, ce qui a fourni 894 éléments de contenu uniques examinés par des vérificateurs de faits de 22 pays.
Ce chiffre ne signifie pas qu’il n’y a eu que 894 contenus de désinformation sur X/Twitter, ni que les vérificateurs n’en ont pas identifié davantage, mais il reflète uniquement le nombre d’URL de tweet insérés par les vérificateurs européens dans cette base de données spécifique. Une analyse plus approfondie pourrait porter sur toutes les occurrences et variations sur la plateforme des allégations trompeuses identifiées par les vérificateurs de faits européens.
Examen des actions de modération de X
Le 7 novembre 2024, nous avons visité chacun des 894 URL de tweet et l’avons étiqueté selon son statut :
- Le tweet a été supprimé
- Le tweet était accompagné d’une note communautaire
- Le tweet comportait tout autre avertissement lié à la crédibilité (par exemple, un avertissement indiquant que le contenu avait été généré par l’IA).
Résultat
| Statut | Nombre de tweets | Nombre total de vues du tweet | Nombre moyen de vues du tweet |
| Supprimé/Inaccessible | 174 (19,5%) | Non disponible | Non disponible |
| Note communautaire uniquement | 81 (9.1%) | 49,622,938 | 612,628 |
| Label « hors contexte » uniquement | 19 (2.1%) | 4,120,779 | 216,883 |
| Note communautaire + étiquette « Hors contexte” | 5 (0.6%) | 13,173,000 | 2,634,600 |
| Aucune action de modération visible | 615 (68,8%) | 565,698,447 | 919,835 |
Tableau 1 – Résumé des résultats de l’action de modération visible sur les tweets contenant des informations erronées. Source : Science Feedback
Ces résultats suggèrent que, malgré leur intérêt potentiel, ni le programme Notes de la communauté ni les autres outils de modération de contenu de X ne permettent d’identifier de manière adéquate les contenus considérés comme de la désinformation par les vérificateurs de faits.
Nous voyons deux explications non exclusives l’une de l’autre à cette divergence :
- Les utilisateurs des Notes de la communauté ne demandent pas d’avis sur le même contenu que celui que les vérificateurs de faits jugent digne d’être vérifié
- L’algorithme des Notes de la communauté, qui détermine si une note doit être affichée sur un tweet, exige un accord interpartisan sur l’utilité de la note, contrairement aux vérificateurs de faits dont les évaluations sont basées sur l’exactitude factuelle du contenu sous-jacent. Par conséquent, si une note communautaire ne peut pas combler le fossé partisan, elle ne sera jamais affichée, même si le contenu contient des informations erronées.
Les Notes de la communauté offrent-elles une couverture suffisante dans les États membres de l’UE ?
Dans l’hypothèse d’une prévalence comparable de la désinformation dans les pays de l’UE sur Twitter/X, un système de Notes de la communauté fonctionnant correctement devrait offrir une densité comparable de Notes de la communauté par utilisateur de X/Twitter dans les États membres de l’UE.
Pour vérifier cette hypothèse, nous avons téléchargé depuis le dépôt officiel (le 7 novembre 2024) toutes les Community Notes publiées depuis le 1er janvier 2024, puis nous avons attribué une langue à chaque Note (à l’aide de la bibliothèque Python lingua). Pour chaque langue, nous avons ainsi pu obtenir un nombre de Notes publiées depuis le début de l’année.
Nous avons ensuite recueilli le nombre d’utilisateurs officiels de Twitter/X dans chaque pays de l’UE à partir du rapport de transparence DSA officiel de la plateforme.
Après avoir éliminé les langues officielles de l’UE pour lesquelles la majorité des locuteurs ne se trouvent pas dans l’UE (anglais, français, portugais, espagnol), nous avons associé chaque langue au pays de l’État membre de l’UE où elle est la langue principale (en ignorant la question des langues minoritaires pour des raisons de simplicité). Nous avons ensuite calculé le nombre de Notes de la communauté par utilisateur de plateforme pour chaque pays.
| Langue | Nombre de Notes de la communauté publiées (1er Jan – 7 Nov 2024) | Nombre d’utilisateurs Twitter/X | Notes pour 1000 utilisateurs | Notes pour 1 000 utilisateurs (pourcentage du maximum) |
| Danois | 2,867 | 1,173,182 | 2.44 | 100.0% |
| Slovaque | 662 | 533,508 | 1.24 | 50.8% |
| Allemand | 21,544 | 18,363,782* | 1.17 | 48.0% |
| Polonais | 7,571 | 9,113,116 | 0.83 | 34.0% |
| Tchèque | 1,686 | 2,058,333 | 0.82 | 33.5% |
| Italien | 6,451 | 8,198,871 | 0.79 | 32.2% |
| Néerlandais | 6,302 | 8,371,941 | 0.75 | 30.8% |
| Finnois | 1,397 | 2,317,605 | 0.60 | 24.7% |
| Slovène | 253 | 446,017 | 0.57 | 23.2% |
| Estonien | 162 | 294,843 | 0.55 | 22.5% |
| Suédois | 1,405 | 2,660,113 | 0.53 | 21.6% |
| Croate | 235 | 768,561 | 0.31 | 12.5% |
| Lituanien | 162 | 556,826 | 0.29 | 11.9% |
| Roumain | 474 | 1,905,881 | 0.25 | 10.2% |
| Letton | 67 | 439,888 | 0.15 | 6.2% |
| Grec | 248 | 1,901,470 | 0.13 | 5.3% |
| Bulgare | 89 | 705,107 | 0.13 | 5.2% |
| Hongrois | 95 | 1,239,000 | 0.08 | 3.1% |
| Total | 51,670 | 61,048,044 | 0.84 | 34.6% |
Tableau 2 –- Nombre de Notes de la communauté par utilisateur dans la plupart des États membres de l’UE. Source : Science Feedback
* inclut le nombre d’utilisateurs pour l’Allemagne et l’Autriche
Tout d’abord, nous remarquons que le nombre absolu de Notes de la communauté dans ces États membres semble particulièrement faible : un calcul à rebours suggère que, dans ces pays de l’UE, la prévalence des Notes de la communauté est d’environ 1 pour 500 000 tweets (61 millions d’utilisateurs dans notre échantillon de pays de l’UE représentent environ 16,5 % des 370 millions d’utilisateurs de Twitter dans le monde, donc 16,5 % des 500 millions de tweets quotidiens estimés dans le monde, soit environ 25 milliards de tweets sur la période allant du 1er janvier au 7 novembre 2024, couverts par 51 670 Notes de la communauté).
À notre connaissance, il n’existe pas de statistiques fiables sur la prévalence des contenus trompeurs sur la plateforme. Nous ne disposons donc pas d’une base de référence solide pour vérifier la couverture des Notes de la communauté.
Toutefois, des indicateurs de substitution tels que le quotient de désinformation de l’université du Michigan ou l’indicateur structurel de découvrabilité du Code de bonnes pratiques contre la désinformation suggèrent une prévalence de la désinformation de plusieurs ordres de grandeur supérieure à 1 pour 500 000 tweets.
Autre point de comparaison, Facebook a signalé plus de 23,3 millions de contenus qualifiés de désinformation dans ces mêmes pays au cours du premier semestre 2024 (les 51 670 Notes de la communauté de X/Twitter couvrent la période du 1er janvier au 7 novembre).
Deuxièmement, à moins qu’il n’y ait une forte différence dans la prévalence de la désinformation sur X/Twitter dans les différents États membres (ce que l’indicateur structurel de découvrabilité ne suggère pas), nous ne voyons pas d’explication exogène évidente pour les écarts extrêmes entre la couverture des Notes de la communauté par utilisateur dans les États membres. Cela jette un doute supplémentaire sur le fait que les Notes de la communauté soient adaptées de manière adéquate pour relever le défi de la désinformation sur la plateforme.
Discussion et limites
Cette étude ne constitue pas une évaluation exhaustive de tous les aspects du système de modération des contenus de désinformation de Twitter/X, et en particulier de son programme phare, les Notes de la communauté. Par exemple, nous n’examinons pas le délai de publication des Notes de la communauté, leur impact sur l’influence des messages (1, 2) ou leur acceptabilité par les utilisateurs, leur susceptibilité à la manipulation ou leur exactitude factuelle. Tous ces facteurs sont théoriquement importants pour évaluer si le système atteint les objectifs prévus.
Toutefois, en l’absence d’une couverture suffisante des messages de désinformation par ces Notes de la communauté, tout débat sur leur efficacité est sans objet. Nos résultats suggèrent tout simplement que, dans l’UE, la grande majorité des tweets contenant des informations erronées ne sont pas pris en compte.
Mise à jour du 21/11/2024
Une version antérieure de cet article indiquait par erreur que 67,2 % des tweets n’affichaient aucune action de modération visible, alors que le chiffre correct est de 68,8 %.
