Méthodologie – Comment Science Feedback fonctionne

Notre mode opératoire en bref:

Sélection d’un élément à évaluer, selon son sujet, sa pertinence et son retentissement médiatique potentiel;
Enquête de l’affirmation sélectionnée avec une attention particulière à l’évaluation du raisonnement scientifique et des affirmations factuelles (ou revendiquées comme telles);
Rédaction d’un article de vérification détaillant l’état actuel des connaissances scientifiques sur le sujet;
Publication de notre vérification sur notre site et diffusion

Lien vers les verdicts que nous utilisons et notre échelle de crédibilité

1. Sélection

Les éditrices et éditeurs de Science Feedback sélectionnent les affirmations ou les publications les plus virales sur les réseaux sociaux et/ou diffusées par des sources ayant une grande audience. Ces contenus doivent contenir des affirmations potentiellement vérifiables sur le plan scientifique.

Nous nous efforçons de rendre nos vérifications représentatives des discussions influentes dans les médias et sur les réseaux sociaux. Nous examinons des publications et des affirmations provenant de sources diverses, sans a priori, qu’elles semblent rapporter les faits scientifiques de manière exacte ou déformée.

Proposer un élément pour vérification

Si vous souhaitez nous soumettre une publication ou une affirmation pour vérification, veuillez utiliser ce formulaire en ligne. Veuillez noter que nous nous concentrons sur la vérification d’affirmations et de publications vérifiables scientifiquement et touchant un large public.

2. Enquête

L’éditeur chargé du processus de vérification examine la littérature scientifique à la recherche de preuves pertinentes pour évaluer la crédibilité des affirmations. Elle ou il invite également les experts du sujet à contribuer à la vérification. L’éditeur évalue les affirmations sur la base de sources fiables et fournit des citations pour étayer les preuves qu’il ou elle utilise dans la vérification, dans le cadre d’une mise en contexte suffisante et en évitant le picorage (cherry-picking, qui consiste à sélectionner uniquement les faits ou données qui donnent du crédit à une hypothèse). Lorsque cela est approprié et possible, le rédacteur contacte la personne à l’origine de l’affirmation, notamment en cas de doute raisonnable sur son interprétation.

En savoir plus sur les normes éditoriales de Science Feedback.

Les scientifiques contributeurs (réviseurs) sont invités à commenter les affirmations afin d’en évaluer la crédibilité et/ou d’indiquer si les faits qui sous-tendent le raisonnement sont conformes aux connaissances scientifiques actuelles. Les réviseurs doivent représenter l’état actuel des connaissances scientifiques en utilisant des théories et des observations scientifiques solidement étayées pour références. Ils doivent s’abstenir de mettre en avant des résultats partiels, isolés, ou faiblement étayés.

L’objectif principal des éditeurs et des réviseurs est de vérifier l’exactitude scientifique des faits et hypothèses sur lesquels les affirmations sont fondées. Cependant, leurs contributions peuvent s’étendre à:

Ajout d’informations pertinentes: Signaler des ressources ou des informations complémentaires liées au sujet traité permet d’élargir le contexte de l’analyse et de proposer aux lecteurs de nouvelles perspectives. Ces ressources doivent être fondées sur des sources fiables (par exemple, une publication scientifique ou une expérience clinique).
Évaluation du raisonnement scientifique: Les argumentations trompeuses ne le sont pas seulement à cause de faits erronés mais aussi à cause d’erreurs de logique ou de présupposés implicites mal étayés. Nos analyses visent également à mettre en lumière ces failles de raisonnement et à présenter la démarche adéquate.

3. Rédaction de la vérification

Sur la base des preuves recueillies et du feedback des scientifiques, l’éditrice ou éditeur rédige un article évaluant la crédibilité de l’affirmation ou de la publication.

L’éditeur passe en revue les critères de crédibilité suivants:

Exactitude factuelle. Le contenu analysé s’appuie-t-il sur des informations scientifiquement exactes et des preuves solides?
Interprétation scientifique. Au-delà de la description précise des observations factuelles, l’affirmation/la publication interprète-t-elle correctement ces observations et indique-t-elle correctement ce qui est actuellement connu/inconnu à propos du phénomène évoqué? Son interprétation de la signification de ces observations est-elle correcte ou erronée?
Contexte et limites. Si l’affirmation/la publication traite de recherches nouvelles, discute-t-elle de manière adéquate des études pertinentes préexistantes? Ces nouveaux résultats ne sont-ils pas trop simplifiés, exagérés ou surestimés?
Logique/Raisonnement. Les conclusions découlent-elles des preuves? Il y a-t-il des lacunes ou des raccourcis dans le raisonnement? Tous les biais possibles ont-ils été considérés?
Précision/Clarté. L’affirmation/la publication fait-elle précisément référence à des concepts tels qu’ils sont utilisés par la communauté scientifique? Ou y a-t-il une confusion qui pourrait induire le lecteur en erreur?
Qualité des sources. La publication s’appuie-t-elle sur des sources pertinentes et crédibles (recours à des experts compétents/indépendants, études) pour étayer ses propos? Ou s’appuie-t-elle sur des experts en situation de conflit d’intérêt?
Équité/objectivité. La publication décrit-elle une vision complète ou biaisée des connaissances scientifiques concernées? Donne-t-elle la priorité à certaines sources sans raison valable (par exemple, sources manquant d’expertise dans le domaine en question)?

Avant publication, tous nos articles sont examinés par au moins un autre éditeur qui met à l’épreuve l’argumentaire et identifie les points manquant de clarté ou de justifications.

Pour aider les lecteurs à comprendre rapidement la conclusion à laquelle nous sommes parvenus, nous commençons les vérifications par une section « à retenir » qui explicite ce qui doit être connu sur le sujet et/ou un résumé des points les plus importants soulevés par la vérification.

Nous délivrons aussi également une note évaluant la crédibilité globale de l’affirmation ou de la publication analysée. Faites défiler la page pour en savoir plus sur nos verdicts et notre système de notation.

4. Publication

La vérification est diffusée sur notre site Web, sur les réseaux sociaux et partagée avec nos abonnés via notre newsletter ainsi qu’avec les plateformes partenaires.

Lorsque cela est possible, le rédacteur de Science Feedback fait part de ses commentaires aux journalistes et/ou aux rédacteurs en chef de la publication originale.

Corrections

Nous tenons à publier des vérifications aussi précises et à jour que possible. Si nous identifions une erreur, nous la corrigerons dès que possible et nous ajouterons une note dans l’article d’origine. Si vous pensez que nous avons fait une erreur ou omis des informations pertinentes, contactez-nous.

Lisez notre politique de correction en intégralité

Échelle de crédibilité

Verdicts utilisés dans nos vérifications d’affirmation

Contexte

D’après notre expérience, la crédibilité d’une information telle qu’évaluée par les scientifiques dépend des questions suivantes :

si les faits énoncés sont factuellement exacts,
si les faits sont compris et interprétés correctement, avec une mise en contexte adéquate,
si les conclusions sont atteintes en suivant une logique valide.

Une information instructive s’appuie également sur :

l’utilisation d’un langage clair et précis, et non d’affirmations ambiguës ou vagues,
l’utilisation de sources adéquates pour étayer des affirmations importantes (experts, références bibliographiques…), et
l’absence de biais, garantissant ainsi l’objectivité.

Verdicts

Cas où la crédibilité d’une affirmation est « très élevée »:

Si l’affirmation est un énoncé de fait, elle est étiquetée comme « Exacte » lorsqu’elle décrit une observation d’une manière cohérente avec les données disponibles et n’omet aucun élément de contexte pertinent. Si l’affirmation est une explication des causes d’une observation (soit une « théorie » ou une « hypothèse » en science), elle est considérée comme « Correcte » lorsqu’elle a été testée correctement dans le cadre d’études scientifiques et génère des observations attendues confirmées par des observations réelles.

Notez qu’en science une théorie ne peut pas être « prouvée » comme étant correcte, au sens mathématique du terme. Les mots « correct » et « exact » sont souvent utilisés pour qualifier une explication, mais pour éviter toute ambiguïté, nous réservons l’utilisation des mots « (in)exact » pour les énoncés de faits et « (in)correct » pour les explications, hypothèses et théories.

Cas où la crédibilité d’une affirmation est « élevée »:

Un énoncé de fait est considéré comme “Principalement exact” s’il nécessite des éclaircissements ou des informations supplémentaires pour être entièrement exact. Une explication est considérée comme “Principalement correcte” si elle présente une théorie qui est correctement testée au cours d’études scientifiques mais sa formulation au sein de l’affirmation surestime le niveau de confiance accordé à la théorie ou déforme légèrement ce qui peut être prédit à partir de la théorie.

Cas où la crédibilité d’une affirmation est « neutre » :

Une affirmation est qualifiée de « Neutre » si elle omet des informations importantes ou si elle est faite hors contexte (« Manque de contexte« ). Par exemple, une affirmation sera étiquetée « Partiellement correcte » si elle surestime considérablement le niveau de confiance scientifique accordé à une théorie. Elle sera qualifiée d’ »Imprécise » si elle utilise des termes mal définis ou manque de détails, si bien que l’on ne peut pas savoir, de manière univoque, ce qui est dit sans faire d’hypothèses supplémentaires non énoncées.

Cas où la crédibilité d’une affirmation est « faible » :

Une affirmation est considérée comme de « faible » crédibilité lorsqu’elle n’est pas étayée par une référence adéquate ou si les preuves disponibles ne la corroborent pas (étiquetée comme “Infondé”). Si une affirmation contient un élément de vérité mais oriente le lecteur vers une mauvaise interprétation des faits, par exemple en omettant des éléments de contexte fondamentaux, elle sera étiquetée comme « Trompeuse« .

Cas où la crédibilité d’une affirmation est « très faible » :

Une affirmation est considérée comme ayant une crédibilité « très faible » lorsqu’elle est clairement fausse, par exemple, si elle énonce un fait en contradiction directe avec les données scientifiques disponibles (étiquetée comme “Inexacte”), ou si elle fournit une explication ou une théorie dont les prédictions ont été invalidées (étiquetée comme « Erronée« ).

Processus pour décider d’un verdict

La décision finale concernant le verdict attribué à l’affirmation est rendue par un éditeur de Science Feedback sur la base des suggestions des scientifiques ayant contribué à la vérification.

Détails

La section “détails du verdict” d’une vérification fournit une explication de la ou des problèmes soulevées par les scientifiques, notamment lorsque plusieurs sous-affirmations composent, implicitement ou explicitement, l’affirmation principale. Vous trouverez ci-dessous une liste de clarifications apportées lors des vérifications ainsi qu’une brève définition.

Problèmes liés à l’exactitude des faits

Factuellement inexact: Un énoncé de fait en contradiction directe avec les observations/données disponibles.
Confond fait et opinion: Présente une opinion comme un fait ou un fait comme une opinion.

Problèmes liés aux explications

Correct(e): La théorie/hypothèse est cohérente avec les données disponibles et n’a pas été réfutée.
Erroné(e): La théorie/hypothèse n’est pas cohérente avec les données disponibles et/ou a été réfutée.
Trompeur: Oriente le lecteur vers une mauvaise interprétation des faits,
Déforme une réalité complexe: Ne tient pas compte du fait qu’une observation peut être influencée par plus d’un facteur.
Ne parvient pas à saisir la signification de l’observation: Utilise une observation pour soutenir une conclusion que cette observation n’étaye pas.

Problèmes liés à la logique

Raisonnement invalide: Le raisonnement est invalide si les conclusions ne découlent pas des postulats de départ.

Problèmes liés au contexte

Manque de contexte: L’affirmation manque d’observations ou d’explications qui conduiraient le lecteur à atteindre une autre conclusion.
Picorage (cherry picking): L’affirmation ne prend en compte qu’un sous-ensemble de la totalité des preuves pertinentes disponibles.

Problèmes liés à la démarche scientifique

Exagère la certitude scientifique: Présente une conclusion comme concluante alors que l’hypothèse est encore à l’étude et qu’il subsiste une incertitude scientifique véritable à son sujet.
Surestime l’impact scientifique d’une découverte: Surestime la signifiance des résultats (par exemple, prétend qu’une nouvelle étude scientifique invalide les connaissances antérieures alors qu’il s’agit d’une mise à jour mineure).

Problèmes liés aux sources

Preuves insuffisantes: La référence utilisée pour étayer l’affirmation est inexistante, de faible crédibilité scientifique ou insuffisante (d’après le principe de Sagan selon lequel “des affirmations extraordinaires nécessitent des preuves extraordinaires”).
Déforme la source (épouvantail): Substitue une fausse représentation de la conclusion d’une source à sa conclusion réelle, souvent dans le but de discréditer plus facilement l’idée d’un « opposant ».

Problèmes liés à la précision ou à la clarté du langage

Manque de détails: L’affirmation est trop générale ou trop vague, ou manque de détails pour être clairement vérifiable.

Imprécis: Utilise un terme scientifique qui ne correspond pas à son usage en science.

Note : Cette typologie est fondée sur des exemples concrets observés dans les vérifications Science Feedback jusqu’à ce jour. Elle est susceptible d’être mise à jour si nous rencontrons de nouvelles problématiques.