Avec la collaboration de Mireille Schnitzer, PhD en biostatistique et professeure adjointe à la Faculté de pharmacie de l’Université de Montréal.
Merci à Sophie Gagnon et Christina Lazarova pour leurs corrections et suggestions.

Photo : Getty Images (photo aussi utilisée sur la page de Sympatico.ca)

Dans la section « Nouvelles » du site Sympatico.ca, un chroniqueur* nous informe qu’une nouvelle étude montre apparemment un lien entre l’autisme et les vaccins. Il va jusqu’à affirmer que l’étude montre que « le doute quant à l’incidence des vaccins sur l’autisme continue de tenir la route ». On est loin du fait divers ici : l’impact de cette nouvelle peut être majeur. Si elle est vraie et qu’un parent l’ignore, il peut augmenter les risques que son enfant développe l’autisme. Si elle est fausse et que plusieurs parents y croient quand même, on pourrait se trouver devant une nouvelle épidémie de maladies, comme on l’observe actuellement dans différentes régions en occident.

Comment peut-on déterminer si cette étude est crédible ou non? Les études médicales n’ont pas toutes la même valeur. Un mauvais traitement des données ou une mauvaise analyse des résultats peuvent conduire à des conclusions erronées. La meilleure façon de vérifier la crédibilité d’une étude (si on n’a pas le temps de faire un doctorat dans le domaine) est de demander l’avis d’experts. C’est ce que j’ai fait : j’ai demandé de l’aide à Mireille Schnitzer, biostatisticienne spécialisée en inférence causale et professeure adjointe de l’Université de Montréal. Sa spécialisation est l’analyse d’études observationnelles, comme celle dont il est question dans cet article.

Concernant l’étude

La fameuse étude discutée dans l’article sur Sympatico.ca a été rédigée par Brian Hooker, et s’intitule « Measles-mumps-rubella vaccination timing and autism among young african american boys: a reanalysis of CDC data ». Cette étude est en fait une réanalyse d’une autre étude publiée en 2004, par des chercheurs du CDC (United States Centers for Disease Control and Prevention). Une des principales différences entre les deux études est la façon dont les données ont été analysées. Avant de comprendre cette différence, voyons d’abord en quoi consistait l’étude originale, rédigée par Frank DeStefano et son équipe.

L’étude originale visait à comparer des enfants autistes (624 enfants) avec des enfants non autistes (1824 enfants) dans la région d’Atlanta, dans l’état de la Géorgie. Il s’agit d’une étude de cas-témoin, type d’étude qui entre dans la grande famille des études qu’on appelle études observationnelles. Ce qui intéressait particulièrement les chercheurs était de comparer les âges de la première vaccination du vaccin RRO (vaccin combiné contre la rougeole, la rubéole et les oreillons) chez les enfants autistes et non autistes. En effet, il n’est pas rare d’entendre des groupes antivaccin affirmer que le problème est qu’on fait vacciner les enfants à un âge trop précoce, ce qui augmenterait supposément le risque de développer l’autisme. Du même coup, l’étude en question cherchait aussi à déterminer s’il pouvait exister un lien entre l’autisme et le vaccin RRO pour des sous-groupes (selon la race ou le genre par exemple).

La conclusion des auteurs était que rien démontrait un lien entre l’autisme et l’âge de la vaccination, peu importe le sexe ou la race. En fait, il y avait un petit effet détecté pour les garçons vaccinés avant 36 mois, lorsque comparé aux enfants vaccinés après 36 mois, mais ce résultat pouvait être expliqué, selon les auteurs, par le prérequis qu’ont certaines écoles spécialisées (pour enfants autistes entre autres) de faire vacciner les enfants. Ceci fait en sorte que les enfants autistes ont soudainement un taux de vaccination plus élevé. L’autisme devient la « cause » de la vaccination et non le contraire (voir la discussion au point 4 de la section « D’autres problèmes par rapport à l’étude de Hooker »).

Cependant, un des auteurs de l’étude originale, William Thompson, aurait informé Brian Hooker que certains résultats n’auraient pas été publiés dans l’étude de 2004. Ces résultats non publiés suggéraient, semble-t-il, l’existence d’une relation importante entre les risques de développer l’autisme et le vaccin RRO chez les garçons Noirs. À partir des données utilisées par l’équipe de Frank DeStefano, Brian Hooker a refait une analyse de ces mêmes données et a observé cette apparente relation. Il a alors publié son analyse dans le journal scientifique Translational Neurodegeneration.

Pourquoi l’équipe de Frank DeStefano n’a-t-elle pas publié ce résultat, si elle a aussi observé cet effet? Dans l’étude de 2004, lorsqu’on a étudié l’impact de la vaccination en fonction de la race, on a éliminé de l’analyse statistique les enfants qui n’avaient pas d’acte de naissance de l’état de la Géorgie. De l’aveu même de William Thompson, selon un communiqué de presse envoyé par ses avocats, on aurait volontairement éliminé de l’article scientifique ces résultats afin de ne pas les rendre publics.

Peut-on conclure que la réalité a ainsi été cachée du public? Est-ce que ces nouveaux résultats peuvent faire une différence importante dans le débat scientifique sur la vaccination et l’autisme? Avant de répondre à ces questions, nous devons mieux comprendre certains concepts liés aux études statistiques. Pour expliquer un premier concept fondamental en statistique, nous allons utiliser une analogie toute simple : la conception d’un test pour savoir si quelqu’un peut prédire l’avenir. Nous verrons ensuite quel est le lien entre cette analogie et l’étude qui nous intéresse.

Comparaison avec une expérience sur la voyance

Imaginons que je veuille vérifier s’il existe des individus capables de prédire l’avenir. Pour ce faire, je développe un test très simple : avant de piger au hasard un numéro de 1 à 20, je demande à des prétendus voyants de prédire quel numéro je vais piger.

Si un supposé voyant fait sa prédiction au hasard, il aura 1 chance sur 20 (5 %) de deviner correctement le chiffre et 19 chances sur 20 (95 %) de se tromper, pour chacun des tests que je ferai avec lui. Le succès de la prédiction ne garantit donc pas l’existence réelle de ses pouvoirs : s’il prédit correctement, je ne sais pas s’il a réussi à deviner au hasard ou s’il a réellement prédit l’avenir. Cependant, s’il réussit son essai, je suis un peu plus sûr qu’il a des pouvoirs que s’il ne réussit pas.

Imaginons maintenant que je teste 10 personnes et que je note les prédictions qu’elles font ainsi que le résultat du tirage (je ne fais le test du tirage qu’une seule fois par personne). Supposons que les résultats que j’obtiens sont ceux présentés dans le tableau à droite. À partir de ces données, peut-on conclure qu’il existe au moins une personne ayant le pouvoir de prédire l’avenir? Il n’est pas vraiment possible de conclure à ce sujet. Si on sélectionne seulement Isabelle, on pourrait décider de conclure (incorrectement) qu’elle a des pouvoirs paranormaux. Cependant, d’un autre côté, il n’y a rien de statistiquement anormal dans ces résultats : on s’attend à ce que certaines personnes réussissent mon test de voyance par pur hasard.

Choisir seulement le cas d’Isabelle est ce qu’on appelle un biais de déclaration des résultats (traduction personnelle de « outcome reporting bias »). Il s’agit d’une erreur commise lorsqu’on choisit arbitrairement quels résultats d’analyses statistiques on présente dans une étude. Ceci mène nécessairement à des conclusions erronées : si je fais mon expérience sur des milliers de personnes et que je considère dans mon analyse uniquement les sujets qui ont prédit correctement le numéro gagnant, il est certain que je vais conclure (incorrectement) à l’existence des pouvoirs surnaturels dans ce sous-groupe. Pour être rigoureux, il faudrait présenter l’ensemble des résultats plutôt que de sélectionner arbitrairement en fonction des résultats obtenus.

Ce qu’il est important de comprendre ici, c’est que plus je fais de tests pour un phénomène qui est de nature statistique, plus je vais trouver de cas de réussite (prédiction réussie), même si dans la réalité l’effet mesuré (la voyance) n’existe pas. Cette réalité est présente aussi dans le domaine de la médecine, de la psychologie ou tout autre domaine qui utilise les statistiques. C’est ce qu’on appelle le problème des tests multiples.

Revenons à mes résultats hypothétiques du tableau présenté précédemment. En théorie, je pourrais soumettre à un journal scientifique mon étude sur la candidate prénommée Isabelle en disant que le résultat de mon test est « statistiquement significatif ». Dans le monde de la statistique, on dit qu’un résultat est statistiquement significatif lorsque le simple hasard pourrait produire le même résultat dans moins de 5 % des expériences identiques que je pourrais faire.

Dans la réalité, étant donné que je pourrais facilement concevoir une meilleure expérience pour vérifier les capacités de voyance des gens, les journaux scientifiques rejetteraient assurément mon article sur le cas d’Isabelle. Cependant, l’idée de base reste la même. Certains résultats positifs sont publiés même s’ils sont seulement dus au hasard. Étant donné qu’il est beaucoup plus intéressant pour les journaux scientifiques de publier des résultats positifs que des résultats négatifs, ces résultats ont tendance à prendre une proportion plus importante qu’ils devraient dans la littérature scientifique. Ceci doit nous amener à faire preuve d’une certaine vigilance lorsqu’on lit les études scientifiques.

Maintenant que nous avons compris ces concepts, quel est le lien entre ceux-ci et l’étude de Brian Hooker?

Le problème des tests multiples dans les études de l’équipe de Frank DeStefano et de Brian Hooker

Dans l’étude de l’équipe de Frank DeStefano, on désirait comparer les enfants autistes aux enfants non autistes en fonction de l’âge de la première vaccination (trois catégories). On divisait les enfants en plusieurs catégories selon différents critères :

• l’âge en 1996 (deux catégories)
• le genre (deux catégories)
• l’origine ethnique (trois catégories)
• l’âge de la mère (trois catégories)
• l’éducation de la mère (trois catégories)
• le poids à la naissance (trois catégories)
• l’existence de jumeaux (deux catégories)
• l’ordre de naissance dans la famille (deux catégories)

Nous avons donc  20 catégories, avec la possibilité de créer jusqu’à 1296 sous-catégories (2×2×3×3×3×3×2×2). Des tests statistiques ont été faits sur différentes catégories : on a testé par exemple pour l’âge de la vaccination, le sexe et l’origine ethnique.

Qu’arrive-t-il quand on fait plusieurs tests statistiques? Si vous avez bien compris les explications de la section précédente, vous devinerez que les chances d’obtenir un résultat « statistiquement significatif » augmentent avec le nombre de tests, et ce même s’il n’y avait aucun lien entre l’autisme et le vaccin RRO. Il n’est donc pas étonnant que l’équipe de Frank DeStefano ait obtenu un résultat « statistiquement significatif » dans une catégorie étudiée: augmentation du risque d’autisme pour les hommes vaccinés avant l’âge de trois ans et pour les enfants avec retards mentaux vaccinés avant trois ans. Cependant, en faisant d’autres analyses, elle avait rejeté la conclusion que ce résultat correspondait à un phénomène réel.

Obtenir des résultats « statistiquement significatifs » était presque inévitable dans ce cas. Doit-on nécessairement conclure que tout effet trouvé dans ce genre de situation doit être discrédité? Non, car il pourrait tout de même y avoir un effet réel. Cependant, comme dans le cas du test de la voyance, il est impossible de conclure que l’effet est réel.

Une bonne pratique dans les recherches médicales consiste à déterminer comment seront analysées des données avant même de faire les analyses statistiques. On décide ainsi à l’avance quels outils statistiques on va utiliser, quels résultats vont être présentés, quels critères seront utilisés pour inclure ou exclure certaines données dans l’analyse, etc.  Ceci permet d’éviter que les chercheurs manipulent consciemment ou inconsciemment l’analyse statistique jusqu’à ce qu’ils obtiennent un résultat statistiquement significatif. Il est possible de choisir de vérifier l’effet d’un traitement (comme le vaccin) sur un sous-groupe dans la population. Par exemple, si plusieurs médecins avaient rapporté avoir observé un effet particulier pour les garçons Noirs vaccinés, on aurait pu vérifier cette hypothèse dans une étude. Cependant, rien a priori ne permettait de faire une telle hypothèse dans le cas étudié ici, ce qui rend moins significatifs les résultats obtenus pour un sous-groupe.

Est-ce que c’est ce que Brian Hooker a fait? Assurément pas. Il a fait l’analyse des données en fonction de résultats qu’il connaissait déjà. Il avait la liberté d’approcher l’analyse comme il le voulait afin de produire les résultats qu’il désirait. Étant impliqué dans un groupe antivaccin, il n’est pas surprenant qu’il ait cherché à obtenir un effet réel. Aurait-il publié son analyse en disant qu’il n’avait rien trouvé de nouveau?

Brian Hooker a aussi obtenu un effet pour un sous-groupe en particulier : les garçons Noirs vaccinés avant l’âge de trois ans. Un résultat aussi spécifique dans des données qui ont été récoltées pour une analyse plus globale est déjà un indice qu’il pourrait s’agir d’un simple hasard, d’un effet de tests multiples. Cependant, la faiblesse de l’analyse de Brian Hooker ne se limite pas seulement là : ses outils statistiques ne permettent pas de s’assurer qu’il compare des groupes équivalents.

Un autre problème : ne pas comparer des groupes équivalents

L’analyse statistique de Brian Hooker est très rudimentaire. Ses outils statistiques ont été développés au début du 20^e siècle, alors que des outils statistiques beaucoup plus appropriés ont été développés depuis ce temps pour analyser le type de données qu’il a utilsé. En fait, ses outils auraient été appropriés si les groupes qu’il comparait étaient équivalents, ce qui n’est pas nécessairement le cas avec les données qu’il utilise. Pour comprendre ce problème, examinons un autre exemple hypothétique : vérifier l’effet du brocoli sur les risques de maladie cardiaque.

Situation hypothétique: supposons que je forme deux groupes pour évaluer les risques cardiaques des gens qui mangent du brocoli par rapport à ceux qui n’en mangent pas. Si mes deux groupes sont ceux illustrés ci-dessus, que peut-on conclure?

Si je veux tester l’effet du brocoli sur les problèmes cardiaques, je pourrais comparer deux groupes : un groupe d’individus qui mangent du brocoli et un groupe d’individus qui ne mangent pas de brocoli. Supposons que les groupes que je forme soient ceux illustrés à la figure de droite. Si je me base sur ces données, dois-je conclure que ces résultats démontrent que le brocoli augmente les risques de problèmes cardiaques? Si on examine les données de plus près, on constate que dans le groupe « brocoli », il y a plus de personnes âgées et que dans le groupe « non-brocoli » il y a plus de jeunes. La composition des groupes est donc différente: les groupes ne sont pas équivalents. Ceci pourrait arriver si, par exemple, les personnes âgées aiment plus souvent le brocoli que les personnes plus jeunes.  Ainsi, dans ce cas-ci, ce n’est pas la consommation de brocoli qui serait responsable de l’augmentation du nombre de problèmes cardiaques, mais plutôt la variable « âge ». Cette dernière a influencé la composition de mes groupes, et peut ainsi influencer indirectement l’analyse des données. La variable « âge » ici est ce qu’on appelle un « facteur de confusion » (confounding variable en anglais). Ce facteur de confusion m’empêche de pouvoir comparer directement deux groupes équivalents.

Une analyse rigoureuse tiendrait compte de la différence d’âge des individus dans les groupes. Or, si je ne portais pas attention à la variable âge, et que je réussissais à publier une analyse simpliste (qui requiert des outils statistiques beaucoup plus simples) dans un journal scientifique peu minutieux côté statistique, des chroniqueurs ou journalistes peu rigoureux pourraient, à partir de mon étude, rédiger un texte ayant pour titre: « Brocoli et augmentation de problèmes cardiaques – Une nouvelle étude montre un lien ».

Dans le cas illustré dans la figure ci-dessus, on voit facilement que l’âge est un facteur de confusion important. Cependant, si je vous avais donné seulement les chiffres sur le nombre de problèmes cardiaques par groupe, sans donner la composition des groupes, il n’aurait pas été possible de comprendre pourquoi les problèmes cardiaques sont beaucoup plus fréquents dans le groupe « brocoli ». Il n’aurait pas été possible de réaliser qu’on ne comparait pas deux groupes équivalents. Ainsi, il est nécessaire de connaître les détails sur les sujets étudiés pour pouvoir contrôler les facteurs de confusion.

L’étude du groupe de Frank DeStefano a tenté de contrôler différents facteurs de confusion potentiels afin de rendre plus rigoureuses les comparaisons entre les groupes. Pour tenir compte de divers facteurs de confusion potentiels, l’étude a entre autres considéré certaines informations qui étaient contenues dans l’acte de naissance (poids à la naissance, âge de la mère, éducation de la mère, etc.). Ces variables peuvent influencer le risque de développer l’autisme. Cependant, les actes de naissance n’étaient pas facilement disponibles pour tous les enfants: seulement ceux des enfants qui sont nés dans l’état de la Géorgie. Les enfants dont on n’avait pas l’acte de naissance ne pouvaient donc pas faire partie de l’analyse avec contrôle des facteurs de confusion, ce qui réduisait la taille du groupe étudié. Considérer seulement les sujets pour lesquels on a plus de détails (dans ce cas-ci, ceux dont on peut obtenir l’acte de naissance) n’est pas une pratique malhonnête en soi mais peut causer un biais malgré tout.

Une analyse statistique comme celle de Brian Hooker ne permet pas de contrôler les facteurs de confusion. Son analyse statistique considère implicitement que les groupes qu’il compare (c’est-à-dire les groupes vaccinés avant ou après une certaine date) sont équivalents, soit que l’âge de la vaccination ne dépend pas de facteurs de confusion. Or ceci n’est pas forcément le cas, ce qui peut mener à des résultats inexacts. Même s’il observe dans les données une corrélation entre l’autisme et l’âge de la vaccination, ceci ne veut pas dire que la vaccination a un effet sur l’autisme.

Pourquoi est-ce que William Thompson, un des auteurs de l’étude de 2004, aurait-il alors avoué avoir des remords par rapport à cette étude? Pourquoi est-ce qu’on reproche à l’équipe de Frank DeStefano d’avoir caché des résultats? Y a-t-il eu complot tel que le suggèrent certains groupes antivaccin?

Un complot pour cacher la réalité au CDC?

Il semble qu’initialement, avant de faire les analyses statistiques, l’équipe de Frank DeStefano voulait présenter tous les résultats obtenus avec et sans contrôle des facteurs de confusion. Or, dans la version finale de l’étude, pour l’analyse des effets selon l’origine ethnique, seuls les résultats incluant un contrôle des facteurs de confusion ont été présentés. Si la version des faits présentée par William Thompson est vraie, les chercheurs ont commis une faute scientifique. Dans ce genre d’analyse, il est important de suivre le protocole fixé à l’avance, afin d’éviter les biais dans les publications.

L’existence de cette faute scientifique est très plausible. D’abord parce qu’un des auteurs l’a avouée. Ensuite, lorsque l’équipe de Frank DeStefano a analysé certains sous-groupes, les chercheurs ont présenté l’analyse avec contrôle (basée sur les enfants ayant un acte de naissance) et sans contrôle (tous les enfants, peu importe s’ils avaient un certificat de naissance ou non). Cette double analyse n’a pas été faite lorsqu’il a été question de la race.

Avoir caché les résultats ne veut pas dire avoir caché une réalité. Contrôler les facteurs de confusion est de loin préférable à ne pas les contrôler. Cependant, tel que mentionné précédemment, dans un souci de transparence et de rigueur, il est nécessaire de publier toutes les vérifications statistiques prévues avant de voir les résultats.

Pourquoi les chercheurs du CDC auraient-ils évité de présenter tous leurs résultats? Lorsqu’on est conscient des limites des outils statistiques derrière ce type d’analyse, observer un effet dans un sous-groupe en particulier ne devrait pas nous surprendre. Étant donné l’absence de contrôle des facteurs de confusion et étant donné la nature des tests statistiques utilisés, il n’y aurait pas nécessairement eu matière à conclure à un lien entre l’autisme et les vaccins même si tous les résultats avaient été publiés.

Une partie du mouvement antivaccin a tendance à sauter rapidement aux conclusions, sans faire attention aux détails des études publiées. Ceci est évident avec le cas qui nous intéresse : plusieurs sites et blogues antivaccin ont annoncé la nouvelle comme si l’étude de Brian Hooker était rigoureuse et crédible. Étant donné que la population n’a pas de connaissances très étendues sur les statistiques et la signification des chiffres obtenus, il aurait été facile pour les groupes antivaccin d’utiliser ces résultats pour défendre leur position. Il est possible que, dans le but d’éviter de susciter chez des parents une crainte infondée, et d’éviter de donner des armes à des groupes antivaccin, on ait décidé de ne pas présenter des données qui pouvaient confondre la population.

Cacher ces résultats est tout de même, à mon avis, malhonnête et non conforme aux pratiques idéales dans les publications scientifiques, surtout lorsqu’il s’agit d’études statistiques. D’un autre côté, conclure à partir de cette histoire qu’il existe une vaste conspiration visant à protéger les intérêts des compagnies pharmaceutiques est non fondé.

À voir comment un chroniqueur peut aussi facilement rapporter des affirmations de groupes antivaccin, sans même prendre le temps de valider les fondements de telles affirmations, il n’est pas surprenant que certains chercheurs préfèrent ne pas publier tous les résultats, même si ce n’est pas souhaitable pour la communauté scientifique. CNN n’a pas fait un travail exceptionnel (source utilisée par le chroniqueur de Sympatico.ca), mais il y avait au moins un peu plus de retenue avec le titre « Journal questions validity of autism and vaccine study » (traduction libre : « Le journal questionne la validité de l’étude sur l’autisme et les vaccins »).

Pour rassurer certaines personnes, incluant William Thompson, une autre étude aurait pu être réalisée spécifiquement sur les garçons Noirs, en récoltant de nouvelles données. D’un autre côté, de très nombreuses études ont déjà été réalisées sur le lien hypothétique entre l’autisme et les vaccins, sans obtenir de résultats concluants (vous pouvez vérifier par vous-même en cherchant sur PubMed ou Google Scholar).

D’autres problèmes par rapport à l’étude de Hooker

D’autres éléments peuvent faire douter de la crédibilité de l’étude de Brian Hooker. En voici quelques-uns :

1. Brian Hooker a un baccalauréat  en génie chimique et un doctorat en génie biochimique. Il n’a aucune formation ou expérience en analyse statistique de données médicales. Quand un résultat aussi important n’a pas été validé par des personnes ayant une expertise en statistique et dans l’analyse de ce type d’étude, il faut faire preuve de prudence avant de donner de la crédibilité à une certaine interprétation des données.
2. L’auteur est un activiste antivaccin. Il fait partie du groupe A Shot of Truth. Il a aussi été financé par un groupe antivaccin. Ceci ne veut pas dire que l’étude est automatiquement invalide, mais cela nous appelle à faire davantage preuve de prudence, tout comme lorsque les compagnies pharmaceutiques publient leurs résultats.
3. Il est très étrange que faire vacciner son enfant avant 18 mois ne présente aucun effet sur les risques d’avoir l’autisme, mais que le faire vacciner plus tard pose un risque. Habituellement, les mouvements antivaccin ont tendance à défendre l’idée qu’on fait vacciner les enfants trop jeunes.
4. Les données ne permettaient pas de vérifier si les symptômes associés à l’autisme étaient observés avant ou après la vaccination. Or l’autisme peut être détecté  vers l’âge de 14 mois et être confirmé vers l’âge de 36 mois (source). Le groupe qui était le plus à risque (d’un point de vue statistique) était composés des sujets qui étaient vaccinés plus vieux… ce qui veut dire qu’il y a des chances qu’ils étaient déjà diagnostiqués comme étant autistes lorsqu’ils ont reçu le vaccin. Il est possible dans ce cas que des parents qui n’avaient pas fait vacciner leur enfant dans les délais habituels, décident de faire finalement vacciner leur enfant autiste afin de pouvoir l’inscrire dans certains centres d’éducation spécialisée. Dans ce cas, les données montreraient un lien entre l’autisme et le vaccin RRO, mais le lien causal serait inversé : la présence de l’autisme influencerait le parent à faire vacciner son enfant.
5. À partir de cette même étude, le mouvement antivaccin aurait aussi pu choisir de dire qu’on a trouvé aucune preuve scientifique d’un effet du vaccin RRO sur les risques d’autisme les garçons non-Noirs, les femmes, et les enfants vaccinés avant 18 mois. Cependant, le message a été présenté de façon très différente.
6. L’article a été retiré du journal scientifique. Il semble que le journal ait eu des doutes sérieux quant aux conclusions de l’étude. Cependant, on peut critiquer le journal pour avoir accepté l’article initialement.

Conclusion

L’utilisation des statistiques pour étudier un phénomène est une arme à double tranchant. En effet, les statistiques sont essentielles, car elles permettent d’analyser des données afin de vérifier l’existence de liens entre différentes variables. Par exemple, c’est grâce aux études statistiques qu’on a pu découvrir le lien entre le cancer du poumon et la cigarette. Cependant, une mauvaise utilisation des statistiques peut mener à des conclusions erronées. Et malheureusement, il n’est pas rare de trouver des analyses statistiques conçues par des gens ayant une formation insuffisante en statistique, ce qui augmente les risques d’obtenir des résultats erronés.

Il n’est pas surprenant que l’article de Brian Hooker ait été retiré du journal scientifique. L’approche statistique de l’auteur rendait presque inévitable l’obtention de l’effet qu’il cherchait : analyse basée sur des tests multiples, absence de contrôle pour les facteurs de confusion, possibilité de sélectionner le test statistique qui donne les résultats recherchés, etc. Les outils statistiques qu’il a utilisés dans son étude étaient inappropriés pour le type de données qu’il avait en main (lire la section « Les outils idéaux à utiliser? » ci-bas).

Malgré les bonnes intentions du chroniqueur, son approche du sujet est difficilement défendable lorsqu’on prône la rigueur scientifique et lorsqu’on désire que les opinions reposent sur des faits et non des impressions de la réalité. Contrairement à ce qu’il suggère, l’analyse de Brian Hooker n’a pas rallumé le débat scientifique sur le lien entre l’autisme et le vaccin RRO (ce débat n’a jamais été très fort dans la communauté scientifique). Malheureusement, son approche peu rigoureuse encourage la propagation de mythes et de pseudosciences plutôt que d’informer la population. Pire encore : son article peut contribuer à alimenter une peur non fondée et augmenter ainsi les risques d’épidémies. C’est ce qui arrive présentement dans plusieurs régions en occident: certaines maladies comme la rougeole refont surface. C’est la santé des enfants qui est en jeu ici. Remédier à la situation serait simple : demander l’avis d’experts lorsqu’il s’agit de discuter d’une nouvelle scientifique aussi importante.

*Avis: J’ai évité de nommer le chroniqueur en question parce que l’analyse et la critique de cette page sont dirigées contre un type d’approche et non contre lui personnellement. Il n’a sûrement aucune mauvaise intention et je ne voudrais pas que des recherches de son nom sur Google par exemple mènent à cette page : son identité est sans importance pour l’analyse qui est faite. Je demande aussi aux gens qui commentent d’éviter de le nommer.  

Références

DeStefano, Frank, Tanya Karapurkar Bhasin, William W. Thompson, Marshalyn Yeargin-Allsopp, and Coleen Boyle. « Age at first measles-mumps-rubella vaccination in children with autism and school-matched control subjects: a population-based study in metropolitan Atlanta. » Pediatrics 113, no. 2 (2004): 259-266.

Hooker, Brian S. « Measles-mumps-rubella vaccination timing and autism among young african american boys: a reanalysis of CDC data. » Translational neurodegeneration 3, no. 1 (2014): 1-6.

En complément

Les outils idéaux à utiliser?

Dans un monde idéal, il est parfois préférable de créer des essais cliniques randomisés contrôlés à double insu pour évaluer l’effet d’un traitement. Dans ce cas-ci, les groupes comparés sont équivalents (si on utilise suffisamment de sujets). Dans ce genre d’étude, il est possible d’utiliser les outils d’analyse statistique comme ceux utilisés par Brian Hooker. Ce genre d’étude clinique est, en général, plus fiable que l’étude du groupe de Frank DeStefano. Cependant, les études cliniques randomisées contrôlées exigent en général beaucoup plus de ressources en temps et en argent, ce qui explique en partie pourquoi on utilise des approches alternatives. De plus, ce type d’étude peut se confronter à des problèmes éthiques : sachant l’importance de la vaccination pour protéger les enfants et n’ayant pas obtenu de preuves scientifiques suffisantes pour établir un lien entre l’autisme et la vaccination, on exposerait le groupe d’enfants non vaccinés à des risques inutiles.

Les études observationnelles comme celle du groupe de Frank DeStefano sont tout de même nécessaires puisqu’elles peuvent se faire sur un groupe beaucoup plus grand que dans les essais cliniques, qui sont limités à un sous-groupe de la population. De plus, les études observationnelles peuvent être menées sur une plus longue période que les études cliniques, ce qui permet d’évaluer les effets d’un traitement (un médicament, une habitude de vie, la consommation d’un aliment, etc.). Étant donné qu’elles peuvent être réalisées sur des groupes beaucoup plus grands, il est possible de mesurer des effets qui ne peuvent pas être détectés dans des études cliniques.

Les études observationnelles requièrent des outils statistiques beaucoup plus complexes que l’analyse des essais cliniques randomisées contrôlées. Le développement de ces outils est présentement en plein essor. Ils requièrent cependant une meilleure compréhension des mathématiques et des statistiques, ce qui rend de plus en plus cruciale la nécessité de faire affaire avec des biostatisticiens pour l’analyse de résultats.

Vous n’utiliserez assurément pas un marteau pour enfoncer une vis dans un mur. De la même façon, il ne faut pas utiliser les outils des études cliniques randomisés contrôlés pour analyser des données d’études observationnelles. Choisir les bons outils est essentiel à l’obtention de résultats crédibles.