Avec la collaboration de Dave Saint-Amour, professeur en psychologie à l’UQAM.
Merci à Mireille Schnitzer, PhD et Sophie Gagnon pour leurs suggestions et corrections.

 

 Depuis quelques jours, un test de quotient intellectuel (QI) offert par Memorado circule sur les réseaux sociaux, permettant ainsi aux gens d’évaluer, semble-t-il, leur QI. Après avoir fait le test, les gens sont invités à partager leur résultat sur Facebook. Si vous avez vu passer les résultats, vous avez peut-être été surpris de voir que, selon ce test, presque tous vos amis sont parmi les plus intelligents de la société. En effet, il semble que les résultats soient presque toujours exceptionnels. Êtes-vous un génie entouré de génies? Ou s’agit-il plutôt d’un test de QI bidon? C’est ce que nous vérifierons dans cet article.

Comprendre les tests de QI

Les tests de QI visent à mesurer l’intelligence des gens (en fait, certains aspects de l’intelligence). Contrairement aux examens scolaires habituels, la note n’est pas donnée sur 100. En fait, obtenir un QI de 100 signifie, par définition, qu’on est plus « intelligent » que 50 % de la population, et ainsi moins « intelligent » que 50 % de la population.  En statistique, c’est ce qu’on appelle la médiane (la valeur au centre d’une liste ordonnée de nombres).  Si votre résultat est plus élevé que 100, vous êtes plus intelligents (au sens de ce qui est mesuré par le test de QI) que la majorité des gens dans la population. Dans un test de QI typique, voici comment sont distribués les résultats :

Tableau 1 : QI en fonction du pourcentage de personnes ayant eu un résultat moins élevé au test de QI.

Résultat au test de QI	Population ayant un résultat moins élevé
85	15.8 %
100	50.0 %
115	84.2 %
130	97.8 %
145	99.9 %

Donc, si vous obtenez un QI de 130, c’est que 97.8 % de la population aurait un résultat moins élevé que vous au test. Certains tests utilisent des valeurs un peu différentes (écart-type de 24 plutôt que 15), mais dans tous les cas la médiane devrait être à 100. Dans le cas qui nous intéresse, la définition est très similaire à ce qu’on vient de donner: le site de Memorado indique qu’un QI de 130 correspond à être plus intelligent que 95 % de la population, ce qui se rapproche beaucoup de notre 97.8 % ici. Pour plus d’information, vous pouvez consulter la page Wikipédia sur le quotient intellectuel. Je vous invite aussi à lire la section Commentaires sur les tests de QI à la fin de l’article.

Ainsi, il serait insensé que le test de Memorado donne toujours des résultats plus élevés que 100, à moins que les seules personnes qui osent passer le test soient des gens qui savent qu’ils sont plus « intelligents » que la majorité (mais étant donné l’effet Dunning-Kruger, j’en serais surpris). Pour savoir si le test a été bien conçu, j’ai fait quelques vérifications, que je partage dans la section suivante.

Les vérifications

Le test présenté par Memorado n’a rien de très particulier. Les questions posées sont du même genre que celles retrouvées dans les tests de QI conventionnels. On doit trouver l’intrus, faire des associations entre des concepts, trouver l’objet suivant dans une suite, faire des exercices de visualisation spatiale, etc.  Ceci donne une allure scientifique au test, en plus qu’on prétend qu’il s’agit du « meilleur test de QI gratuit ». Le test de Memorado est quand même relativement court : il est composé de seulement 18 questions, avec de 2 à 5 choix de réponse.

Pour vérifier sa validité, j’ai répondu au test de différentes façons pour savoir comment les résultats varient en fonction des réponses données. Rappelons que la moyenne (ou plutôt médiane) du QI dans la population devrait être de 100, ce qui implique qu’on devrait facilement obtenir en bas de 100 si on répond aux questions incorrectement. Alors voici les résultats des 5 tests que j’ai fait.

1. Choix systématique

Pour vérifier si le test est crédible, on peut évaluer entre autres comment il se comporte quand on répond aux questions sans les lire. On peut par exemple, décider de toujours prendre la première ou la dernière réponse. Dans ce cas, le test devrait donner un résultat très bas. En effet, supposons qu’une personne ne comprenne rien au test et soit incapable de répondre, elle risque de mettre n’importe quel résultat. Dans ce cas, il faudra que le test donne un QI beaucoup plus bas que 100. Voici le résultat obtenu lorsque je choisis toujours la réponse de gauche : On pourrait croire que les concepteurs du test aient mis la plupart des bonnes réponses complètement à gauche. Ceci serait une erreur, car il est préférable de positionner les bonnes réponses aléatoirement parmi les options. Pour savoir si les réponses ont été positionnées souvent à gauche, j’ai répété l’expérience en choisissant toujours la réponse de droite : j’ai obtenu encore un résultat de 110. C’est encore une fois un résultat très élevé pour quelqu’un qui ne prend même pas le temps de lire les questions. Comment est-ce possible qu’une personne qui ne lit pas les questions puisse être considérée comme plus intelligente que la majorité de la population?

J’ai aussi répété ce choix systématique plusieurs fois afin de tester si le résultat final était toujours le même. En effet, il est plus facile de redonner toujours les mêmes réponses en choisissant toujours l’option complètement à droite ou à gauche. Le résultat final est toujours resté le même. Le QI donné ne semble donc pas aléatoire.

2. Choix aléatoire

Pour améliorer la vérification, j’ai décidé de sélectionner les réponses au hasard, pour éviter de choisir toujours les extrémités. Dans ce cas, ceci correspond à quelqu’un qui ne comprend pas les questions et qui n’a pas de biais sur la façon de choisir les réponses. Ceci devrait donner, encore une fois, un QI beaucoup plus bas que 100. Pour générer les réponses au hasard, j’ai utilisé 5 cartes d’un paquet de cartes (As, 2, 3,4,5). En mélangeant les cartes entre chaque réponse, j’ai tiré une carte à la fois pour déterminer le résultat (As → première option, 2 → deuxième option, etc.). Voici le résultat que j’ai obtenu : Un QI de 116 est relativement élevé, surtout qu’on affirme du même coup que le répondant est plus intelligent que 70 % de la population. Ce résultat n’a aucun sens : comme mentionné plus haut, donner des réponses au hasard devrait donner un résultat bien en dessous de 100. Un oiseau pourrait obtenir un résultat similaire avec ce test s’il avait la possibilité d’appuyer sur des boutons au hasard pour donner des réponses. Or on peut douter que l’oiseau puisse réellement avoir ce QI, du moins en comparant aux humains.

Il est possible que le hasard ait « deviné » correctement les bonnes réponses lors du premier tirage, alors j’ai refait l’expérience. J’ai alors réalisé l’expérience une deuxième fois et j’ai obtenu cette fois-ci un QI de 110. C’est encore une fois beaucoup trop élevé pour des choix aléatoires. Il devient maintenant clair qu’on ne mesure pas ici le QI des gens qui font le test.

3. Temps de réponse

J’ai aussi vérifié si le temps de réponse influençait le QI donné, en utilisant des réponses systématiques comme dans la vérification #1. En effet, dans plusieurs tests de QI, on donne un temps limite pour répondre et la rapidité de réponse peut influencer la valeur du QI obtenu. Dans le cas qui nous intéresse, peu importe le temps pris à répondre, le résultat reste le même.

4. Mauvaises réponses seulement

J’ai tenté de mettre que des mauvaises réponses dans le questionnaire (voir la liste des bonnes réponses à la fin de ce document). J’ai obtenu un QI de 98. C’est le plus bas résultat obtenu dans tous les tests que j’ai faits sur le site. Il s’agit d’un résultat qui est à peine en dessous du 100, ce qui n’a pas de sens. À moins de connaître les bonnes réponses, il est pratiquement impossible d’obtenir un score en bas de 100. Effectivement, la seule façon de répondre incorrectement à toutes les questions est de connaître les bonnes réponses afin de pouvoir les éviter.

Or, comme expliqué précédemment, 50 % de la population devrait obtenir un QI plus bas que 100 (par définition du QI). Ceci semble pratiquement impossible avec ce test, sauf si 50 % de la population répond avec des mauvaises réponses seulement. Il n’est donc pas calibré correctement et donne des résultats beaucoup trop élevés.

5. Bonnes réponses seulement

En donnant seulement les bonnes réponses (voir à la fin de ce document), j’ai obtenu un résultat de 134. Ce résultat n’est pas nécessairement surprenant. C’est un résultat relativement élevé, qui correspond aux résultats que devraient obtenir les plus doués de notre société. Cependant, avec les résultats obtenus précédemment, ceci ne rend pas le test nécessairement crédible.

Résumé des vérifications effectuées

Le test donne ainsi des QI qui sont en général trop élevés. Dans ce test, la seule façon d’obtenir un QI qui soit en bas de 100 est de connaître les bonnes réponses afin de les éviter. Une personne qui ne comprend pas les questions va obtenir un QI qui est, selon Memorado, significativement plus élevé que la moyenne, ce qui n’a pas de sens.

Table 2: QI obtenu lors des différents tests

Méthode	QI obtenu
Sélection systématique	110
Aléatoire	116 et 110
Mauvaises réponses	98
Bonnes réponses	134

 

Comment le QI est calculé

En répétant le test à plusieurs reprises, j’ai remarqué que le résultat final du QI était donné par l’équation QI =  2 × N + 98, où N est le nombre de bonnes réponses données. Graphiquement, voici le lien entre le nombre de bonnes réponses données et le QI obtenu dans le test offert Memorado :

Ce calcul linéaire est purement arbitraire. D’abord, il ne permet pas, de toute évidence, d’obtenir une moyenne ou une médiane de 100, comme on devrait avoir dans un test sérieux. En donnant des réponses aléatoires, on devrait obtenir en moyenne 6,65 bonnes réponses sur 18 (voir calcul à la fin du document), ce qui devrait correspondre en théorie à un QI beaucoup plus petit que 100. Or le test de Memorado donnerait plutôt un QI de 111.3 si les réponses étaient choisies aléatoirement. Le calcul du QI est ainsi, sans aucun doute, très mal calibré.

De plus, les résultats du test ne tiennent pas compte des caractéristiques du répondant tels que son âge, son origine ethnique, etc. En général, on s’intéresse davantage à comparer les habiletés cognitives des gens d’un même groupe d’âge, que de comparer par exemple un adulte de 30 ans avec un jeune de 10 ans. Un même nombre de bonnes réponses devrait ainsi donner un QI beaucoup plus élevé pour un jeune de 10 ans que pour un adulte de 30 ans. Or ce test ne tient compte d’aucune caractéristique du participant.

Pour calibrer un test de QI, on doit le faire passer à de nombreuses personnes sélectionnées aléatoirement. En fonction des résultats bruts obtenus, et pour chaque sous-catégorie choisie dans la population (en fonction de l’âge par exemple), on attribue une valeur de QI pour représenter correctement les valeurs données au tableau 1. Plus précisément, on associe les résultats à une distribution normale, en fixant une moyenne de 100 et un écart-type de 15 (ou 24, selon les tests). Ce n’est définitivement pas ce qui a été fait dans le cas qui nous intéresse.

Validité scientifique de l’entrainement cognitif offert

L’entreprise qui gère cette page web, memorado.fr, vend un service pour améliorer les habiletés cognitives des gens. On pourrait penser que même si le test est bidon, les exercices peuvent être tout de même bénéfiques pour ceux qui y participent. Après tout, l’entreprise prétend aussi être « en première ligne de la recherche neuroscientifique ». Elle affirme du même coup faire affaire avec des institutions scientifiques allemandes telles que FerUniversität in Hagen, Humboldt-Universität zu Berlin et SRH Hochschule Berlin (elles ont une certaine crédibilité, semble-t-il).

Sur une page web de l’entreprise, on donne des références à des études scientifiques, dont une qui a été publiée dans le journal Nature par Owen et al.[1]. Il s’agit d’un journal scientifique jugé prestigieux. Si les exercices offerts se basent sur des études scientifiques, celles-ci devraient démontrer que lesdits exercices sont efficaces pour améliorer ses aptitudes cognitives, n’est-ce pas? En fait, l’article de Owen et al. conclut que :

« Although improvements were observed in every one of the cognitive tasks that were trained, no evidence was found for transfer effects to untrained tasks, even when those tasks were cognitively closely related. » [1]

Ceci signifie que l’étude en question n’a trouvé aucune preuve appuyant la suggestion que les exercices cognitifs offerts par les compagnies améliorent les capacités cérébrales d’un individu, sauf pour exécuter les tâches spécifiques pour lesquelles les individus sont entraînés. Sur son site web, Memorado se limite simplement à dire que :

« Lors de cette expérience, les participants ont réalisé des progrès dans chacune des tâches cognitives. » – memorado.fr

On évite bien sûr de mentionner la conclusion réelle de l’étude, soit que les habiletés acquises dans les exercices ne sont pas transférables dans la vie de tous les jours. On peut supposer que les gens faisant affaire avec Memorado désirent améliorer leurs habiletés cognitives en général, plutôt que d’être capable de faire une tâche bien précise qui n’existe pas dans la vie de tous les jours. Du moins, c’est ce que nous laissent croire les témoignages présentés sur le site:

« Au bureau, je dois en permanence traiter plusieurs tâches à la fois. Je m’entraîne depuis quelques semaines avec Memorado pour travailler ma concentration et ma rapidité, je sens au quotidien que je deviens de plus en plus efficace! »
– Témoignage sur le site de memorado.fr

Un autre article cité par Memorado, rédigé par Jaeggi et al. [2], affirme qu’on peut améliorer son « intelligence fluide » à partir d’exercices de mémoire.  Cependant, comme le soulève les auteurs, plusieurs autres études vont à l’encontre de leur conclusion. En fouillant dans la littérature scientifique, on se rend compte que la question est loin d’être résolue.

Bien qu’il ne soit pas impossible que certains exercices puissent faire améliorer les aptitudes cognitives d’une personne, il est étrange que Memorado cite une étude qui contredit ses affirmations. On peut difficilement parler ici de rigueur scientifique.

Conclusion

Plusieurs affirment qu’il ne s’agit que d’un jeu après tout. On publie sur Facebook ou Twitter, on s’amuse et on est heureux des résultats. Cependant, les tests de QI ne sont pas de simples « jeux » : ils sont utilisés et étudiés au niveau scientifique. Et ce test n’est pas présenté comme un simple jeu, au contraire. De plus, elle distorsionne les résultats des études scientifiques pour vendre son produit.

L’entreprise tente ainsi de se donner une crédibilité en se présentant comme scientifique et sérieuse. Or elle semble plutôt se situer dans la pseudoscience, du moins avec un test de QI donnant des résultats bidon et avec ses références scientifiques qui n’appuient pas ses prétentions.

Le test me semble être en fait une simple stratégie marketing pour flatter l’ego des gens qui participent et pour les encourager à partager le lien ou même à acheter le produit. L’entreprise espère ainsi, je devine, faire quelques dollars. Cependant, peut-on faire confiance en une entreprise qui affirme s’appuyer sur la science, mais qui attire les gens à partir de pseudosciences? À vous d’en juger.

Références

[1] Owen, Adrian M., et al. « Putting brain training to the test. » Nature 465.7299 (2010): 775-778.

[2] Jaeggi, Susanne M., et al. « Improving fluid intelligence with training on working memory. » Proceedings of the National Academy of Sciences 105.19 (2008): 6829-6833.

---

Section supplémentaire

EXTRA : médiane vs moyenne

Dans ce texte, nous avons parfois utilisé le terme « moyenne » plutôt que « médiane » lorsque nous avons parlé du test de QI. Cependant, le terme médiane est plus approprié. La médiane est la valeur dans un ensemble de nombres qui est au centre lorsqu’on ordonne ces nombres du plus petit au plus grand. Par définition de la médiane, 50 % des valeurs sont plus élevés et 50 % sont plus basses que la médiane. Ceci n’est pas nécessairement le cas avec la valeur moyenne. Par exemple, si un ensemble de personnes obtenait des QI de 92, 92, 96, 100 et 120 respectivement, la moyenne serait de 100, mais la médiane serait de 96.

D’un autre côté, on peut s’attendre à ce que la distribution des résultats suive une loi normale, ce qui fait en sorte que la moyenne et la médiane seront très similaires. Pour le cas qui nous intéresse, la différence entre les deux n’a pas vraiment d’impact sur la conclusion et sur les vérifications faites.

 EXTRA : commentaires sur les tests de QI

Certains lecteurs seront tentés de défendre l’idée que les tests de QI ne sont pas crédibles en général, parce qu’ils ne mesurent pas réellement l’intelligence de celle ou celui qui passe le test. Il est vrai que les tests de QI ne mesurent que certaines facettes des habiletés cognitives, mais ceci est aussi vrai pour tous les tests psychométriques qu’on peut faire passer à un individu. Et ceci est vrai aussi pour les tests physiques : ils mesurent qu’une facette des habiletés physiques d’un individu.

Le QI n’est pas un indicateur global d’une personne, et ne prétend pas l’être. Il peut tout de même être utile pour tenter de déterminer, par exemple, dans quelle proportion les variations dans les habiletés cognitives sont expliquées par l’environnement et par la génétique (voir par exemple l’article de Thomas J. Bouchard [3]). On peut aussi vérifier si le QI est associé à différentes caractéristiques, comme le salaire, le taux de mortalité, la scolarité, etc. Il semble qu’il existe bel et bien une corrélation entre ces éléments et le QI. Cependant, la corrélation entre le QI et ces caractéristiques est loin d’être parfaite, comme le mentionne un rapport commandé par American Psychologist et publié en 1996.

Puisqu’il est corrélé avec le statut social des enfants, il faut faire attention avant d’inférer un lien causal entre, par exemple, l’origine ethnique et le QI. En effet, le racisme peut faire en sorte que les gens d’une origine ethnique en particulier aient de la difficulté à obtenir une bonne éducation pour leurs enfants et à donner les stimulations optimales. De moins bonnes conditions de vie et une moins bonne scolarisation peuvent conduire à obtenir un QI moins élevé. Il faut donc être prudent en analysant les résultats.

Ainsi, le QI n’indique pas la valeur d’une personne, mais il peut avoir tout de même un intérêt scientifique. Il s’agit d’un indicateur parmi tant d’autres pour évaluer les aptitudes et habiletés des gens.

[3] Bouchard, Thomas J. « Genetic Influence on Human Psychological Traits A Survey. » Current Directions in Psychological Science 13.4 (2004): 148-151.

EXTRA : calcul du nombre moyen de bonnes réponses au test de QI lorsque les réponses sont aléatoires

Le test comprend 18 questions: 8 à deux choix de réponse, 3 à trois choix de réponse, 5 à quatre choix de réponse et 2 à cinq choix de réponse.

La probabilité d’avoir la bonne réponse à chacune des questions à deux options est de 1/2, à trois options est de 1/3, etc. Le nombre moyen de bonnes réponses, si les choix sont faits au hasard, sera sera alors de:

8×1/2 + 3×1/3 + 5×1/4 + 2×1/5 = 6,65

EXTRA : bonnes réponses au test de QI de Memorado

1. Sourire
2. Fleur
3. Vendredi
4. Assiette
5. La brindille
6. 50
7. Vrai
8. Image de droite
9. Image de droite
10. Première image
11. Deuxième image
12. Deuxième image
13. Deuxième image
14. 29
15. 48
16. 3
17. Certains bijoux précieux sont en or
18. Certains hommes politiques ne sont pas riches