Aller au contenu principal

LES DANGERS DE LA STATISTIQUE : INTERPRÉTATIONS IRRATIONNELLES, DÉCISIONS INFONDÉES – SONDAGES

SONDAGES: FONCTIONNEMENT ET INTERPRÉTATION

Le mathématicien Thierry Foucart explique pourquoi il est nécessaire de comprendre comment fonctionnent les sondages pour les interpréter.

VOIR CERTAINES PUBLICATIONS DE METAHODOS SUR LES STATISTIQUES OU LES SONDAGES EN FIN D’ARTICLE

Thématiques :

logement, pauvreté, inégalités, immigrations, inflation, pouvoir d’achat, sans abris, opinions, intentions de vote, démocratie, administration et Insee – méthode et éthique, les chiffres dans la communication ou dans la décision politique

ARTICLE

« La statistique prête le flanc à des interprétations irrationnelles et à des décisions infondées »

Par Thierry Foucart MARIANNE Publié le 19/08/2022

Entre février 2019 et le 22 avril 2022, plusieurs sondagesconformes aux règles de la Commission des sondages ont été publiés, sans jamais trouver les résultats exacts. Est-ce dire que ces outils sont inutiles ? Pas nécessairement, mais pour ne pas faire d’erreur, il faut avant tout comprendre comment ils fonctionnent et qu’elles sont leurs limites. Il existe deux types de sondages : les sondages aléatoires, qui consistent à tirer au hasard des observations dans une population donnée, et les sondages empiriques dont les échantillons sont constitués de façon à être représentatifs suivant certains critères.

Dans les premiers, la représentativité est totale mais approximative : la théorie des probabilités montre que tous les pourcentages observés sont, sauf exceptions, proches des proportions dont ils sont l’estimation. Un sondage empirique utilise la méthode des quotas pour construire un échantillon représentatif par rapport à quelques critères seulement, de l’ordre de quatre ou cinq. L’échantillon empirique est exactement représentatif suivant les critères choisis mais pas nécessairement suivant les autres.

QUESTION DE REPRÉSENTATIVITÉ

En 1936, la revue Literary Digest avait prévu, à partir d’un échantillon de deux millions quatre cent mille personnes, l’élection d’Alf Landon à la présidence des États-Unis avec 57 % des voix, alors que l’élection a été gagnée par Roosevelt avec 61 % des suffrages. L’erreur s’explique par l’absence de représentativité de l’échantillon, constitué de lecteurs de la revue. En considérant qu’un très grand nombre d’observations compense l’absence de représentativité, la revue a commis une erreur courante : elle a confondu les pourcentages de voix dans l’ensemble de ses lecteurs, favorables à Alf Landon, avec les pourcentages dans l’ensemble des électeurs.

« L’échantillon représentatif de l’ensemble des électeurs ne l’est pas de l’ensemble des votants. »

Un échantillon représentatif de 50 000 électeurs constitué par Gallup donnait au même moment Roosevelt gagnant avec 56 % des voix. Cet exemple historique montre l’importance de la représentativité de l’échantillon. L’hypothèse sur laquelle est fondée la méthode empirique est que, en choisissant des critères liés aux choix des votes, on obtient un échantillon représentatif par rapport à la répartition des suffrages. En général, dans les sondages préélectoraux, les critères de représentativité des échantillons sont le sexe, l’âge, la catégorie socio-professionnelle, la situation familiale, le niveau de diplôme.

Lors des élections municipales de 2020, les pourcentages de voix ont été très mal estimés par les sondages. Cela ne remet pas en cause la qualité de ces derniers, dont les résultats sont établis à partir d’échantillons représentatifs des inscrits sur les listes électorales et non des votants dont on ne peut tenir compte des répartitions suivant le sexe, la CSP, etc. puisqu’on ne les connaît pas. Les différences montrent en réalité que l’échantillon représentatif de l’ensemble des électeurs ne l’est pas de l’ensemble des votants. Un sondage aléatoire dans les listes électorales n’aurait pas donné de meilleurs résultats pour la même raison. C’est là le problème général des non-réponses.

Lorsque l’échantillon est aléatoire, la théorie des probabilités donne des résultats plus complets. Supposons que le pourcentage en faveur de Roosevelt calculé sur un échantillon aléatoire de 1 000 électeurs soit égal à 56 % (valeur estimée par Gallup). Avec un niveau de confiance de 95 %, l’intervalle de confiance (indicateur qui permet de chiffrer la zone d’incertitude) défini par l’ensemble des valeurs possibles du pourcentage exact est [52,9 % ; 59,1 %]. Pour un échantillon de même effectif que celui de Gallup, l’estimation est beaucoup plus précise : [55,6 %, 56,4 %]. La vraie valeur (61 %) n’appartient pas à l’intervalle de confiance. Gallup a expliqué la différence entre son estimation et le résultat du vote par le fait que son sondage avait précédé l’élection de quinze jours. Cela signifie que 5 % des électeurs environ ont changé d’avis au cours de cette période.

« La statistique ne donne des informations pertinentes que si on en connaît les limites. »

Calculer l’intervalle de confiance et le risque d’erreur dans le cas d’un sondage empirique, c’est mesurer la part du hasard alors qu’il n’y en a pas. En imposant aux instituts de sondage de publier ces informations dans le cas des sondages électoraux, la réglementation les oblige à commettre une erreur scientifique. C’est un problème général posé par les enquêtes effectuées dans les sciences humaines et sociales, dont les échantillons ne sont quasiment jamais aléatoires. Dans ces conditions, effectuer un test statistique pour comparer deux moyennes n’a pas de sens. Fixer un pourcentage de 5 % (la “p-value”) pour contrôler l’existence d’une relation entre deux facteurs est la même erreur.

À LIRE AUSSI : Interdire les sondages ? « Ce que les citoyens perdraient en information, ils le gagneraient en liberté »

Les difficultés ne se limitent pas aux précédentes. Un évènement rare a de fortes chances d’apparaître dans un grand nombre d’observations et on ne peut en tirer aucune conclusion, comme on le fait souvent dans la pseudo-théorie des séries. L’article 225-1 du Code pénal en fournit un exemple. Il donne la liste de vingt critères de discrimination interdits : si la probabilité pour qu’une entreprise soit injustement condamnée pour discrimination suivant un critère fixé est de 5 % (évènement rare) , elle est de 64 % (hautement vraisemblable) si l’on considère n’importe lequel des vingt critères. Cela revient à condamner à tort plus de la moitié des entreprises pour discrimination. Le législateur a visiblement besoin de statisticiens.

La statistique prête le flanc à des interprétations irrationnelles et à des décisions infondées. Chacun cherche dans les chiffres la preuve de ce qu’il pense a priori, au lieu de raisonner a posteriori en fonction des chiffres. La statistique ne donne des informations pertinentes que si on en connaît les limites.

  • Par Thierry Foucart

VOIR LES PUBLICATIONS DE METAHODOS SUR LES STATISTIQUES OU LES SONDAGES

Thématiques :

logement, pauvreté, inégalités, immigrations, inflation, pouvoir d’achat, sans abris, opinions, intentions de vote, démocratie, administration et Insee – méthode et éthique, les chiffres dans la communication ou dans la décision politique…

L’ INSEE BROUILLÉE AVEC UNE JUSTE MESURE DU POUVOIR D’ACHAT ? https://metahodos.fr/2022/05/30/l-insee-en-mal-avec-une-juste-mesure-du-pouvoir-dachat/

FRANCE STRATEGIE ET L’INSEE PRIS AU PIEGE, quand ils décrivent les « GRANDS BASCULEMENTS DE POPULATION » et la « SEGREGATION RESIDENTIELLE » ? https://metahodos.fr/2022/02/27/comment-un-rapport-de-france-strategie-est-detourne-pour-justifier-la-theorie-du-grand-remplacement/

POUVOIR D’ACHAT : LE LOGEMENT, « VRAI NON DIT DE CE DÉBAT » https://metahodos.fr/2022/01/29/pouvoir-dachat-le-logement-vrai-non-dit-de-ce-debat/

POURQUOI L’INSEE N’EST PAS EN MESURE D’EVALUER LE NOMBRE DE PERSONNES SANS DOMICILE ? https://metahodos.fr/2022/01/08/connaitre-les-personnes-sans-domicile-est-encore-plus-important-que-les-denombrer/

CES CHIFFRES QUI NOUS GOUVERNENT. LIRE OLIVIER MARTIN https://metahodos.fr/2021/12/09/chiffres/

Plus de 75 millions d’assurés sociaux pour 67 millions d’habitants ? https://metahodos.fr/2021/12/01/plus-de-75-millions-dassures-sociaux-pour-67-millions-dhabitants/

CORRIGER UN MENSONGE D’ETAT ? SEULEMENT 2% DES HOSPITALISATIONS DUES AU COVID. POINT DE VUE. https://metahodos.fr/2021/11/28/mensonge-detat-2-des-hospitalisassions-dues-au-covid-point-de-vue/

SONDAGES #SUITE : UNE MALADIE POLITIQUE ? https://metahodos.fr/2021/11/22/sondages/

LA PAUVRETE. RAPPORT ANNUEL : 5 A 7 MILLIONS DE PERSONNES AIDEES – REVENU MEDIAN 537 EUROS https://metahodos.fr/2021/11/19/letat-de-la-pauvrete-rapport-annuel-du-secours-catholique/

POUVOIR D’ACHAT : CONTRE VERITES ET APPROXIMATIONS. LA FRANCE AU 15° RANG EUROPEEN – MAJ 19 11 2021 https://metahodos.fr/2021/11/17/pouvoir-dachat-contre-verites-et-approximations/

1 FRANÇAIS SUR 5 TOUCHÉ PAR LA PAUVRETÉ : QUAND FR.STRATÉGIE CORRIGE UNE NOUVELLE FOIS L’INSEE. https://metahodos.fr/2021/09/07/un-francais-sur-cinq-concerne-par-la-pauvrete/

IMMIGRATION : CE QUE RÉVÈLE (MALGRE ELLE ?) FR. STRATEGIE. SUITE ET CONFUSION, SANS DÉBAT https://metahodos.fr/2021/09/06/immigration-extra-europeenne-ce-que-revele-le-rapport-de-france-strategie/

MENSONGE ET STATISTIQUES https://metahodos.fr/2021/09/03/mensonges-et-statistiques/

L’IMMIGRATION ENVAHIT LA PRÉSIDENTIELLE  ? SUBMERSION ? LA TRANSPARENCE DOIT S’IMPOSER ? https://metahodos.fr/2021/08/30/le-debat-sur-limmigration-est-il-parti-pour-envahir-la-presidentielle%e2%80%89submersion/

NI DÉTÉRIORATION DU POUVOIR D’ACHAT, NI HAUSSE DES INÉGALITÉS DE REVENU DEPUIS 30 ANS ? VRAIMENT ? MAIS QUID DES INÉGALITÉS RÉELLES ? MAJ DU 5 8 31 https://metahodos.fr/2021/08/04/les-inegalites-saccroissent-elles-vraiment/

L’ÉCONOMIE DU MONDE D’APRÈS : 11. DERRIÈRE LES CHIFFRES DE L’INFLATION: MESURES ET CONTROVERSES. https://metahodos.fr/2021/05/20/inflation/

CONTROVERSE SUR LA MORTALITE EN 2020 : LES CHIFFRES DE l’INSEE. https://metahodos.fr/2021/03/29/controverse-sur-la-mortalite-en-2020-les-chiffres-de-linsee/

LA DEMOCRATIE ABIMEE PAR LES SONDAGES ET LEUR MEDIATISATION INSIDIEUSE ? https://metahodos.fr/2022/03/03/la-democratie-sondagiere/

SONDAGES #SUITE : UNE MALADIE POLITIQUE ? https://metahodos.fr/2021/11/22/sondages/

LES EFFETS CONTESTABLES DES SONDAGES DANS LA DRAMATISATION PAR LES MEDIAS D’UNE COURSE DE PETITS CHEVAUX https://metahodos.fr/2021/11/19/grande-manip-des-sondages/

Procès des sondages – Suite. Le refus de dire une vérité et une responsabilité. https://metahodos.fr/2021/11/02/proces-des-sondages-suite/

LE PROCES DES SONDAGES PRESIDENTIELS https://metahodos.fr/2021/11/02/sondages-2/

« PEUT-ON ENCORE CROIRE AUX SONDAGES ? » AVEC FRÉDÉRIC DABI ET BRUNO CAUTRES. https://metahodos.fr/2021/06/24/peut-on-encore-croire-aux-sondages/

METÂHODOS FÊTE SES MILLE PUBLICATIONS. De la fabrication et lecture des sondages. https://metahodos.fr/2021/02/19/precieux-eclairage-sur-la-fabrication-et-la-lecture-des-sondages-avec-bruno-cautres-et-questions-qui-restent-posees/

POUVOIR D’ACHAT : « LA MOITIE DES FRANCAIS NE VIVENT PAS CONVENABLEMENT » – CREDOC https://metahodos.fr/2021/12/21/pouvoir-dachat-la-moitie-des-francais-ne-vivent-pas-convenablement-selon-le-credoc/

NI DÉTÉRIORATION DU POUVOIR D’ACHAT, NI HAUSSE DES INÉGALITÉS DE REVENU DEPUIS 30 ANS ? VRAIMENT ? MAIS QUID DES INÉGALITÉS RÉELLES ? MAJ DU 5 8 31 https://metahodos.fr/2021/08/04/les-inegalites-saccroissent-elles-vraiment/

L’ ÉTAT STATISTIQUE DES INÉGALITÉS EN FRANCE https://metahodos.fr/2020/06/05/l-etat-statistique-des-inegalites-en-france/

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.

%d blogueurs aiment cette page :