Le statisticien et universitaire Michel Lejeune vient de publier La singulière fabrique des sondages, un livre (1) dans lequel il questionne les méthodes des sondeurs, tout en réclamant le retour de « l’activité sondagière dans le champ scientifique » (2).
Que vous inspire les « sondages » réalisés par certains médias sur leurs pages Facebook ou sur leurs sites Internet ?
Il est assez classique de voir certains journaux demander l’avis de leurs lecteurs. Or, ces « sondages » ne concernent que certains lecteurs. Ils ne peuvent pas être généralisés à l’ensemble des personnes qui pourraient être concernées. On ne peut donc pas appeler ça « sondage ».
Le nombre de votants permet-il de rectifier le tir ?
Pas du tout. Le fait de ne pouvoir atteindre qu’une partie de la population concernée par un sujet peut être générateur de biais. Un biais est une erreur ou un décalage systématique. Les gens qui répondent spontanément à ce genre d’étude peuvent avoir des opinions très différentes de ceux qui ne répondent pas. Donc, même si ces médias élargissent l’échantillon de leurs lecteurs, le biais reste le même. Le biais ne dépend pas de la taille de l’échantillon. En revanche, augmenter la taille de l’échantillon permet de faire baisser la marge d’erreur. Mais ce qui pose vraiment problème aujourd’hui dans les sondages, ce n’est pas la marge d’erreur : ce sont les biais.
Les questionnaires proposés ne sont pas construits correctement ?
Beaucoup de gens font des sondages en pensant que faire un questionnaire, c’est simple. Alors que faire un questionnaire, c’est un métier. Quand je vois les questionnaires publiés sur Internet par certains médias, c’est une catastrophe. On voit nettement que c’est de l’amateurisme. Par exemple dans une même question on demande une seule réponse, mais on mélange des éléments qui n’ont pas grand chose à voir les uns avec les autres. Quand on donne plusieurs propositions pour répondre à une question, il faut que cela soit exhaustif. Et il faut également que les différentes propositions soient exclusives les unes des autres.
« Il est assez classique de voir certains journaux demander l’avis de leurs lecteurs. Or, ces « sondages » ne concernent que certains lecteurs. Ils ne peuvent pas être généralisés à l’ensemble des personnes qui pourraient être concernées. On ne peut donc pas appeler ça “sondage” »
Comment procéder pour réaliser un sondage de qualité ?
Actuellement chez les professionnels des sondages, les échantillons sont faits à bas coûts. Depuis 2005 environ, on est passé dans une période où les coûts ont été excessivement réduits. Aujourd’hui, grâce à Internet, faire un sondage, même sur 10 000 personnes, ne coûte pas très cher. Mais ces échantillons ne sont pas très bons. Parce qu’actuellement, les sondeurs recrutent des panels sur des sites Internet, sur lesquels on promet des rémunérations. Du coup, les gens s’inscrivent d’eux-mêmes sur ces panels. Il n’y a donc pas la volonté de sélectionner les sondés dans les règles de l’art. On laisse venir les gens qui veulent s’inscrire sur ces « access panels », qui sont de très grands réservoirs dans lesquels on va pouvoir tirer des échantillons. Quand des questionnaires leurs sont envoyés ils répondent s’ils le souhaitent, sans être nécessairement relancés. Au début des années 2 000, on faisait encore de bons échantillons. A l’époque, j’ai beaucoup suivi les pratiques, car j’auditais notamment les études d’audiences médias des instituts de sondage historiques.
Quel est l’idéal pour avoir un bon échantillon ?
Pour avoir un bon échantillon, l’idéal, c’est d’avoir la liste de toutes les personnes de la population, ce que possède l’INSEE en France, et de piocher dedans par un algorithme de sélection au hasard. Un échantillon de ce type ne comporte aucun biais, du fait que chaque personne a la même probabilité d’être sélectionnée. Plus l’échantillon est grand, plus le sondage sera précis.
C’est-à-dire ?
Pour un niveau de pourcentage autour de 50 %, si on ne prend que 1 000 personnes, la marge d’erreur sera de plus ou moins 3 %. Pour avoir une précision de 1 %, il faut interroger 10 000 personnes. Bien sûr, plus la taille de l’échantillon est élevée, et plus cela coûte cher. A Monaco, avec environ 5 000 électeurs, nous sommes dans un cas particulier. En interrogeant 1 000 personnes, on aurait 2,7 % de marge d’erreur.
Pourquoi la méthode aléatoire est la plus scientifique ?
La méthode aléatoire est la seule méthode scientifique. Elle permet d’estimer quoi que ce soit, sans aucun biais. La propriété même de l’échantillon permet de calculer rigoureusement la marge d’erreur.
Mais le hasard peut conduire à ne sélectionner que des personnes fortunées ou plus populaires ?
Non. Le hasard fait bien les choses. C’est un calcul de probabilités. La probabilité de ne sélectionner que des gens riches est infime, car, au départ, tout le monde a la même probabilité d’être sélectionné. Dans la pratique, il suffit de mettre la population concernée dans un tableau Excel et d’utiliser la fonction « aléa » qui permet de faire un tirage au sort.
« Depuis 2005 environ, on est passé dans une période où les coûts ont été excessivement réduits […]. Mais ces échantillons ne sont pas très bons. Parce qu’actuellement, les sondeurs recrutent des panels sur des sites Internet, sur lesquels on promet des rémunérations »
Actuellement, les sondages d’opinion reposent souvent sur des échantillons de seulement 400 à 600 personnes, avec une représentativité garantie par la méthode des quotas, assurent les instituts de sondage : cela est-il discutable ?
La méthode des quotas est discutable, d’abord parce que ce n’est pas une méthode. Cela permet de contrôler quatre variables sur un échantillon, à savoir le genre, la profession, la catégorie d’âge, et la zone géographique. La méthode des quotas ne dit pas d’où viennent les gens sondés. Cela permet d’avoir un échantillon qui est un modèle réduit au point de vue de l’âge, du genre, de la catégorie socio-professionnelle, et de la géographie. Or, ces échantillons ne sont représentatifs de la population que pour ces quatre variables. Mais si on cherche à mener une enquête électorale, est-ce que ces échantillons sont représentatifs des opinions politiques ? Pas forcément. Sauf si les opinions politiques sont totalement déterminés par l’âge, la profession, le sexe et la zone géographique. Et ce n’est pas du tout vrai. Donc, la méthode des quotas ne suffit pas. Il faudrait partir d’un échantillon aléatoire, sur lequel on peut ensuite ajouter la méthode des quotas.
Les questionnaires reçus par les sondés sur Internet ou les plateformes d’access panel posent quels problèmes ?
Les gens sont recrutés sur Internet pour être sondés sur des access panels. Ces plateformes ne regroupent donc que des personnes qui acceptent de répondre à des questionnaires, ce qui limite le champ du sondage. Laisser venir les gens pour être sondés, ce n’est pas une méthode scientifique, et cela génère des biais. Par exemple, il y a un biais sur le Rassemblement National (RN), car les électeurs de ce parti politique sont beaucoup plus présents sur Internet que les autres, et ils sont aussi plus sensibles aux thèses complotistes.
La méthode aléatoire est utilisée par qui aujourd’hui ?
La méthode aléatoire est très utilisée aux Etats-Unis. En Europe, c’est un peu plus diffus. Lorsque j’ai participé à de grandes enquête européennes, à chaque fois, les Français voulaient utiliser la méthode des quotas. Au final, ils utilisaient un plan de sondage aléatoire, auquel ils ajoutaient les contraintes de quotas. Et cela fonctionnait très bien.
Mais alors, pourquoi les grands instituts de sondage qui travaillent avec les médias n’utilisent pas la méthode aléatoire ?
Avec le développement d’Internet, des entreprises plutôt orientées vers le marketing au départ, se sont lancées sur le créneau des sondages. Elles ont donc travaillé à partir d’access panel sur Internet, ce qui leur a permis de proposer des prix imbattables. Aujourd’hui, un sondage de ce type, avec un échantillon d’environ 1 000 personnes, coûte entre 3 000 et 6 000 euros. Il faut savoir que des instituts de sondage comme par exemple, Odoxa, Elabe, ou Viavoice fonctionnent seulement avec une ou deux dizaines de salariés. Les entreprises de sondage historiques se sont heurtées à la difficulté de plus en plus grande de réaliser des questionnaires par téléphone. Comme Internet s’est imposé, elles ont dû s’aligner. Ce qui a débouché sur la situation “low cost” actuelle.
Pourtant, les grands instituts de sondage publient parfois des sondages assez proches de la réalité ?
En 2017, au premier tour de la présidentielle française, les résultats ont effectivement été assez proches de la réalité. En revanche, au second tour, Emmanuel Macron a été sous-estimé de 4 points et Marine Le Pen surestimée de 4 points. Les grands instituts de sondage ont une démarche empirique qui n’échoue pas toujours, mais qui n’offre, a priori, aucune garantie.
Les sondages manquent de transparence ?
Les sondeurs ne publient pas leurs chiffres bruts, c’est-à-dire les chiffres qui sortent de leurs ordinateurs. Par la suite, ils traitent à nouveau ces chiffres. Le directeur général de l’institut de sondage Ifop et directeur du pôle Opinion et Stratégies d’entreprise, Frédéric Dabi, estime que ces chiffres bruts ne sont pas fiables. De son côté, le politologue Roland Cayrol, qui a dirigé l’institut de sondage CSA jusqu’en 2008, a parfois dit : « Nos sondages sont faux. » C’est pourquoi les instituts de sondage appliquent à leurs chiffres bruts la technique de redressement.
« Depuis 2005 environ, on est passé dans une période où les coûts ont été excessivement réduits […]. Mais ces échantillons ne sont pas très bons. Parce qu’actuellement, les sondeurs recrutent des panels sur des sites Internet, sur lesquels on promet des rémunérations »
En quoi consiste le redressement des données brutes réalisé par les sondeurs ?
Le redressement des données brutes répond à des exigences scientifiques. Le problème, c’est que, dans le cas d’un sondage qui concerne une élection, le redressement est fait à partir des résultats d’élections antérieures. Par exemple, pour l’élection présidentielle française des 10 et 24 avril 2022, ils demandent aux sondés pour qui ils ont voté en 2017. Ensuite, ils observent les résultats obtenus dans l’échantillon, et ils les ajustent sur les résultats de 2017.
Un exemple ?
Il peut arriver que 30 % des gens disent qu’ils ont voté pour un candidat, alors qu’en fait, il n’a recueilli que 20 % des voix, comme, par exemple, pour Emmanuel Macron au premier tour des présidentielles 2017. Il y a donc un décalage entre ce que disent les sondés et la réalité. Du coup, on réajuste ce que disent les gens par rapport à ce qu’il s’est vraiment passé. Mais cette méthode pose des problèmes.
Lesquels ?
Le souvenir des sondés n’est pas toujours bon. Même si c’est moins vrai pour l’élection présidentielle, 20 ou 30 % des gens ne se souviennent pas pour qui ils ont voté ou se trompent. Sans oublier ceux qui mentent. Concernant l’élection présidentielle de 2017, un bon quart des sondés ne répond pas. Pour une élection présidentielle, cinq ans après, la population a changé. Certains sont devenus électeurs, pendant que d’autres ont disparu… Finalement, les redressements de données brutes ne sont pas toujours très fiables. C’est une technique fragile et incertaine.
D’autres types de corrections sont parfois appliqués ?
Dans les départements « opinion » des instituts de sondage, il y a des politologues et des sociologues qui réfléchissent aux résultats. Si les résultats obtenus sont très au-dessus de la tendance générale des autres sondeurs, ils vont chercher à se rapprocher de cette tendance. Voilà pourquoi on constate que, lorsqu’on se rapproche du scrutin, tous les sondeurs disent à peu près la même chose. Alors qu’au début, il y a parfois de gros écarts. Car personne ne veut prendre le risque d’être différent des autres. Avoir raison tout seul, ça peut arriver. Mais avoir tort tout seul, ça fait mal…
« Plus la taille de l’échantillon est élevée, et plus cela coûte cher. A Monaco, avec environ 5 000 électeurs, nous sommes dans un cas particulier. En interrogeant 1 000 personnes, on aurait 2,7 % de marge d’erreur »
Pourquoi est-il si compliqué d’estimer avec justesse le taux d’abstention ?
On ne sait pas du tout estimer l’abstention. Parce que les gens qui sont actuellement présents dans les échantillons utilisés par les sondeurs sont plus intéressés par la politique que la moyenne de la population. Du coup, quand on leur demande s’ils vont aller voter, 95 % répond « oui ». Donc, des estimations sont faites au jugé. Parfois, cela peut se révéler juste. Mais, scientifiquement, il n’y a aucune garantie d’obtenir des chiffres proches de la réalité.
Combien coûte un sondage réalisé avec la méthode aléatoire ?
Un sondage réalisé avec la méthode aléatoire peut coûter plusieurs dizaines de milliers euros. C’est certes plus cher, mais il faut aussi se poser la question de la fréquence des sondages. Il serait raisonnable que les instituts de sondage ne donnent des résultats d’intentions de vote par panels sur Internet ou par téléphone qu’une fois par mois, ou tous les quinze jours. Est-ce que l’on a vraiment besoin d’avoir un sondage tous les jours ? Cela permettrait de revenir un peu à la raison, tout en ayant un suivi mensuel pour chaque institut de sondage. Cela éviterait aussi de solliciter trop fréquemment les sondés, qui peuvent du coup répondre de façon biaisée, par lassitude.
C’est long de faire un bon sondage ?
Il faut trois ou quatre jours pour questionner les gens et leur laisser le temps de répondre ; Il faut aussi se laisser la possibilité de les relancer. Ensuite, une autre phase commence, avec des contrôles de cohérence, sur l’identité des sondés, sur la vitesse à laquelle ils ont répondu… Cela prend encore deux ou trois jours, mais cela permet, entre autres, d’éliminer les sondés les plus fantaisistes.
Internet a révolutionné les méthodes pour les sondages ?
Le panel Internet Elipss, qui est géré par Sciences Po Paris, propose un très bon panel, en aléatoire. Mais dans les access panels il manque celles et ceux qui ne vont pas s’y inscrire, pour différentes raisons. Selon des études de l’Insee sur l’utilisation d’Internet, environ 40 % des gens auraient du mal à s’inscrire sur ces panels en ligne, et à répondre à des questions. Elipss a résolu ce problème en donnant une tablette facile d’emploi à cette population, afin qu’ils puissent répondre, et cela, de façon anonyme.
L’anonymat, c’est capital dans la réalisation d’un sondage ?
Oui. À une époque, il n’était pas très glorieux de révéler à l’enquêteur que l’on votait pour le RN. Cela créait un énorme biais, et le RN était très sous estimé. Grâce à Internet, et à l’anonymat, cela n’est plus le cas aujourd’hui.
« La méthode des quotas est discutable, d’abord parce que ce n’est pas une méthode. Cela permet de contrôler quatre variables sur un échantillon, à savoir le genre, la profession, la catégorie d’âge, et la zone géographique. La méthode des quotas ne dit pas d’où viennent les gens sondés »
Que pensez-vous des sondages financés par des entreprises, qui ne sont pas des médias, et qui proposent ensuite gratuitement ces études à des médias, afin d’obtenir de la visibilité ?
Dans le milieu des affaires, tout ce qui est gratuit est toujours un peu suspect. L’avantage des sondages électoraux, c’est qu’à un moment donné, on sait si on s’est trompé ou pas. Il y a donc un verdict. En revanche, pour les sondages d’opinion, on en sait rien du tout. On ne sait pas quelle est la vérité, finalement. Donc l’entreprise qui envoie des sondages d’opinion gratuitement à des journalistes, propose sans doute des études qui ne valent probablement pas grand chose. Si cela avait de la valeur, ces entreprises le monnaieraient.
Vous discutez aussi des rapprochements faits entre certains médias et certains instituts de sondage ?
Les rapprochements entre certains médias et certains instituts de sondage ne sont pas très sains. Chaque institut de sondage a un partenariat avec un ou deux organes de presse, et inversement. J’ai entendu la directrice du département Opinion à l’Institut BVA, Adélaïde Zulfikarpasic, dire : « Finalement, ce type de partenariat, c’est gagnant-gagnant. » Effectivement, c’est gagnant-gagnant.
Pourquoi ?
Parce que l’institut de sondage fournit un contenu éditorial au média qui le publie. Le média offre à l’institut une vitrine, et donc, une notoriété. Il ne faut pas oublier que les sondeurs ne font pas l’essentiel de leurs chiffres d’affaires sur les sondages d’opinion. Ils font leurs chiffres d’affaires sur les sondages marketing. En tout cas, du côté des médias on ne se pose pas trop la question de savoir si c’est un bon sondage, s’il y a eu des problèmes… Pour l’essentiel, les commentaires autour du sondage rédigés par les sondeurs sont repris par les journalistes, sans trop de modifications.
Quelles sont les conséquences ?
Du coup, les sondeurs sont juge et partie. Il manque le regard critique que les médias devraient apporter. Les journalistes ne fournissent pas, non plus, de valeur ajoutée suffisante. Aucune contradiction n’est apportée aux sondeurs. Cela donne l’impression que ce que disent les sondeurs, c’est la vérité. On n’émet pas de doute, on prend les résultats tels qu’ils sont présentés par les instituts.
Que faudrait-il faire ?
Il devrait y avoir une indépendance entre les résultats du sondage et l’analyse qui en est faite par le média. Par exemple, en Angleterre, la BBC interdit à ses journalistes de reprendre les commentaires des sondeurs. C’est beaucoup plus sain qu’en France, où certains instituts de sondage et certains médias sont devenus captifs l’un de l’autre. Au vu de la place prise désormais par les sondages, il faudrait que soit donné en école de journalisme des cours approfondis sur les sondages, sans que ces cours soient faits par des sondeurs. Il faudrait faire appel à des scientifiques, pour remettre en cause tout ce qui doit l’être.
« Avec le développement d’Internet, des entreprises plutôt orientées vers le marketing au départ, se sont lancées sur le créneau des sondages. Elles ont donc travaillé à partir d’access panel sur Internet, ce qui leur a permis de proposer des prix imbattables. Aujourd’hui, un sondage de ce type, avec un échantillon d’environ 1 000 personnes, coûte entre 3 000 et 6 000 euros »
Si un bon sondage est forcément long à réaliser et cher, la bataille est-elle perdue d’avance ?
Pour les sondages électoraux, il faut qu’il y ait un contrôle externe et indépendant. Cela permettrait de faire le tri entre les bons et les mauvais sondages. En France, une commission des sondages fait des contrôles insuffisants sur les sondages électoraux. Pendant 20 ans, j’ai été membre du comité scientifique du Centre d’étude des supports de publicité (CESP). Le CESP est un organisme professionnel souverain dont les membres sont les médias, les agences de publicité, etc. Pour être reconnu par les utilisateurs, il est nécessaire de faire auditer son sondage par le CESP. Les instituts de sondage historiques ont les moyens intellectuels et techniques de réaliser de bons sondages. Mais ils ne le font pas, parce que cela coûterait beaucoup trop cher.
L’argent est vraiment un frein ?
Si on fait moins de sondages, mais mieux, il n’est pas sûr qu’au final, ça coûte beaucoup plus cher. Au lieu de faire un sondage tous les trois jours, on pourrait en faire un par mois, ou tous les 15 jours. Pour la campagne présidentielle de 2017, autour de 700 sondages ont été réalisés. Pour la campagne de 2022 il y a du mieux. On est nettement en-dessous.
« On ne sait pas du tout estimer l’abstention. Parce que les gens qui sont actuellement présents dans les échantillons utilisés par les sondeurs sont plus intéressés par la politique que la moyenne de la population. Du coup, quand on leur demande s’ils vont aller voter, 95 % répond “oui” »
Comment le grand public peut-il différencier un bon sondage d’un mauvais sondage ?
Pour les sondages d’opinion généraux, il est impossible de différencier un bon sondage d’un mauvais sondage, car il n’y aucune transparence sur les démarches des sondeurs. En revanche, pour les sondages électoraux on peut aller sur le site Internet de la commission des sondages (3), et prendre connaissance de toutes les notices des sondages. La première information à regarder, c’est en combien de jours le sondage a été réalisé. Ensuite, il faut observer la taille de l’échantillon.
À quoi faut-il être attentif également ?
En cas de redressement des données brutes, il faut observer l’écart avec la réalité. Plus l’écart est grand, et moins la qualité des résultats sera bonne, et inversement. Redresser c’est bien, mais redresser trop, c’est apporter de l’instabilité. Pour les quotas, il faut vérifier si l’on est très loin, ou non, de les avoir atteints. La transparence est aussi un facteur très important. Un institut de sondage qui reste très laconique sur sa notice, donne moins confiance qu’un autre qui donne des détails sur sa méthode de travail. OpinionWay est le seul institut à communiquer ses données brutes ce qui est une donnée indispensable, car sinon entre le résultat brut et le résultat publié, on ne sait pas comment les chiffres ont été modifiés. L’Ifop, BVA, Harris jouent une certaine transparence. Il faut sortir de cette spirale de sondages “low cost” et rapides. Car ça ne peut pas permettre de réaliser des sondages de qualité.
Pour revenir au début de notre dossier consacré au premier tour de l’élection présidentielle 2022, cliquez ici.
1) La singulière fabrique des sondages de Michel Lejeune (L’Harmattan), 168 pages, 19 euros. Michel Lejeune est professeur honoraire de l’université Grenoble-Alpes. Pendant vingt ans, il a été membre du comité scientifique du Centre d’étude des supports de publicité (CESP). www.michel-lejeune-statistique.fr.
2) « Il faut ramener l’activité sondagière dans le champ scientifique », tribune de Michel Lejeune publiée dans Le Monde, le 14 décembre 2021, à lire par ici : https://www.lemonde.fr/idees/article/2021/12/14/il-faut-ramener-l-activite-sondagiere-dans-le-champ-scientifique_6106044_3232.html.
3) Le site Internet de la commission des sondages est accessible ici : https://www.commission-des-sondages.fr.
