https://canadianresearchinsightscouncil.ca/cric-release-05-25-19

May 27, 2019 – TORONTO: The world’s leading research organizations — WAPOR, CRIC and ESOMAR — held a joint conference in Toronto last Tuesday to present and discuss the accuracy of electoral polling globally and in the Canadian context. 

A key highlight included a major evidence-based global study into the accuracy of polling that concluded that done well, polls overwhelmingly continue to correctly predict election outcomes. A recent analysis by Jon Puleston for ESOMAR of more than 31,000 polls from 473 voting events across 40 countries spanning 1936 – 2017, found that at a global level, the average error of polls conducted within seven days before an election is +/-2.5%. The study included polls from the last four Canadian federal elections and found that Canadian pollsters performed well with average errors below the global average. While there has been some speculation about the potential decline in the accuracy of polling, the ESOMAR study concluded that when examining polling error data over the history of polling “there is no evidence of any long term decline in the accuracy of polling.”

“Because election polls are a litmus test for survey research overall, decision-makers from all sectors need to understand that surveys — when done well —remain an important source of information in decision-making as they ever were,” said Barry Watson, Chair of CRIC.

The question of how to address the challenges facing polling was a predominant theme in the conference panel discussions, particularly in light of high-profile polling “miss calls” where polls failed to predict the outcome of the events they were measuring. Conference panel members agreed that done poorly, bad or misleading election polls misinform voters and therefore hinders democracy. 

While pollsters have a responsibility to produce accurate and unbiased data, industry associations such as WAPOR, CRIC and ESOMAR also owe it to the public and their members to develop world-leading standards for good research and to ensure that these are being adhered to. 

“Pollsters have a professional and ethical duty to ensure that the polls they publish follow the most rigorous standards and are supported by best practice methodologies,” stated Marita Carballo, President of WAPOR. “If they don’t uphold the highest standards, then it’s harmful to give them any public attention.”

A stark example of this was presented by Christopher Adams, rector of St. Paul’s College at the University of Manitoba, and co-author of a study into problematic polling conducted during the 2017 Calgary election, where the differences in reported polls was so large that the polls overshadowed the election campaigns themselves and became the election story. A review of those polls by the study’s independent expert panel found “significant methodological flaws.”

Claire Durand of the University of Montreal also presented on the polling miss of the 2018 Quebec provincial elections, in which the Coalition Avenir Québec (CAQ) won decisively (12 points ahead of the next party) despite polls generally showing a close race between the two major parties. In her analysis, Professor Durand found that the polling miss was due to a late campaign swing towards CAQ, a tendency of “discrete”respondents to finally vote in greater proportion for CAQ and a small effect of differential participation. At the conference, Ms. Durand called on the necessity to find ways to anticipate these factors in order to prevent other polling misses to occur. 

A consistent recommendation cited throughout the session was the importance of pollsters to be transparent in their reporting. Polling companies are encouraged to share details of their methodologies and be upfront about potential risks to their predictions. Journalists are encouraged to request these details. Additional resources for publishing and reporting on surveys including a free online course on Understanding and Interpreting Polls is included at the bottom of this release. CRIC will have a further statement on our transparency standards and their enforcement as part of future communications in the run up to this fall’s election.

“Election polling is more than theatre; it is about sound democracy and providing the electorate with the ability to make an informed decision,” said Joaquim Bretcha, ESOMAR President. “In today’s era of misinformation, fake news, click bait and foreign interference, fact checking outlier or bad polls is more important than ever.” 

About CRIC: CRIC’s mandate is to develop and approve market research standards, best practices and support programs; provide effective promotion and advocacy for the market research and insights industry; serve as a source of information for the industry; and be a forum for collective industry action.For more information, visit www.canadianresearchinsightscouncil.ca or contact John Tabone at john.tabone@canadianresearchinsightscouncil.ca

About ESOMAR: ESOMAR is the global voice of the data analytics, research and insights community, speaking on behalf of over 6000 individual professionals and more than 600 companies who provide or commission data analytics and research in more than 130 countries, all of whom agree to uphold the ICC/ESOMAR International Code. Together with national and international research associations, ESOMAR promotes professional standards and self-regulation for the insights sector and encourages, advances and advocates for the role and value of data analytics, market and opinion research in illuminating real issues and bringing about effective decision-making. The ICC/ESOMAR Code and all ESOMAR guidelines are available on www.esomar.org

ABOUT WAPOR: Since its foundation in 1947, the World Association for Public Opinion has promoted the highest professional standards, ethics and techniques for public opinion research around the world. WAPOR’s international membership, with more than 400 academics and researchers represents the industry’s most respected names in the survey and public opinion research field. Through publications, seminars, meetings and educational initiatives WAPOR engages in a rich ongoing conversation about best practices for public opinion research, not just in advanced democracies, but also in emerging democracies. For more information about WAPOR, publications and events, visit wapor.org.

 

Resources for Publishing and Reporting  on Surveys:

Le 27 mai 2019, TORONTO – Mardi dernier, à Toronto, les plus grands organismes de recherche au monde (WAPOR, CRIC et ESOMAR) ont participé à un congrès conjoint pour discuter de l’exactitude des sondages électoraux, à l’échelle globale et dans le contexte canadien.

Un des faits saillants était une importante étude mondiale, fondée sur des données probantes et portant sur l’exactitude des sondages. Elle a conclu que, dans les cas où ils sont bien exécutés, les sondages continuent de façon étonnante à prédire correctement les résultats des élections.

Jon Puleston, de l’ESOMAR, a récemment analysé plus de 31 000 sondages, de 473 scrutins, dans 40 pays, sur une période de 1936 à 2017, et a fait une découverte étonnante : à l’échelle mondiale, l’erreur moyenne associée aux sondages menés dans les sept jours précédant une élection est de +/- 2,5 %. L’étude a porté sur des sondages des quatre dernières élections fédérales canadiennes. Elle a révélé que les sondeurs canadiens ont obtenu des résultats satisfaisants, et que leur moyenne d’erreur était inférieure à la moyenne mondiale. Bien qu’il y ait eu un peu de spéculation sur la diminution potentielle de la précision des sondages, l’étude de l’ESOMAR a permis de conclure qu’en examinant les données sur la précision des sondages au fil des années, il n’y a aucune preuve démontrant la diminution à long terme de la précision des sondages.

« Puisque les sondages électoraux sont un test décisif pour l’ensemble de la recherche par sondage, les responsables de tous les secteurs doivent comprendre que les sondages, lorsqu’ils sont bien exécutés, demeurent une source importante d’information pour la prise de décisions, comme ils l’ont toujours été », a affirmé Barry Watson, président du CRIC.

La question visant à savoir comment surmonter les difficultés associées aux sondages était un des sujets centraux de la conférence, particulièrement à la lumière des ratés d’envergure dans le cadre desquels des sondages n’ont pas prédit le résultat des événements sur lesquels ils portaient. Les membres du groupe de discussion de la conférence ont convenu que les sondages mal exécutés, erronés ou trompeurs informent mal les électeurs et nuisent donc à la démocratie. 

Bien que les spécialistes des sondages aient la responsabilité de produire des données impartiales et exactes, les associations de l’industrie (comme la WAPOR, le CRIC et l’ESOMAR) sont d’avis que le public doit établir des normes mondiales en matière de recherche et les respecter rigoureusement. 

« Les spécialistes des sondages ont le devoir professionnel et éthique de s’assurer que les sondages qu’ils publient respectent les normes les plus rigoureuses et sont appuyés par des méthodologies exemplaires », a déclaré Marita Carballo, présidente de la WAPOR. « S’ils ne respectent pas les normes les plus élevées, c’est une erreur de diriger l’attention du public vers ces produits. »

Les élections de 2017 à Calgary en sont un exemple frappant : il a été présenté par Christopher Adams, recteur du St. Paul’s College de la University of Manitoba et coauteur d’une étude sur les sondages problématiques menés lors de ces élections. Les sondages d’une société de recherche étaient si éloignés de la réalité qu’ils ont éclipsé les campagnes électorales elles-mêmes et sont devenus l’histoire des élections. Un examen de ces sondages, effectué par un comité indépendant, a révélé d’importants problèmes liés à la méthodologie.

Claire Durand, de l’Université de Montréal, a aussi présenté un exemple de rate en matière de sondage : les élections provinciales de 2018 au Québec, au cours desquelles la Coalition Avenir Québec (CAQ) a remporté haut la main les élections (par une majorité écrasante de 12 points), malgré que les sondages démontraient une chaude lutte entre les deux partis en tête. Dans son analyse, Mme Durand a établi que ce raté était attribuable à un revirement en fin de campagne, en faveur de la CAQ, au fait que les répondants « discrets » ont finalement voté en plus grande proportion pour la CAQ que prévu et à l’effet, quoique faible, de la participation différentielle. À la conférence, Mme Durand a souligné la nécessité de trouver des façons d’anticiper ces facteurs et ainsi prévenir d’autres ratés. 

Une des recommandations qui est revenue à plusieurs reprises au cours de la séance était l’importance que les spécialistes des sondages soient transparents. On incite les entreprises de sondage à faire part des détails concernant leurs méthodologies et à être honnêtes quant aux risques potentiels associés à leurs prédictions. Les journalistes sont encouragés à demander ces informations. Des ressources supplémentaires sur l’analyse des sondages et la publication d’articles connexes, notamment un cours en ligne gratuit sur la compréhension et l’interprétation des sondages, se trouvent au bas du présent communiqué. Le CRIC publiera un autre communiqué sur nos normes en matière de transparence et leur application, en vue des prochaines élections fédérales cet automne.

« Les sondages électoraux ne sont pas des spectacles; ce qui compte est de défendre une démocratie saine et de donner à l’électorat la capacité de prendre une décision éclairée », a déclaré Joaquim Bretcha, président de l’ESOMAR. « En cette ère de désinformation, de fausses nouvelles, de pièges à clics et d’interférence étrangère, il est de plus en plus crucial de porter notre attention sur les mauvais sondages et les données aberrantes. »

À propos du CRIC : Le CRIC a pour mandat d’élaborer et d’approuver des normes en matière d’études de marché et des programmes de soutien, d’assurer efficacement la promotion et la défense des intérêts dans le secteur de la recherche et de l’intelligence marketing, de constituer une source d’information pour l’industrie et de servir de forum pour une action collective de l’industrie. Pour obtenir de plus amples renseignements, visitez le site www.canadianresearchinsightscouncil.ca ou communiquez John Tabone à l’adresse john.tabone@canadianresearchinsightscouncil.ca.

Au sujet de l’ESOMAR : L’ESOMAR est la voix mondiale de la communauté de l’analyse des données, de la recherche et d’intelligence marketing, qui représente plus de 6 000 professionnels et plus de 600 entreprises qui offrent ou délèguent des services d’analyse et de recherche dans plus de 130 pays et qui ont accepté de respecter le Code international de la CCI et l’ESOMAR. En collaboration avec les associations de recherche nationales et internationales, l’ESOMAR promeut les normes professionnelles et l’autoréglementation du secteur de l’intelligence marketing, en plus de militer en faveur du rôle et de la valeur de l’analyse des données ainsi que de la recherche marketing et sur l’opinion publique pour mettre en lumière les enjeux réels et assurer l’efficacité des processus décisionnels. Le Code international de la CCI et l’ESOMAR et les lignes directrices de l’ESOMAR se trouvent sur le site www.esomar.org.

À propos de la WAPOR : Depuis sa fondation en 1947, la World Association for Public Opinion a fait la promotion des normes professionnelles, de l’éthique et des techniques les plus élevées en matière de recherche sur l’opinion publique dans le monde. La WAPOR compte des membres à l’échelle internationale; ils sont plus de 400 universitaires et chercheurs, et représentent les noms les plus respectés de l’industrie dans le domaine des sondages et de la recherche sur l’opinion publique. Grâce à ses publications, des séminaires, des réunions et ses projets éducatifs, la WAPOR s’engage dans une riche conversation continue sur les pratiques exemplaires en matière de recherche sur l’opinion publique, non seulement dans les pays démocratiques avancés, mais aussi dans les pays démocratiques émergents. Pour obtenir de plus amples renseignements au sujet de la WAPOR, de ses publications et de ses activités, visitez le www.wapor.org.

 

  

Ressources supplémentaires sur l’analyse des sondages et la publication d’articles connexes (en anglais seulement) :