Quand on y pense, la simple décision d’inclure (ou d’exclure) une question dans un sondage constitue une manière insidieuse d’influencer les résultats d’une étude. En posant toutefois l’hypothèse que toutes les questions ont leur raison d’être et qu’elles ne servent pas à créer un état d’esprit particulier (une autre belle façon d’influencer les résultats!), c’est lors de l’analyse que peuvent survenir les plus grand biais. Voici donc quatre façons d’influencer les perceptions des résultats d’un sondage.

Technique 1: Mettre l’emphase sur les sous-groupes
Les hommes sont deux fois plus nombreux que les femmes à - insérer le fait divers de votre choix -, pourrait titrer un journal. En mettant l'emphase sur la distinction hommes-femmes (remarquez que ce pourrait être d'opposer les plus jeunes aux plus vieux, ou les Québécois aux Canadiens), le journaliste (ou le relationniste!) arriverait en quelque sorte à légitimer un phénomène peu important ou peu pertinent. En attirant notre attention sur l'écart entre deux segments de la population, il suggère que le phénomène est riche ou complexe et qu'il mérite d’être étudié ou commenté. Si 6% des hommes pensent quelque chose et que seulement 3% des femmes sont du même avis, est-il si important de connaître le sujet en question?

Technique 2: Ne pas relativiser les résultats
"Chers actionnaires, il me fait plaisir de vous annoncer que plus de 25% de nos clients potentiels connaissent déjà notre produit après à peine deux ans du lancement." Hormis l’enthousiasme du PDG qui pourrait émettre ce commentaire, comment peut-on apprécier ce résultat si on ne sait pas quel est le résultat typique d'un score de notoriété? Dans le cas fictif qui précède, moins de 30% en notoriété assistée est proche du zéro virtuel. Autrement dit, le 25% précédent est très faible et ne mériterait pas un commentaire aussi favorable.

Mon point de vue est aussi valable lorsque les résultats sont numériquement élevés. On sait par exemple que 80% à 90% des gens qui fréquentent un festival apprécient leur expérience. Si un promoteur obtenait 75% à ce chapitre, mais qu’il était très "fier" de son résultat, on pourrait être amenés à penser que c'est un résultat fort positif alors qu'il n'en est rien.

Technique 3: Procéder à des regroupements douteux
Cette stratégie peut être utilisée dans plusieurs cas, mais le scénario d'intentions d'achat ou de fréquentation est celui qui me vient spontanément à l'esprit. Habituellement, lorsqu'on construit un questionnaire, on propose des échelles aux répondants afin qu'ils nous indiquent le plus précisément possible leurs intentions. Cela va de l'échelle à 4 modalités (certainement, probablement, probablement pas, certainement pas) à celle en 10 points (échelle classique de 1 à 10).

Toutefois, quand vient le moment de rapporter les résultats, il est souvent plus commode d’agréger les modalités. Dans le cas du niveau d’accord face à des énoncés, par exemple, on regroupe habituellement les mentions ayant obtenues les notes de 7 et plus pour désigner les gens en accord avec un énoncé. Pour gonfler l’adhésion à un concept, certains sont toutefois tentés d’inclure ceux qui ont aussi donné 6 sur 10 (si c’était suffisant pour passer à l’école, ce devrait l’être pour ce résultat, doivent-ils se dire...).

Technique 4: Faire passer de la corrélation pour de la causalité
Rappelons que la corrélation indique simplement que deux variables sont reliées (qu’elles évoluent dans le même sens ou dans le sens inverse). Cela ne signifie donc pas qu’une variable cause la seconde (en fait, la causalité est très difficile à démontrer en communication et en marketing). Par exemple, ce n’est donc pas parce que les jeunes préfèrent le noir qu’il y a causalité entre l’âge et la préférence pour les couleurs. Est-ce que le budget de communication augmente parce que les ventes augmentent ou est-ce parce que le budget de communication croît que les ventes s'améliorent?

Bref, ces quelques mises en situation sont classiques et peuvent paraître un peu caricaturales. Croyez-moi, ce n'est pas le cas. Il suffit de garder l'oeil (ou l’oreille) ouvert pour s'en convaincre.