Plusieurs grandes entreprises technologiques ont récemment construit des plateformes qui prétendent éduquer les entreprises sur la meilleure façon de se commercialiser et de commercialiser leurs produits en ligne. Les exemples incluent Meta for Business (anciennement Facebook for Business ; « Obtenez des conseils étape par étape, des informations sur l’industrie et des outils pour suivre vos progrès, le tout en un seul endroit »), Think with Google (« Allez plus loin dans votre marketing avec Google »), et Twitter pour les entreprises (« Développez votre entreprise avec les publicités Twitter »).
Ces sites sont très attractifs. Ils fournissent aux petites et moyennes entreprises une abondance d’informations vraiment utiles sur la façon de faire des affaires en ligne et, bien sûr, ils offrent une variété d’outils et de services publicitaires conçus pour aider ces entreprises à améliorer leurs performances.
Tous ces sites ont le même objectif de base. Ils veulent que vous compreniez que leurs outils et services sont puissants et hautement personnalisés – et ils veulent que vous y investissiez votre budget marketing.
Pas aussi simple qu’il y paraît
Facebook est peut-être la plus insistante des trois sociétés citées ci-dessus. Ces dernières semaines, la société a diffusé des publicités racontant toutes sortes d’histoires inspirantes sur les petites entreprises qu’elle a aidées avec ses nouveaux services. Peut-être avez-vous vu certaines de ces publicités dans les aéroports, dans des magazines ou sur des sites Web. My Jolie Candle, un fabricant de bougies français, « trouver[s] jusqu’à 80 % de leurs clients européens via les plateformes Facebook. Chicatella, une entreprise de cosmétiques slovène, “attribue jusqu’à 80 % de ses ventes aux applications et services de Facebook”. Mami Poppins, un fournisseur allemand de vêtements pour bébés, “utilise les publicités Facebook pour générer jusqu’à la moitié de ses revenus”.
Cela semble impressionnant, mais les entreprises devraient-elles vraiment s’attendre à des effets aussi importants de la publicité ? Le fait est que lorsque Facebook, Google, Twitter et d’autres grandes entreprises technologiques « éduquent » les petites entreprises sur leurs services, elles encouragent souvent en fait des conclusions incorrectes sur les effets causals de la publicité.
Prenons le cas d’un de nos clients de conseil, une entreprise européenne de biens de consommation qui, depuis de nombreuses années, positionne sa marque autour du développement durable. L’entreprise souhaitait déterminer si une publicité en ligne qui revendique la commodité pourrait en réalité être plus efficace qu’une publicité qui revendique la durabilité. Avec l’aide de Facebook for Business, il a effectué un test A/B des deux publicités, puis comparé le retour sur investissement publicitaire entre les deux conditions. Le test a révélé que le rendement était beaucoup plus élevé pour l’annonce de durabilité. Ce qui signifie que c’est dans quoi l’entreprise devrait investir, n’est-ce pas ?
En fait, nous ne savons pas.
Il y a un problème fondamental avec ce que fait Facebook ici : les tests qu’il propose sous le titre de tests « A/B » ne sont en fait pas du tout des tests A/B. Ceci est mal compris, même par les spécialistes du marketing numérique expérimentés.
Alors, que se passe-t-il vraiment dans ces tests? Voici un exemple :
1) Facebook divise un large public en deux groupes – mais tout le monde dans les groupes ne recevra pas de traitement. C’est-à-dire que de nombreuses personnes ne verront jamais une annonce.
2) Facebook commence à sélectionner des personnes dans chaque groupe et propose un traitement différent en fonction du groupe dans lequel une personne a été échantillonnée. Par exemple, une personne sélectionnée dans le groupe 1 recevra une annonce bleue et une personne sélectionnée dans le groupe 2 recevra une annonce rouge.
3) Facebook utilise ensuite des algorithmes d’apprentissage automatique pour affiner sa stratégie de sélection. L’algorithme pourrait apprendre, par exemple, que les jeunes sont plus susceptibles de cliquer sur l’annonce rouge, il commencera donc à diffuser cette annonce davantage auprès des jeunes.
Vous voyez ce qui se passe ici ? L’algorithme d’apprentissage automatique utilisé par Facebook pour optimiser la diffusion des publicités invalide en fait la conception du test A/B.
Voici ce que nous voulons dire. Les tests A/B sont construits sur l’idée d’assignation aléatoire. Mais les affectations effectuées à l’étape 3 ci-dessus sont-elles aléatoires ? Non. Et cela a des implications importantes. Si vous comparez les personnes traitées du Groupe 1 avec les personnes traitées du Groupe 2, vous ne pourrez plus tirer de conclusions sur l’effet causal du traitement, car les personnes traitées du Groupe 1 diffèrent désormais des personnes traitées du Groupe 2 sur plus de dimensions que juste le traitement. Les personnes traitées du groupe 2 qui ont reçu l’annonce rouge, par exemple, finiraient par être plus jeunes que les personnes traitées du groupe 1 qui ont reçu l’annonce bleue. Quel que soit ce test, ce n’est pas un test A/B.
Il n’y a pas que Facebook. Le site Think with Google suggère que les métriques de type ROI sont causal, alors qu’en fait ils ne sont que associatif.
Imaginez qu’une entreprise souhaite savoir si une campagne publicitaire est efficace pour augmenter les ventes. Répondre à cette question, suggère le site, implique une combinaison directe de technologie de base et de mathématiques simples.
Tout d’abord, vous configurez le suivi des conversions pour votre site Web. Cela vous permet de savoir si les clients qui ont cliqué sur une annonce ont effectué un achat. Deuxièmement, vous calculez les revenus totaux de ces clients et divisez par (ou soustrayez de) vos dépenses publicitaires. C’est votre retour sur investissement, et selon Google, c’est “la mesure la plus importante pour les détaillants, car elle montre l’effet réel que Google Ads a sur votre entreprise”.
En fait, ce n’est pas le cas. L’analyse de Google est erronée car elle manque de point de comparaison. À vraiment savoir si la publicité génère des bénéfices pour votre entreprise, vous auriez besoin de savoir quels auraient été les revenus en l’absence de publicité.
Twitter pour les entreprises offre un peu proposition plus impliquée.
Tout d’abord, Twitter travaille avec un courtier en données pour accéder aux cookies, aux e-mails et à d’autres informations d’identification des clients d’une marque. Et puis Twitter ajoute des informations sur la façon dont ces clients se rapportent à la marque sur Twitter – s’ils cliquent sur les tweets promus de la marque, par exemple. Cela permet censément aux analystes marketing de comparer les revenus moyens des clients qui se sont engagés avec la marque aux revenus moyens des clients qui ne l’ont pas fait. Si la différence est suffisamment importante, selon la théorie, cela justifie les dépenses publicitaires.
Cette analyse est comparative, mais uniquement dans le sens de comparer des pommes et des oranges. Les personnes qui achètent régulièrement des cosmétiques ne les achètent pas parce qu’elles voient des tweets promus. Ils voient des tweets promus pour les cosmétiques parce qu’ils achètent régulièrement des cosmétiques. Les clients qui voient les tweets promus d’une marque, en d’autres termes, sont des personnes très différentes de ceux qui n’en voient pas.
Confusion causale
Les entreprises peuvent répondre à deux types de questions à l’aide de données : elles peuvent répondre à des questions de prédiction (comme dans « Ce client achètera-t-il ? ») et à des questions d’inférence causale (comme dans « Cette annonce incitera-t-elle ce client à acheter ?”). Ces questions sont différentes mais faciles à amalgamer. Répondre aux questions d’inférence causale nécessite de faire des comparaisons contrefactuelles (comme dans « Ce client aurait-il acheté sans cette annonce ? »). Les algorithmes intelligents et les outils numériques créés par les grandes entreprises technologiques présentent souvent des comparaisons pommes-oranges pour étayer les inférences causales.
Les grandes technologies devraient être bien conscientes de la distinction entre prédiction et inférence causale et de son importance pour une allocation efficace des ressources – après tout, depuis des années, elles embauchent certaines des personnes les plus intelligentes de cette planète. Cibler des acheteurs potentiels avec des publicités est un pur problème de prédiction. Cela ne nécessite pas d’inférence causale, et c’est facile à faire avec les données et les algorithmes d’aujourd’hui. Persuader les gens d’acheter est beaucoup plus difficile.
Les grandes entreprises technologiques doivent être félicitées pour le matériel et les outils utiles qu’elles mettent à la disposition du monde des affaires, mais les petites et moyennes entreprises doivent savoir que les plateformes publicitaires poursuivent leurs propres intérêts lorsqu’elles proposent des formations et des informations, et que ces intérêts peuvent ou peuvent ne pas être alignés sur ceux des petites entreprises.
Note de l’éditeur (12/16): Le titre de cette pièce a été mis à jour.
