Donnez au garçon une guimauve, et je vous montrerai l’homme. C’est une expérience de psychologie aussi célèbre qu’adorable : prenez un groupe d’enfants de quatre ans, présentez-leur une guimauve et dites-leur que s’ils ne mangent pas celle-là tout de suite, ils auront deux guimauves. Selon une étude de 1990, les enfants de quatre ans qui ont tenu bon pour une deuxième guimauve ont mieux réussi sur le plan scolaire et social plus tard dans la vie.
Il n’y a qu’un seul problème : le « test de la guimauve » est l’une des nombreuses études qui ont été la proie de la « crise de réplication » de la science : des études dans des domaines aussi vastes que la psychologie, la sociologie et l’économie qui ne parviennent pas à se reproduire lorsque d’autres chercheurs mènent eux. Une étude de 2018 a révélé que la version de 1990 avait rédigé un chèque que ses conclusions ne pouvaient pas encaisser, une fois que vous avez contrôlé divers facteurs.
Une réplication réussie est au cœur d’une science réussie : pour utiliser un exemple grossier, il ne suffit pas de produire un vaccin qui me protège des symptômes graves du coronavirus. Le jab doit fournir des niveaux de protection similaires à travers la population.
La crise de la réplication est particulièrement aiguë pour les politiciens car bon nombre des domaines les plus directement touchés sont l’essence même de la politique publique. Mais le plus grand défi pour les démocraties n’est pas une politique basée sur des études qui ne se reproduisent pas : c’est une politique dont l’ancrage dans la recherche et l’étude universitaires est au mieux limité, et dont la mise en œuvre est à l’abri des preuves qu’elle ne fonctionne pas.
Au Royaume-Uni, le « troubled families programme », une initiative phare de l’administration de David Cameron, a dépensé des millions de livres pour tenter d’améliorer les perspectives des familles confrontées à de graves problèmes sociaux. Mais des études universitaires ont révélé que l’impact du programme était négligeable. Le problème était la position du gouvernement de l’époque, à savoir que le programme s’attaquait à un problème difficile et que même de petits résultats – qui pouvaient ou non être l’impact d’autres politiques – étaient le résultat du programme.
Et ils ont peut-être raison. Un problème auquel la politique gouvernementale est confrontée est que parce que les sociétés sont des choses complexes, il est difficile de dire exactement ce qui fonctionne et ce qui ne fonctionne pas. Pour distinguer précisément si une politique est efficace ou non, il faudrait exclure délibérément certaines personnes de son champ d’application : faire quelque chose qui se passe tout le temps dans les laboratoires et les entreprises, à savoir se livrer à un bon test AB à l’ancienne.
Les tests AB sont au cœur de tout projet de recherche réussi, qu’il s’agisse de quelque chose d’aussi trivial que la façon d’inciter les gens à ouvrir un bulletin d’information ou d’aussi important qu’un vaccin. Un groupe fait l’expérience d’une nouvelle intervention ou d’un changement de politique : l’autre se retrouve avec l’ancien système. Mais, bien sûr, il est plus facile d’obtenir la permission (ou le pardon) des gens pour changer de sujet dans un e-mail que de leur injecter un placebo puis de les exposer à une maladie potentiellement mortelle afin de savoir si votre vaccin œuvres.
Dans les premières années du New Labour, le gouvernement a effectué de nombreux tests AB : les heures d’alphabétisation et de calcul – des modifications du programme devenues obligatoires dans toute l’Angleterre – n’ont d’abord été testées que dans une poignée de domaines, tandis que le “défi de Londres”, une tentative d’amélioration des écoles publiques de la capitale, a fourni un banc d’essai pour un certain nombre de politiques depuis déployées à l’échelle nationale. Mais cela peut créer ses propres problèmes : lorsqu’un programme politique ne fonctionne pas, il est souvent politiquement douloureux pour un gouvernement de l’abandonner, de sorte qu’un « projet pilote » ne fait qu’exposer une partie du pays à une mauvaise politique un peu plus tôt que les autres. Lorsque, comme pour le défi de Londres, la politique fonctionne, d’autres parties du pays peuvent rapidement en venir à en vouloir de ne pas en ressentir les avantages plus tôt.
Les tests AB sont difficiles dans une démocratie car ils laissent les gouvernements soit confrontés à l’embarras d’abandonner un programme coûteux, parfois très médiatisé, soit au ressentiment des électeurs de ne pas en avoir déployé un efficace plus tôt. Cela incite les gouvernements à faire les choses en même temps – ce qui est l’une des raisons pour lesquelles, bien que nous puissions dire avec un degré élevé de certitude que les écoles de la capitale britannique se sont améliorées, nous ne pouvons toujours pas dire exactement pourquoi.
Une façon pour les démocraties de contourner leurs propres difficultés avec les tests AB est d’apprendre des autres démocraties : c’est l’une des raisons pour lesquelles les réformateurs scolaires conservateurs ont cherché à apprendre de la Finlande. Mais être dans un État moins centralisé aide aussi : une grande partie de l’impulsion des réformes scolaires du New Labour n’est pas venue du Royaume-Uni, mais des écoles de New York, qui avaient la liberté de faire les choses différemment des autres États américains. Les démocraties ne seront jamais en mesure d’agir rapidement et de casser les choses comme le peuvent les entreprises, mais donner à différents acteurs la liberté d’expérimenter peut aider à partager les avantages.
