⭐⭐⭐⭐⭐Livre « Comment être visionnaire » de Philip E. Tetlock

Introduction

Le livre « Superforecasting » de Philip E. Tetlock et Dan Gardner est un plaidoyer pour des prévisions s’appuyant sur la méthode scientifique.

L’auteur tire les conclusions de deux expériences qu’il a conduites pour déterminer les facteurs et les pratiques qui favorisent de meilleures prédictions.

Points clés à retenir

Optimiste sceptique

Tetlock a réalisé entre 1984 et 2004 l’étude la plus poussée sur les prédictions d’expert. Une des conclusions de cette étude est qu’en moyenne, les experts ne font pas mieux que des prédictions au hasard. Néanmoins, parmi le groupe des experts, Tetlock a pu identifier un sous-groupe qui surperformait systématiquement. Les personnes de ce groupe ont en commun d’être ouvertes d’esprit, méticuleuses, curieuses et surtout auto-critiques. Ces conclusions ont été renforcées dans une étude s’étalant de 2011 à 2015 où plusieurs groupes s’affrontaient pour prédire des événements géopolitiques à un horizon de 1 mois à 12 mois. Les groupes incluaient d’autres universités et des experts ayant accès à de l’information classée secret-défense.

Le groupe de Tetlock était constitué de personnes de tous horizons avec les qualités mentionnées précédemment. Son équipe a surclassé de très loin toutes les autres.

Il est donc possible d’améliorer la qualité des prévisions même s’il existe une limite à ce qui peut être fait. Par exemple, si nous sommes capables de prédire les éclipses et les marées, il est beaucoup plus difficile de prédire la météo au-delà de quelques jours. Un des outils les plus importants pour améliorer la situation est de mesurer systématiquement la qualité des prédictions. C’est ce qui s’est passé en Médecine lorsque l’efficacité des traitements a été évaluée d’une manière systématique.

L’illusion de la connaissance

La médecine n’est pas une science. C’est seulement depuis le 20^ème siècle et la généralisation des essais contrôlés randomisés que l’effet des traitements fait l’objet d’une analyse rigoureuse. Auparavant, l’intuition des médecins n’était pas remise en question en dépit des dommages considérables et non nécessaires causés par ces derniers.

Plutôt que de sauter aux conclusions, le véritable scientifique se pose la question : « Qu’est-ce qui me convaincrait que j’ai tort ? »

Pour autant, l’intuition peut nous mettre sur la bonne voie. En effet, après beaucoup de pratique un pompier est capable de reconnaître des situations dangereuses et d’agir en conséquence. Mais cela dépend du domaine. Par exemple, une intuition sur l’évolution d’une action boursière a peu de chance d’être confortée par la réalité.

Le meilleur équilibre consiste à combiner l’intuition et la réflexion comme le fait le champion d’échec Magnus Carlsen. En dix secondes, il sait ce qu’il compte faire. Mais il utilise le reste du temps pour vérifier et revérifier.

Noter les progrès

Les prévisionnistes d’aujourd’hui ressemblent aux médecins du passé, intelligents et bien intentionnés. Mais cela ne suffit pas.

Il y a plusieurs problèmes. D’abord, les prévisions sont souvent faites sans horizon de temps. Ensuite, les termes utilisés sont vagues : significatif, majeur, faible. Pour ces raisons, les prévisions sont difficiles à tester.

Bien entendu, des prédictions vagues permettent de sauver les apparences a posteriori. Il est donc nécessaire de quantifier la probabilité que la prédiction se réalise.

La bonne façon d’évaluer des prévisions est d’en faire un grand nombre et de comparer la probabilité prédite avec la fréquence réalisée. Par exemple, si un bon prévisionniste effectue une centaine de prévisions toutes estimées à 80% de probabilité de se produire, nous devrions avoir environ 80 prédictions effectivement réalisées. On parle de juste calibration : le prévisionniste ne surestime pas et ne sous-estime pas les probabilités.

Néanmoins, la calibration n’est pas tout. Un prévisionniste conservateur pourrait faire des prédictions systématiquement entre 40% et 60%. Cependant, ce prévisionniste aurait moins de mérite que celui qui ferait des prévisions bien calibrées mais systématiquement entre 90% et 100% d’une part et entre 0% et 10% d’autre part. On parle dans ce cas de résolution.

Enfin, certaines prédictions sont plus faciles que d’autres et il faut en tenir compte lorsqu’on compare deux prévisionnistes. Par exemple, prévoir le temps à Paris est bien plus difficile que de le prévoir à Mexico, puisqu’il fait presque toujours beau à Mexico.

C’est surtout la manière de penser qui permet d’obtenir de meilleures prédictions que le hasard, ou que des algorithmes simples comme « prédire aucun changement », « prédire selon le taux de changement récent ».

Lors l’expérience de « Jugements Politiques Experts » entre 1984 et 2004, il est clairement apparu que les participants sous influence idéologique étaient incapables de réviser leurs jugements même à la suite d’échecs répétés.

A l’inverse, un autre groupe plus pragmatique utilisait davantage d’outils d’analyse, plus de sources d’information et était plus nuancé dans ses évaluations. De plus, ces experts reconnaissaient plus facilement lorsqu’ils avaient tort.

Il existe d’ailleurs une corrélation inverse entre la qualité des prédictions et la célébrité du prévisionniste. Le public ne recherche pas sciemment de mauvais prévisionnistes, mais s’attachent à ceux qui ont une idée fixe. En effet, les gens préfèrent les histoires simples et claires, racontées par des gens sûrs d’eux.

Super prévisionnistes

Le projet IARPA est né dans la foulée de l’échec du renseignement américain qu’a constitué le rapport sur « les armes de destructions massives de l’Irak ». Sa raison d’être est de déterminer scientifiquement les déterminants d’un bon jugement.

Actuellement, les analystes de la CIA et de la douzaine d’autres agences de renseignement suivent un protocole précis. Ils doivent notamment rechercher des hypothèses alternatives, des preuves allant à l’encontre de leur thèse etc. Mais il n’y a aucune imputabilité au niveau du résultat de la prédiction. C’est un peu comme si un médecin se lavait les mains, examinait son patient et considérait ses symptômes, puis préconisait un traitement sans vérifier s’il fonctionne effectivement.

Dans le cadre du projet IARPA, Tetlock a monté de toutes pièces une équipe d’amateurs recruté via des blogs et sélectionné ceux qui réussissaient certains tests psychométriques. La formule gagnante a consisté à identifier les 40 meilleurs prévisionnistes et effectuer des prédictions qui surpondèrent ceux-ci par rapport au groupe. De plus, les probabilités étaient extrémisées. Ainsi, une prédiction de 70% était rehaussée à 85% par exemple.

La procédure se justifie car chaque personne détient seulement une partie de l’information nécessaire. Si chaque personne avait accès à toute l’information, l’évaluation de chaque individu et donc du groupe deviendrait plus certaine.

Le sous-groupe des 58 meilleurs prévisionnistes avait le même score à un horizon de 300 jours que le groupe moyen à un horizon de seulement 100 jours. De plus, une fois regroupés ensemble à l’issu de la première année, les super prévisionnistes ont amélioré leur score jusqu’à atteindre 60% de plus que les autres, et 30% mieux que les analystes des services de renseignement.

Ces résultats n’ont rien à voir avec la chance. S’ils étaient causés par la chance, la seconde année les résultats des super-prévisionnistes auraient dû se dégrader et c’est le contraire qui s’est produit ! Plus précisément, 70% des super-prévisionnistes d’une année le sont restés l’année suivante. Il y a moins d’une chance sur 100 millions que cela soit dû au hasard.

Super-intelligents

Les prévisionnistes du projet IARPA ne sont pas représentatifs de la population. Leur intelligence et culture générale mesurées par des tests est supérieure à celle de 70% de la population (80% pour les super-prévisionnistes). D’un autre côté, leurs résultats ne sont pas exceptionnels. Il semblerait que ce qui compte est comment ils utilisent leur intelligence et leur savoir.

Les problèmes de Fermi sont une bonne façon de formuler une prévision. Un problème typique de Fermi serait : « combien y a-t-il d’accordeurs de piano à Chicago ?». La façon d’approcher ce problème en l’absence d’informations précises consiste à décomposer le problème et faire des estimations raisonnables. La première étape consiste à identifier tout ce qu’il faut pour arriver à la solution :

• Nombre de pianos à Chicago ?
• A quelle fréquence un piano est-il accordé ?
• Combien de temps faut-il pour accorder un piano ?
• Combien d’heures par année un accordeur travaille-t-il ?

Une autre approche fructueuse consiste à ignorer les particularismes de la situation et essayer d’évaluer en toute généralité une probabilité. Les particularités de la situation, si elles sont pertinentes, pourraient ensuite être utilisées pour ajuster marginalement la première estimation.

Une fois un estimé produit, le travail ne s’arrête pas là. On peut développer, à la manière de George Soros, une habitude mentale qui consiste à sortir de sa personne afin de juger de son propre raisonnement et proposer une nouvelle perspective. Mieux encore, reformulez la question. Si la question est à la forme positive, essayez la forme négative.

Superquants

Les super-prévisionnistes ont tendance à être à l’aise avec les chiffres. Comme les scientifiques, ils pensent en termes de probabilités plutôt qu’en termes binaires.

En fait, il existe différents types d’incertitudes. Il y a l’incertitude épistémologique, c’est-à-dire l’incertitude « connaissable » et l’incertitude aléatoire. Dans le premier cas, il est possible de réduire l’incertitude en la décortiquant de la même manière qu’un ingénieur comprendrait le fonctionnement d’une machine en la démontant. Dans le second cas, il s’agira par exemple de déterminer la météo à Paris dans un an. Quoi qu’on fasse, il sera impossible d’améliorer la prédiction.

Une des conclusions de l’étude était que les super-prévisionnistes ont tendance à être plus granulaires et à utiliser tout le spectre des probabilités alors que les plus mauvais prévisionnistes utilisent certaines valeurs, par exemple 50%, de façon prépondérante.

Les super-prévisionnistes ont également une vision du monde à l’opposé du fatalisme et d’une quelconque croyance au destin. Pour eux, le cours des événements aurait pu être tout autre.

Super-lecteurs de journaux

Même si leur prédiction initiale est 50% plus précise que celle du groupe, les super-prévisionnistes mettent régulièrement à jour leur estimation. Pour ce faire, ils s’informent régulièrement des nouveaux développements sur les sujets qui les intéressent. En particulier, ils utilisent Google Alert.

Le principal problème d’une mise à jour est qu’il peut y avoir une surréaction à la nouvelle, ou à l’inverse une réaction trop modérée.

Par exemple, il peut arriver qu’à la place de la question, on en substitut une autre plus facile à répondre. « Untel fera-t-il telle chose ? » peut devenir « Si j’étais à la place d’Untel, est-ce que je ferai telle chose ? ». Pour cette raison, une nouvelle qui change la donne pourrait être considérée comme non pertinente.

Un autre biais psychologique peut affecter les prévisions. Lorsque l’investissement affectif dans une prédiction devient important, par exemple parce qu’il s’agit d’un domaine d’expertise, il peut être difficile de revoir radicalement son jugement. C’est encore plus vrai si la prédiction est faite publiquement.

Des expériences ont montré que des informations sans rapport avec la question étudiée pouvaient influencer notre perception. Certaines informations devraient être ignorées mais elles ne le sont pas, entraînant une surréaction. C’est exactement ce qui se passe sur les marchés actions où les investisseurs transigent beaucoup plus qu’ils ne le devraient.

Les super-prévisionnistes approchent ce problème en faisant des mises à jour fréquentes mais incrémentales.

Ils sont également une compréhension intuitive du théorème de Bayes. Ce théorème explicite comment modifier les probabilités d’un événement à partir de nouvelles données.

Voici une illustration. En 2013, l’administration Obama a nominé Chuck Hagel au poste de ministre de la Défense. Hagel faisait l’objet de certaines controverses et il fut invité à une audience au Sénat qui ne se passa pas bien du tout. Il fallait estimer la probabilité que Hagel soit maintenu à son poste sachant ce nouvel événement.

A priori, sur les 24 ministres de la défense depuis la seconde Guerre Mondiale, un seul avait été refusé par le sénat. Hagel aurait donc a priori 96% de chance d’être maintenu si l’on ne tenait pas compte de sa piètre performance. Le théorème de Bayes a besoin de deux informations pour la mise à jour de cette probabilité:

• Quelle est la probabilité d’une audition ratée sachant que la nomination est refusée ?
• Quelle est la probabilité d’une audition ratée sachant que la nomination est acceptée ?

Il est difficile de répondre, mais 1/5 et 1/20 respectivement semblent raisonnables. Le théorème de Bayes donne alors une probabilité mise à jour de 83%.

Beta perpétuel

Les super-prévisionnistes ont également en commun d’être adepte de la théorie de l’apprentissage incrémental (la connaissance est liée à l’effort pour l’obtenir). En effet, lorsqu’ils se trompent, ils essaient de comprendre pourquoi et sont toujours à l’affût d’informations qui pourraient augmenter leurs connaissances.

Ils opèrent un peu à la manière de Keynes qui était célèbre pour réviser parfois de façon radicale ses jugements.

Deux obstacles existent pour que la boucle de rétroaction fonctionne pour les prévisionnistes. D’une part, lorsque le langage est imprécis, une prédiction peut être comprise de multiples façons. D’autre part, à cause du délai entre la prédiction et l’événement prédit, le prévisionniste peut avoir un biais rétrospectif. Cela signifie qu’il pourrait ne pas se rappeler de sa prédiction et penser qu’elle serait davantage en phase avec les événements ayant eu lieu depuis.

L’indicateur qui prédit le mieux si une personne peut devenir un super-prévisionniste est la propension à mettre à jour ses modèles mentaux et à s’améliorer.

Super-équipes

Dès le début de l’expérience, une partie des participants a été assignée à une équipe, tandis que les autres travaillaient en solo. Les équipes étaient libres de s’organiser comme elles l’entendaient. Néanmoins, les meilleures pratiques ont été partagées aux équipes : éviter la pensée de groupe, ne pas être trop conciliant mais ne pas non plus tomber dans la confrontation, utiliser des questions précises pour comprendre les arguments des uns et des autres.

A l’issue de la première année, les équipes ont obtenu des résultats 23% meilleurs que les individus.

La seconde année, les équipes de super-prévisionnistes furent formées. Contrairement aux équipes qu’on trouve dans les entreprises ou les administrations, il n’y avait pas de hiérarchie ni de normes préétablies sur lesquelles s’appuyer. Les équipes ont donc dû apprendre à se connaître et à travailler ensemble. Un super-prévisionniste qui rejoint une équipe de pairs voit sa performance augmenter d’environ 50%.

Le principal avantage d’une équipe est de pouvoir collecter une plus grande quantité et variété d’informations. Les dynamiques à l’intérieur de l’équipe sont parfois complexes. Si les membres n’ont pas d’affinités ou de culture commune, le tout risque d’être inférieur à la somme des parties.

Une caractéristique commune des super-équipes est la proportion élevée de « partageurs ». Ces personnes donnent plus qu’elles ne reçoivent. L’idée est de modifier le comportement des autres par l’exemple, ce qui bénéficie à tous ultimement. Néanmoins, il ne faut conclure de façon hâtive. Certaines équipes ont eu des scores élevés même avec une faible coopération.

Il est aussi possible que la diversité des équipes soit la cause de leur surperformance. Même si cela n’était pas voulu, les super-équipes sont diverses car composées d’individus dotés d’une façon de penser originale. Aussi, avec une équipe diverse, il y a plus de chance que quelqu’un apporte une information qui fasse pencher la balance de façon décisive.

Dilemme du leadeur

Les études montrent que les leadeurs ont trois qualités : confiant, décisif et avec une vision. Cela ne semble pas bien s’accorder avec des super-prévisionnistes incertains, prêts à changer d’avis et sans opinion tranchée.

Ce paradoxe a été résolu par Moltke et la Wehrmacht : indiquer l’objectif et le pourquoi, mais pas le comment afin de laisser l’initiative aux officiers sur le terrain.

Critiques

Kahneman a pointé un possible problème pour ce qui concerne l’expérience. La prévision dépend de façon considérable de l’horizon de temps. Mais il est possible que les prévisionnistes évaluent les probabilités sans tenir compte de l’horizon de temps.

C’est effectivement ce qui s’est passé avec les prévisionnistes mais pas avec les super-prévisionnistes. Ceux-ci intègrent en effet de telles considérations.

Une critique plus dévastatrice vient de Nassim Taleb, l’auteur du « Cygne noir ». Selon lui, l’histoire et les sociétés sont le résultat d’événements à la fois imprévisibles et d’une grande ampleur. Ainsi, ce qui compte ne peut être prédit, et ce qui peut être prédit ne compte pas.

Cependant, s’il n’est pas possible de prévoir l’imprévisible, il est possible de faire de meilleures prédictions sur des risques connus. De plus, les cygnes noirs comme la Révolution Française prennent un certain temps avant de produire leurs effets. Pour cette raison, les super-prévisionnistes sont utiles pour évaluer les conséquences.

L’horizon de prédiction des super-prévisionnistes a tout de même ses limites : il ne va pas au-delà de 5 ans.

Dix commandements

1. Attaquez-vous à des problèmes ni trop faciles ni trop difficiles ;
2. Décomposez le problème en sous-problèmes ;
3. Partez de cas comparables et ensuite ajustez selon les particularités ;
4. Efforcez-vous de ne pas réagir trop ou trop peu ;
5. Faîtes la synthèse de vues contradictoires ;
6. Soyez le plus granulaire possible dans votre prédiction ;
7. Trouvez le bon équilibre entre excès et manque de prudence ;
8. Analysez vos erreurs pour en tirer des leçons ;
9. Aidez les autres à améliorer leurs prédictions et réciproquement ;
10. Pratiquez-vous.
11. Ne considérez pas ces commandements comme absolus, improvisez quand il le faut !