Le livre de Michael Mauboussin met en évidence le rôle sous-estimé de la chance dans la réussite.

Dans cet ouvrage, l’auteur propose des outils pour quantifier la part de chance et de talent dans des activités aussi variées que les échecs, les sports, les affaires et l’investissement.

Points clés à retenir

1. Mise en contexte

Daniel Kahneman, professeur de psychologie à Princeton, a décrit comment les gens faisaient des prédictions. En bref, ils évaluent mentalement la correspondance entre un événement et une histoire. Le problème avec cette façon de faire est que l’histoire peut être fausse et qu’ils ne se basent pas sur ce qui a déjà pu se produire dans des circonstances similaires.

Selon Kahneman, trois types d’information sont pertinentes pour la prédiction statistique :

• Le taux de base : par exemple 85% des taxis de cette ville sont verts. Si vous n’avez pas d’autre information spécifique pertinente, c’est le taux à utiliser.
• De l’information spécifique à une instance, un individu, un cas.
• La précision attendue de la prévision sachant l’information disponible.

L’art de la prédiction statistique est de pondérer adéquatement l’information de base et l’information spécifique. Cela est particulièrement important pour distinguer la compétence de la chance.

Lorsqu’un phénomène est totalement dû à la chance, comme de gagner à la loterie, on devrait se fier uniquement à l’information de base (la chance de gagner au loto). En revanche, lorsqu’un phénomène est dû uniquement à la compétence, comme le jeu d’échec, on devrait se fier seulement à l’information spécifique (chance que l’individu en question gagne selon sa performance passée).

2. Compétence, chance et trois leçons simples

Lorsqu’il est raisonnable de penser qu’un autre événement aurait pu se produire que celui qui s’est produit, alors la chance est de la partie.

La chance n’est pas tout à fait la même chose que le hasard. En effet, le hasard concerne un système tandis que la chance s’applique à une instance, un individu ou un cas.

Certaines activités laissent peu de place à la chance et impliquent presque exclusivement de l’aptitude : la course de fond, les échecs ou le violon. La situation est inverse pour des activités telles que le poker et l’investissement. Dans ces deux derniers cas, la compétence est l’acquisition d’un « bon » processus de décision.

Qu’est-ce qui différencie les activités où la chance joue un rôle négligeable et celles où elle joue un rôle important ?

Dans les activités où la chance joue un rôle mineur, un bon mode opératoire conduit presque systématiquement à un bon résultat. Dans les activités où la chance est prépondérante, un bon mode opératoire aura aussi un bon résultat, mais seulement après une longue période.

Voici un autre bon test pour différencier les deux situations. Demandez-vous : est-ce que je peux perdre intentionnellement ? Cela est facile aux échecs, mais impossible à la roulette.

Naturellement, il existe en fait un continuum d’activités qu’on peut classer selon le degré plus ou moins important qu’y joue la chance. Si la chance joue un rôle important, alors la taille de l’échantillon de résultats sera critique pour juger la compétence (ou non). En effet, à tailles d’échantillon égales, l’estimation de la moyenne est plus précise pour une variabilité des observations faible (chronos d’un sprinteur par exemple) que pour une variabilité des observations élevée (performance d’un gestionnaire de portefeuille).

Il peut sembler naturel de rechercher les exemples de succès chez les entreprises pour s’en inspirer. D’ailleurs, des millions de livres sur ce sujet se vendent chaque année. Pourtant, les études montrent que plus des trois quarts des entreprises considérées comme supérieures le doivent à la chance.

Dès que la chance a une influence sur le résultat d’une activité, alors un résultat exceptionnel aura tendance à être suivi par un résultat moins exceptionnel. Ce phénomène est connu sous le nom de retour à la moyenne. L’élément important ici est que la rapidité du retour à la moyenne est fonction de la position dans le continuum chance/talent.

Par exemple, au tennis, les cinq meilleurs joueurs mondiaux restent souvent les mêmes d’une année à l’autre. En revanche, au baseball, où la chance joue un plus grand rôle, seule une équipe, les New York Yankees, a fait partie du top 4 en 2009, 2010 et 2011.

3. Pourquoi sommes-nous si mal équipés pour distinguer le talent de la chance ?

Nous avons tendance à croire que parce que B se produit après A, que B est causé par A. Il s’agit de l’illusion post hoc, ergo propter hoc, c’est-à-dire après cela, donc à cause de cela. C’est ce type de biais qui explique les superstitions. Si par exemple, vous avez eu du succès un jour donné, vous serez peut-être incité à porter la même chemise ou la même cravate que ce jour-là.

Un autre biais consiste à penser que les événements sont plus inéluctables qu’ils ne le sont réellement. Étant donnée le dénouement d’une histoire, nous allons probablement reconstituer un enchaînement inéluctable de causes et d’effets qui produit le résultat final. Ainsi, le rôle de la chance est sous-estimé. Des fins alternatives auraient pu se produire, mais ne sont pas considérées.

Dans Good to Great de Jim Collins, onze compagnies exceptionnelles sont analysées afin d’en tirer des conclusions sur les stratégies managériales gagnantes. Le problème avec une telle approche est qu’elle ne répond pas à la bonne question : combien ont réussi parmi les entreprises qui ont essayé ces stratégies ? Peut-être que les onze entreprises sont une infime minorité. Là encore, nous avons tendance à relier des effets (la réussite) à des causes (certaines stratégies) sans tenir compte du rôle de la chance.

En conclusion, d’un point de vue statistique, il semble bien plus pertinent d’étudier une stratégie et de voir si elle a réellement contribué au succès que d’étudier le succès et voir quelles stratégies ont fonctionné.

En plus de la sous-estimation du rôle de la chance, la relation de cause à effet est difficile à déterminer. En particulier, la façon de mesurer ces relations de cause à effet influence les conclusions. Ainsi, une étude du professeur Ionnadis a établi qu’en médecine près de 80% des études observationnelles débouchaient sur des conclusions erronées ou très exagérées tandis que les études cliniques randomisées aboutissaient à des résultats vrais dans trois quarts des cas.

En fait, les études observationnelles souffrent de deux défauts majeurs. D’abord, il y a le biais du chercheur qui est plus ou moins consciemment incité à donner la « bonne réponse ». Ensuite, il y a l’excès de tests. Plus on effectue de tests, plus il y a de chance qu’on trouve un lien de cause à effet fictif.

4. Le continuum talent-chance

Lorsque le talent prédomine, un petit échantillon est suffisant pour le confirmer. Lorsque la chance est la composante principale, un grand échantillon est nécessaire pour le valider.

Lorsque la proportion relative talent vs chance est inconnue, la taille adéquate de l’échantillon peut être difficile à établir. Deux erreurs (au moins) peuvent être commises. La première est de penser que les observations à notre disposition sont représentatives. Peut-être qu’avec un échantillon plus grand, nous observerions des cas très différents. La seconde erreur est de penser que les résultats vont s’équilibrer comme dans la nature. Par exemple, une série de jours de pluie est plus probablement suivi par du beau temps. Cependant, c’est faux lorsque les observations sont indépendantes l’une de l’autre, comme au jeu du pile ou face. Vous pourriez avoir 100 faces de suite, ça ne changerait rien au fait qu’au 101^ème lancer, il y a 50% de chance de tirer pile et 50% de tirer face.

Au basketball, chacune des deux équipes a possession de la balle 65 fois en moyenne durant le match. Notez que chaque possession de balle est l’occasion de transformer le score. Dans le jeu de crosse, chaque équipe a possession de la balle 33 fois seulement. Nous pourrions donc dire que puisque l’échantillon obtenu à l’issue d’un match de basket est plus grand que celui obtenu à l’issue d’un match de crosse, la chance joue un rôle moins important au basket qu’au jeu de crosse. Remarquez de plus que la durée du jeu n’a pas vraiment d’influence sur la position dans le continuum talent-chance.

Il existe ce qu’on appelle un paradoxe du talent qui n’est pas sans rappeler la course aux armements. Une entreprise peut améliorer ses opérations mais ne se distinguera pas d’un concurrent qui l’imite. Pour cette raison, paradoxalement, des accidents de parcours peuvent complètement rebattre les cartes entre les deux concurrents. La chance joue alors à nouveau un rôle de premier plan. C’est également ce qui se passe lorsque les investisseurs utilisent les mêmes stratégies. La chance départage les gagnants et les perdants. Une autre illustration de ce phénomène est le faible écart des meilleures performances sportives à la course à pied. Cela contribue à rendre plus aléatoire le résultat des courses.

Au baseball, certains batteurs de légende ont connu des séries gagnantes très longues (56 pour Joe DiMaggio). De telles séries sont le résultat combiné d’un talent exceptionnel avec de la chance.

La position sur le continuum talent-chance affecte la rapidité du retour à la moyenne. Ainsi, pour une activité où seule le talent entre en ligne de compte, la performance sera toujours la même. Pour une activité où seule la chance joue un rôle, un résultat élevé sera suivi en moyenne d’un résultat… moyen donc plus faible que le résultat précédent. De même, un résultat faible sera suivi en moyenne d’un résultat moyen donc plus élevé que le résultat précédent.

5. Placer des activités sur le continuum talent-chance

Trois questions aident à placer approximativement une activité sur le continuum talent-chance :

• Est-il facile d’associer une cause à un effet observé ? Dans un tel cas de figure, l’activité a tendance à être stable (la structure de l’activité ne change pas) et linéaire (même réaction pour une même action) et donc se situera plutôt dans la partie talent du continuum.
• Quel est la rapidité du retour à la moyenne ? Un retour à la moyenne lent est caractéristique des activités où le talent prédomine.
• Pouvons-nous faire de bonnes prédictions ? En ingénierie, dans certaines branches de la médecine, dans les compétitions d’échecs, les prédictions des experts sont dignes de confiance, mais c’est beaucoup moins le cas dans les sciences sociales.

Une autre approche consiste à considérer les deux cas extrêmes : pure chance et pur talent et à la combiner les distributions « pure chance » et « pur talent » selon la bonne pondération pour approcher la distribution observée. Par exemple, une analyse des résultats du football américain semblerait donner une pondération 52% talent, 48% chance. Compte-tenu de ce qui précède, la modélisation statistique donnerait 75% de fiabilité aux prédictions. Cela semble confirmé par les performances des meilleurs parieurs sportifs.

Enfin, une troisième méthode repose sur l’analyse des variances. Contrairement à la précédente méthode, on n’a pas besoin de connaître la forme des distributions de probabilité de la chance et du talent.

Variance (talent) = Variance (observations) – Variance (chance)

Par exemple, dans la saison 2010-2011 de la NBA, la meilleure équipe, celle des Chigago Bulls a remporté 75% de ses matchs tandis que la plus mauvaise équipe celle du Minnesota a remporté 21% de ses matchs. L’écart-type du taux de matchs gagnés par les 30 équipes participantes au cours de 82 matchs s’élève à 0,16 ce qui correspond à la Variance (observations) = 0,16² = 0,026. Le point important est que toutes ces équipes aient joué le même nombre de matchs (82 ici). D’autre part, il est facile d’évaluer Variance (chance) puisqu’il s’agit de simuler 82 matchs où chaque équipe a 50% de chance de gagner et de perdre. D’où Variance (chance) = 0,055² = 0,003. D’où Variance (talent) = 0,026 – 0,003 = 0,023. Ici la contribution de la chance n’est que de 0,003/0,026 soit environ 12%, ce qui est très faible.

6. La longévité du talent

Qu’il s’agisse de sport, d’affaires ou de capacités cognitives, prendre de l’âge réduit les performances. Au baseball, les meilleurs batteurs ont besoin d’une acuité visuelle hors norme et d’une réactivité explosive. Avec l’âge, l’acuité visuelle se détériore ainsi que les fibres musculaires spécialisées dans les efforts courts et intenses.

L’âge de la performance optimale dépend du sport mais est concentrée dans la vingtaine. Hormis des domaines très spécialisés avec des règles rigides et qui demandent une pratique délibérée (échecs, dames etc.), il en est de même pour les facultés utiles à la prise de décision :

• Intelligence fluide, c’est-à-dire la capacité à résoudre des problèmes jamais vus auparavant. Le pic est à 20 ans et les performances diminuent d’1% chaque année.
• Intelligence cristallisée, c’est-à-dire la capacité à utiliser la connaissance accumulée pour résoudre des problèmes. Ce type d’intelligence croît avec l’âge et compense dans une certaine mesure la perte d’intelligence fluide.

Le vieillissement ne touche pas seulement les individus mais les organisations aussi. Des études montrent que les performances des entreprises déclinent avec le temps. Une explication possible est que la prise de risque n’est pas ce que préfèrent les entreprises bien établies. Au contraire, elles auront tendance à privilégier les opportunités connues en améliorant des processus existants.

7. Toute les nuances de la chance

Jusqu’ici, nous avons implicitement supposé que les résultats successifs étaient indépendants. Cependant, il est aussi possible qu’il existe une mémoire dans les performances. Par exemple, un joueur peut être en feu ou malade, ce qui affecte sa performance. Des simulations ont montré que les résultats sportifs étaient essentiellement indépendants les uns des autres, mais qu’il existait tout de même une (légère) dépendance entre des résultats successifs.

Lorsqu’on observe le succès ou l’échec de chansons ou de séries télévisées, la chance semble avoir un rôle majeur mais d’une façon indirecte. A un même niveau de qualité, si une chanson est légèrement plus populaire qu’une autre, son avantage va aller en s’accentuant à mesure que les gens vont s’influencer les uns les autres. Au bout du compte, à qualités égales, l’une des chansons fera beaucoup plus de ventes que l’autre.

En fait, il existe tout un ensemble de phénomènes sociaux qui ont cette caractéristique : peu de gagnants qui accaparent l’essentiel du succès. Une poignée de livres se vendent par millions, tandis que des millions de livres font moins de 100 ventes. La loi statistique derrière ces phénomènes est appelée « loi puissance ».

Le mécanisme est intimement relié à la dépendance qui existe entre un résultat et le suivant. Par exemple, le biais d’attachement préférentiel va vous conduire à utiliser des plateformes qui sont bien connues (indépendamment de leur qualité), ce qui augmente leur succès. Par ailleurs, si un seuil critique est dépassé pour une nouvelle technologie, ou une nouvelle mode, ou une épidémie, le « succès » est pratiquement assuré.

Dans le passé, les revenus de célébrités au talent équivalent auraient été assez similaire. De nos jours, grâce à la technologie, le public va préférer acheter l’enregistrement de celui qui est perçu comme marginalement meilleur. Il en résulte une concentration massive des revenus dans un petit groupe d’artistes.

Non seulement, la chance explique l’inégalité des revenus, mais même notre perception du talent est elle-même imprévisible principalement à cause des dynamiques sociales sur ce qui est valorisé ou non. C’est une chose de comparer les temps de coureurs (une seule dimension), mais c’en est une autre d’évaluer la meilleure université (multiples dimensions). Dans ce dernier cas de figure, d’ailleurs, certaines des métriques utilisées comme la réputation de l’université sont elles-mêmes très subjectives.

8. Caractéristiques d’une statistique utile

Une statistique utile pour discriminer entre le talent et la chance doit avoir ces caractéristiques :

• Elle doit être persistante. Ses résultats doivent être cohérents sur différentes périodes.
• Elle doit être prédictive. Les résultats de la statistique doivent être indicatifs de la performance.

Ces deux critères sont mesurés au travers du coefficient de corrélation. Par exemple, supposons qu’une équipe de baseball fait un écart-type plus de points que la moyenne, et gagne 0,75 écart-type de plus que la moyenne. Ici, le coefficient de corrélation est 0,75 (toutes les valeurs entre -1 et 1 sont possibles).

Au baseball, par exemple, le taux de « strike-out » (balle renvoyée) entre deux années successives d’un batteur a une plus forte corrélation que le « batting average » (balle touchée). Cela en fait donc une meilleure statistique pour mesurer la performance puisque plus persistante.

Le principal intérêt d’utiliser une statistique plus persistante et prédictive est que cela réduit, parfois massivement, la taille de l’échantillon nécessaire pour la calculer.

Les décideurs, qu’ils évoluent dans le domaine sportif ou dans les affaires, ont tendance à se concentrer sur certaines heuristiques pour sélectionner des joueurs ou des stratégies. Ces règles du pouce fonctionnent mais elles aveuglent les décideurs sur les vraies causes du succès qui peuvent être mises au jour par l’analyse statistique.

Dans le monde des affaires, la croissance du profit par action ou « Earnings Per Share » (EPS), est souvent utilisée pour mesurer le succès d’une entreprise. Cependant, cette relation ne va pas de soi puisque le profit par action peut augmenter alors même que la valeur pour l’actionnaire est détruite. En fait, il existe peu de corrélation d’une période à l’autre sur la croissance du profit par action, et en tout cas moins que la croissance du chiffre d’affaires. D’un autre côté, la croissance du chiffre d’affaires a un pouvoir prédictif plus faible que la croissance du profit par action sur la valeur totale pour l’actionnaire…

9. Favoriser le talent

Pour les activités où l’environnement est stable et le lien entre cause et effet est direct et rapide, la pratique délibérée contribue à améliorer les compétences. A contrario, pour des activités où l’environnement est changeant et où la rétroaction est moins claire, la meilleure approche est de se concentrer sur le processus de décision.

Le principal problème survient lorsque l’intuition qui s’applique bien dans le premier cas de figure est utilisée pour les situations où la chance est prépondérante. C’est ce qui se passe souvent pour l’investissement.

Une pratique délibérée réussie implique de mettre sur pied un programme construit pour accroître la performance. Un bon programme vous sortira suffisamment de votre zone de confort pour que vous progressiez mais pas trop pour ne pas vous décourager.

Les listes de contrôles sont pertinentes dans les activités où la chance intervient peu pour s’assurer de ne rien oublier et de respecter l’ordre des opérations. Elles le sont également lorsque la chance est partie intégrante de l’activité. Il s’agit alors de respecter un processus qui garantit de bons résultats sur le long terme.

10. Gérer la chance

Lors d’une confrontation militaire avec un adversaire plus fort, il est de l’intérêt du plus faible de compliquer le théâtre de guerre afin d’accroître le rôle de la chance. Cela peut être fait, par exemple, en multipliant les engagements ou en devenant imprévisible.

L’histoire des guerres asymétriques de ces deux derniers siècles démontrent qu’un belligérant beaucoup plus faible qu’un autre a 38% de chances de l’emporter. Les bonnes pratiques consistent à éviter l’engagement lorsque la défaite est certaine et à changer régulièrement de stratégie. Le taux de réussite s’améliore avec le temps car les guérillas apprennent les unes des autres.

Un concept similaire existe dans les affaires. Dans les années 1970, Toyota et Honda ont commencé à produire des voitures petites et peu dispendieuses, un segment délaissé par les grands constructeurs américains. Après avoir améliorer leurs produits et être monté en gamme, Toyota et Honda ont progressivement augmenté leurs parts de marché.

La théorie de la disruption établit que :

• Une entreprise bien établie qui améliore un produit a tendance à réussir
• Une nouvelle entreprise qui améliore un produit existant a tendance à échouer
• Une entreprise bien établie qui crée un nouveau produit dans le cadre organisationnel habituel a tendance à échouer
• Une entreprise bien établie qui crée un nouveau produit dans un cadre autonome a tendance à réussir

Lorsque la chance intervient dans un résultat, il est difficile de démêler cause et effet. Dans cette configuration, les essais randomisés avec un groupe de contrôle sont utiles car ils permettent de vérifier des hypothèses sur la chaîne de causalité.

12. Retour à la moyenne

Karl Pearson, le statisticien, a comparé la taille des pères avec celle des fils. Il a trouvé un coefficient de corrélation de 0,5 ce qui reflète le fait que la taille est pour partie une caractéristique héréditaire. Plus intéressant, Karl Pearson observa que les fils dont le père était de grande taille avaient une taille plus proche de la moyenne (10 cm de plus que la moyenne) que leurs pères (20 cm de plus que la moyenne).

Le phénomène précédent illustre le concept de retour à la moyenne. Ce concept est difficile à saisir pour plusieurs raisons. Lorsqu’une performance diminue, nous avons tendance à rechercher une explication. En réalité, la performance précédente a probablement eu un coup de pouce de la chance.

Une autre idée fausse consiste à interpréter le retour à la moyenne comme une réduction de variance (dispersion) des résultats. Par exemple dans l’exemple de la taille des pères et des fils, les données démontrent que la distribution des tailles est assez semblable entre les pères dans leur ensemble et les fils dans leur ensemble.

En fait, le phénomène de retour à la moyenne se manifestera dès que la corrélation d’une année sur l’autre pour une mesure de performance n’est pas parfaite (=1 ou -1). Lorsque la corrélation est très faible, la meilleure prédiction du prochain résultat sera le taux de base. Lorsque la corrélation est très élevée, la meilleure prédiction du prochain résultat sera le résultat précédent. Entre ces deux situations, il s’agit de pondérer correctement le taux de base et le résultat précédent.

La formule est celle-ci :

Z = Ῡ + c.(Y – Ῡ)

Où Z est la prédiction du résultat, Ῡ est le taux de base, Y le résultat précédent, et c un facteur correctif.

Le paramètre c peut valoir de 0 (chance pure) à 1 (talent pur). Le meilleur estimateur est obtenu pour c = r où r est le coefficient de corrélation. Mais attention, le coefficient de corrélation est rarement stable dans le temps. Il y a donc une incertitude sur la bonne valeur à utiliser, si toutefois celle-ci existe vraiment.

La méthode ci-dessus suppose également qu’il existe un taux de base. Or dans le cas des lois de puissance (comme la répartition des revenus), une telle moyenne n’a pas vraiment de sens.

13. L’art de l’estimation

Voici dix suggestions pour améliorer les prédictions :

1. Trouvez où vous vous situez sur le continuum talent-chance.
2. Évaluez la taille de l’échantillon, la significativité statistique et le potentiel pour des cygnes noirs (événements imprévisibles avec des effets disproportionnés).
3. Toujours considérez l’hypothèse nulle (commencez par le modèle le plus simple que vous puissiez imaginer).
4. Considérez la qualité des boucles de rétroactions et évaluez si les incitations rétribuent la chance ou le talent.
5. Efforcez-vous à imaginer des scénarios alternatifs (univers parallèles possibles).  
6. Développez des béquilles pour améliorer vos résultats :
   • La chance prédomine : utilisez un bon processus, comprenez la psychologie, mettez en place des garde-fous institutionnels.
   • Mix chance et talent : utilisez des listes de contrôle.
   • Le talent prédomine : pratiquez intensivement si possible avec l’aide d’un coach.
7. Ayez un plan pour les interactions stratégiques (simplifiez le jeu si vous êtes fort, complexifiez-le sinon).
8. Utilisez le retour à la moyenne à votre avantage (pour faire de bonnes prédictions).
9. Développez des statistiques pertinentes (persistantes et prédictives).
10. Connaissez vos limites (les règles du jeu peuvent changer).   

The post ⭐⭐⭐⭐Livre « The Success Equation » de Michael Mauboussin first appeared on Economie rebelle.

L’article ⭐⭐⭐⭐Livre « The Success Equation » de Michael Mauboussin est apparu en premier sur Economie rebelle.

Le livre « Superforecasting » de Philip E. Tetlock et Dan Gardner est un plaidoyer pour des prévisions s’appuyant sur la méthode scientifique.

L’auteur tire les conclusions de deux expériences qu’il a conduites pour déterminer les facteurs et les pratiques qui favorisent de meilleures prédictions.

Points clés à retenir

Optimiste sceptique

Tetlock a réalisé entre 1984 et 2004 l’étude la plus poussée sur les prédictions d’expert. Une des conclusions de cette étude est qu’en moyenne, les experts ne font pas mieux que des prédictions au hasard. Néanmoins, parmi le groupe des experts, Tetlock a pu identifier un sous-groupe qui surperformait systématiquement. Les personnes de ce groupe ont en commun d’être ouvertes d’esprit, méticuleuses, curieuses et surtout auto-critiques. Ces conclusions ont été renforcées dans une étude s’étalant de 2011 à 2015 où plusieurs groupes s’affrontaient pour prédire des événements géopolitiques à un horizon de 1 mois à 12 mois. Les groupes incluaient d’autres universités et des experts ayant accès à de l’information classée secret-défense.

Le groupe de Tetlock était constitué de personnes de tous horizons avec les qualités mentionnées précédemment. Son équipe a surclassé de très loin toutes les autres.

Il est donc possible d’améliorer la qualité des prévisions même s’il existe une limite à ce qui peut être fait. Par exemple, si nous sommes capables de prédire les éclipses et les marées, il est beaucoup plus difficile de prédire la météo au-delà de quelques jours. Un des outils les plus importants pour améliorer la situation est de mesurer systématiquement la qualité des prédictions. C’est ce qui s’est passé en Médecine lorsque l’efficacité des traitements a été évaluée d’une manière systématique.

L’illusion de la connaissance

La médecine n’est pas une science. C’est seulement depuis le 20^ème siècle et la généralisation des essais contrôlés randomisés que l’effet des traitements fait l’objet d’une analyse rigoureuse. Auparavant, l’intuition des médecins n’était pas remise en question en dépit des dommages considérables et non nécessaires causés par ces derniers.

Plutôt que de sauter aux conclusions, le véritable scientifique se pose la question : « Qu’est-ce qui me convaincrait que j’ai tort ? »

Pour autant, l’intuition peut nous mettre sur la bonne voie. En effet, après beaucoup de pratique un pompier est capable de reconnaître des situations dangereuses et d’agir en conséquence. Mais cela dépend du domaine. Par exemple, une intuition sur l’évolution d’une action boursière a peu de chance d’être confortée par la réalité.

Le meilleur équilibre consiste à combiner l’intuition et la réflexion comme le fait le champion d’échec Magnus Carlsen. En dix secondes, il sait ce qu’il compte faire. Mais il utilise le reste du temps pour vérifier et revérifier.

Noter les progrès

Les prévisionnistes d’aujourd’hui ressemblent aux médecins du passé, intelligents et bien intentionnés. Mais cela ne suffit pas.

Il y a plusieurs problèmes. D’abord, les prévisions sont souvent faites sans horizon de temps. Ensuite, les termes utilisés sont vagues : significatif, majeur, faible. Pour ces raisons, les prévisions sont difficiles à tester.

Bien entendu, des prédictions vagues permettent de sauver les apparences a posteriori. Il est donc nécessaire de quantifier la probabilité que la prédiction se réalise.

La bonne façon d’évaluer des prévisions est d’en faire un grand nombre et de comparer la probabilité prédite avec la fréquence réalisée. Par exemple, si un bon prévisionniste effectue une centaine de prévisions toutes estimées à 80% de probabilité de se produire, nous devrions avoir environ 80 prédictions effectivement réalisées. On parle de juste calibration : le prévisionniste ne surestime pas et ne sous-estime pas les probabilités.

Néanmoins, la calibration n’est pas tout. Un prévisionniste conservateur pourrait faire des prédictions systématiquement entre 40% et 60%. Cependant, ce prévisionniste aurait moins de mérite que celui qui ferait des prévisions bien calibrées mais systématiquement entre 90% et 100% d’une part et entre 0% et 10% d’autre part. On parle dans ce cas de résolution.

Enfin, certaines prédictions sont plus faciles que d’autres et il faut en tenir compte lorsqu’on compare deux prévisionnistes. Par exemple, prévoir le temps à Paris est bien plus difficile que de le prévoir à Mexico, puisqu’il fait presque toujours beau à Mexico.

C’est surtout la manière de penser qui permet d’obtenir de meilleures prédictions que le hasard, ou que des algorithmes simples comme « prédire aucun changement », « prédire selon le taux de changement récent ».

Lors l’expérience de « Jugements Politiques Experts » entre 1984 et 2004, il est clairement apparu que les participants sous influence idéologique étaient incapables de réviser leurs jugements même à la suite d’échecs répétés.

A l’inverse, un autre groupe plus pragmatique utilisait davantage d’outils d’analyse, plus de sources d’information et était plus nuancé dans ses évaluations. De plus, ces experts reconnaissaient plus facilement lorsqu’ils avaient tort.

Il existe d’ailleurs une corrélation inverse entre la qualité des prédictions et la célébrité du prévisionniste. Le public ne recherche pas sciemment de mauvais prévisionnistes, mais s’attachent à ceux qui ont une idée fixe. En effet, les gens préfèrent les histoires simples et claires, racontées par des gens sûrs d’eux.

Super prévisionnistes

Le projet IARPA est né dans la foulée de l’échec du renseignement américain qu’a constitué le rapport sur « les armes de destructions massives de l’Irak ». Sa raison d’être est de déterminer scientifiquement les déterminants d’un bon jugement.

Actuellement, les analystes de la CIA et de la douzaine d’autres agences de renseignement suivent un protocole précis. Ils doivent notamment rechercher des hypothèses alternatives, des preuves allant à l’encontre de leur thèse etc. Mais il n’y a aucune imputabilité au niveau du résultat de la prédiction. C’est un peu comme si un médecin se lavait les mains, examinait son patient et considérait ses symptômes, puis préconisait un traitement sans vérifier s’il fonctionne effectivement.

Dans le cadre du projet IARPA, Tetlock a monté de toutes pièces une équipe d’amateurs recruté via des blogs et sélectionné ceux qui réussissaient certains tests psychométriques. La formule gagnante a consisté à identifier les 40 meilleurs prévisionnistes et effectuer des prédictions qui surpondèrent ceux-ci par rapport au groupe. De plus, les probabilités étaient extrémisées. Ainsi, une prédiction de 70% était rehaussée à 85% par exemple.

La procédure se justifie car chaque personne détient seulement une partie de l’information nécessaire. Si chaque personne avait accès à toute l’information, l’évaluation de chaque individu et donc du groupe deviendrait plus certaine.

Le sous-groupe des 58 meilleurs prévisionnistes avait le même score à un horizon de 300 jours que le groupe moyen à un horizon de seulement 100 jours. De plus, une fois regroupés ensemble à l’issu de la première année, les super prévisionnistes ont amélioré leur score jusqu’à atteindre 60% de plus que les autres, et 30% mieux que les analystes des services de renseignement.

Ces résultats n’ont rien à voir avec la chance. S’ils étaient causés par la chance, la seconde année les résultats des super-prévisionnistes auraient dû se dégrader et c’est le contraire qui s’est produit ! Plus précisément, 70% des super-prévisionnistes d’une année le sont restés l’année suivante. Il y a moins d’une chance sur 100 millions que cela soit dû au hasard.

Super-intelligents

Les prévisionnistes du projet IARPA ne sont pas représentatifs de la population. Leur intelligence et culture générale mesurées par des tests est supérieure à celle de 70% de la population (80% pour les super-prévisionnistes). D’un autre côté, leurs résultats ne sont pas exceptionnels. Il semblerait que ce qui compte est comment ils utilisent leur intelligence et leur savoir.

Les problèmes de Fermi sont une bonne façon de formuler une prévision. Un problème typique de Fermi serait : « combien y a-t-il d’accordeurs de piano à Chicago ?». La façon d’approcher ce problème en l’absence d’informations précises consiste à décomposer le problème et faire des estimations raisonnables. La première étape consiste à identifier tout ce qu’il faut pour arriver à la solution :

• Nombre de pianos à Chicago ?
• A quelle fréquence un piano est-il accordé ?
• Combien de temps faut-il pour accorder un piano ?
• Combien d’heures par année un accordeur travaille-t-il ?

Une autre approche fructueuse consiste à ignorer les particularismes de la situation et essayer d’évaluer en toute généralité une probabilité. Les particularités de la situation, si elles sont pertinentes, pourraient ensuite être utilisées pour ajuster marginalement la première estimation.

Une fois un estimé produit, le travail ne s’arrête pas là. On peut développer, à la manière de George Soros, une habitude mentale qui consiste à sortir de sa personne afin de juger de son propre raisonnement et proposer une nouvelle perspective. Mieux encore, reformulez la question. Si la question est à la forme positive, essayez la forme négative.

Superquants

Les super-prévisionnistes ont tendance à être à l’aise avec les chiffres. Comme les scientifiques, ils pensent en termes de probabilités plutôt qu’en termes binaires.

En fait, il existe différents types d’incertitudes. Il y a l’incertitude épistémologique, c’est-à-dire l’incertitude « connaissable » et l’incertitude aléatoire. Dans le premier cas, il est possible de réduire l’incertitude en la décortiquant de la même manière qu’un ingénieur comprendrait le fonctionnement d’une machine en la démontant. Dans le second cas, il s’agira par exemple de déterminer la météo à Paris dans un an. Quoi qu’on fasse, il sera impossible d’améliorer la prédiction.

Une des conclusions de l’étude était que les super-prévisionnistes ont tendance à être plus granulaires et à utiliser tout le spectre des probabilités alors que les plus mauvais prévisionnistes utilisent certaines valeurs, par exemple 50%, de façon prépondérante.

Les super-prévisionnistes ont également une vision du monde à l’opposé du fatalisme et d’une quelconque croyance au destin. Pour eux, le cours des événements aurait pu être tout autre.

Super-lecteurs de journaux

Même si leur prédiction initiale est 50% plus précise que celle du groupe, les super-prévisionnistes mettent régulièrement à jour leur estimation. Pour ce faire, ils s’informent régulièrement des nouveaux développements sur les sujets qui les intéressent. En particulier, ils utilisent Google Alert.

Le principal problème d’une mise à jour est qu’il peut y avoir une surréaction à la nouvelle, ou à l’inverse une réaction trop modérée.

Par exemple, il peut arriver qu’à la place de la question, on en substitut une autre plus facile à répondre. « Untel fera-t-il telle chose ? » peut devenir « Si j’étais à la place d’Untel, est-ce que je ferai telle chose ? ». Pour cette raison, une nouvelle qui change la donne pourrait être considérée comme non pertinente.

Un autre biais psychologique peut affecter les prévisions. Lorsque l’investissement affectif dans une prédiction devient important, par exemple parce qu’il s’agit d’un domaine d’expertise, il peut être difficile de revoir radicalement son jugement. C’est encore plus vrai si la prédiction est faite publiquement.

Des expériences ont montré que des informations sans rapport avec la question étudiée pouvaient influencer notre perception. Certaines informations devraient être ignorées mais elles ne le sont pas, entraînant une surréaction. C’est exactement ce qui se passe sur les marchés actions où les investisseurs transigent beaucoup plus qu’ils ne le devraient.

Les super-prévisionnistes approchent ce problème en faisant des mises à jour fréquentes mais incrémentales.

Ils sont également une compréhension intuitive du théorème de Bayes. Ce théorème explicite comment modifier les probabilités d’un événement à partir de nouvelles données.

Voici une illustration. En 2013, l’administration Obama a nominé Chuck Hagel au poste de ministre de la Défense. Hagel faisait l’objet de certaines controverses et il fut invité à une audience au Sénat qui ne se passa pas bien du tout. Il fallait estimer la probabilité que Hagel soit maintenu à son poste sachant ce nouvel événement.

A priori, sur les 24 ministres de la défense depuis la seconde Guerre Mondiale, un seul avait été refusé par le sénat. Hagel aurait donc a priori 96% de chance d’être maintenu si l’on ne tenait pas compte de sa piètre performance. Le théorème de Bayes a besoin de deux informations pour la mise à jour de cette probabilité:

• Quelle est la probabilité d’une audition ratée sachant que la nomination est refusée ?
• Quelle est la probabilité d’une audition ratée sachant que la nomination est acceptée ?

Il est difficile de répondre, mais 1/5 et 1/20 respectivement semblent raisonnables. Le théorème de Bayes donne alors une probabilité mise à jour de 83%.

Beta perpétuel

Les super-prévisionnistes ont également en commun d’être adepte de la théorie de l’apprentissage incrémental (la connaissance est liée à l’effort pour l’obtenir). En effet, lorsqu’ils se trompent, ils essaient de comprendre pourquoi et sont toujours à l’affût d’informations qui pourraient augmenter leurs connaissances.

Ils opèrent un peu à la manière de Keynes qui était célèbre pour réviser parfois de façon radicale ses jugements.

Deux obstacles existent pour que la boucle de rétroaction fonctionne pour les prévisionnistes. D’une part, lorsque le langage est imprécis, une prédiction peut être comprise de multiples façons. D’autre part, à cause du délai entre la prédiction et l’événement prédit, le prévisionniste peut avoir un biais rétrospectif. Cela signifie qu’il pourrait ne pas se rappeler de sa prédiction et penser qu’elle serait davantage en phase avec les événements ayant eu lieu depuis.

L’indicateur qui prédit le mieux si une personne peut devenir un super-prévisionniste est la propension à mettre à jour ses modèles mentaux et à s’améliorer.

Super-équipes

Dès le début de l’expérience, une partie des participants a été assignée à une équipe, tandis que les autres travaillaient en solo. Les équipes étaient libres de s’organiser comme elles l’entendaient. Néanmoins, les meilleures pratiques ont été partagées aux équipes : éviter la pensée de groupe, ne pas être trop conciliant mais ne pas non plus tomber dans la confrontation, utiliser des questions précises pour comprendre les arguments des uns et des autres.

A l’issue de la première année, les équipes ont obtenu des résultats 23% meilleurs que les individus.

La seconde année, les équipes de super-prévisionnistes furent formées. Contrairement aux équipes qu’on trouve dans les entreprises ou les administrations, il n’y avait pas de hiérarchie ni de normes préétablies sur lesquelles s’appuyer. Les équipes ont donc dû apprendre à se connaître et à travailler ensemble. Un super-prévisionniste qui rejoint une équipe de pairs voit sa performance augmenter d’environ 50%.

Le principal avantage d’une équipe est de pouvoir collecter une plus grande quantité et variété d’informations. Les dynamiques à l’intérieur de l’équipe sont parfois complexes. Si les membres n’ont pas d’affinités ou de culture commune, le tout risque d’être inférieur à la somme des parties.

Une caractéristique commune des super-équipes est la proportion élevée de « partageurs ». Ces personnes donnent plus qu’elles ne reçoivent. L’idée est de modifier le comportement des autres par l’exemple, ce qui bénéficie à tous ultimement. Néanmoins, il ne faut conclure de façon hâtive. Certaines équipes ont eu des scores élevés même avec une faible coopération.

Il est aussi possible que la diversité des équipes soit la cause de leur surperformance. Même si cela n’était pas voulu, les super-équipes sont diverses car composées d’individus dotés d’une façon de penser originale. Aussi, avec une équipe diverse, il y a plus de chance que quelqu’un apporte une information qui fasse pencher la balance de façon décisive.

Dilemme du leadeur

Les études montrent que les leadeurs ont trois qualités : confiant, décisif et avec une vision. Cela ne semble pas bien s’accorder avec des super-prévisionnistes incertains, prêts à changer d’avis et sans opinion tranchée.

Ce paradoxe a été résolu par Moltke et la Wehrmacht : indiquer l’objectif et le pourquoi, mais pas le comment afin de laisser l’initiative aux officiers sur le terrain.

Critiques

Kahneman a pointé un possible problème pour ce qui concerne l’expérience. La prévision dépend de façon considérable de l’horizon de temps. Mais il est possible que les prévisionnistes évaluent les probabilités sans tenir compte de l’horizon de temps.

C’est effectivement ce qui s’est passé avec les prévisionnistes mais pas avec les super-prévisionnistes. Ceux-ci intègrent en effet de telles considérations.

Une critique plus dévastatrice vient de Nassim Taleb, l’auteur du « Cygne noir ». Selon lui, l’histoire et les sociétés sont le résultat d’événements à la fois imprévisibles et d’une grande ampleur. Ainsi, ce qui compte ne peut être prédit, et ce qui peut être prédit ne compte pas.

Cependant, s’il n’est pas possible de prévoir l’imprévisible, il est possible de faire de meilleures prédictions sur des risques connus. De plus, les cygnes noirs comme la Révolution Française prennent un certain temps avant de produire leurs effets. Pour cette raison, les super-prévisionnistes sont utiles pour évaluer les conséquences.

L’horizon de prédiction des super-prévisionnistes a tout de même ses limites : il ne va pas au-delà de 5 ans.

Dix commandements

1. Attaquez-vous à des problèmes ni trop faciles ni trop difficiles ;
2. Décomposez le problème en sous-problèmes ;
3. Partez de cas comparables et ensuite ajustez selon les particularités ;
4. Efforcez-vous de ne pas réagir trop ou trop peu ;
5. Faîtes la synthèse de vues contradictoires ;
6. Soyez le plus granulaire possible dans votre prédiction ;
7. Trouvez le bon équilibre entre excès et manque de prudence ;
8. Analysez vos erreurs pour en tirer des leçons ;
9. Aidez les autres à améliorer leurs prédictions et réciproquement ;
10. Pratiquez-vous.
11. Ne considérez pas ces commandements comme absolus, improvisez quand il le faut !

The post ⭐⭐⭐⭐⭐Livre « Comment être visionnaire » de Philip E. Tetlock first appeared on Economie rebelle.

L’article ⭐⭐⭐⭐⭐Livre « Comment être visionnaire » de Philip E. Tetlock est apparu en premier sur Economie rebelle.