Faut-il encore décider ?

Notre synthèse

Partie 1 : Décision et IA, destins croisés

La science de la décision et l’IA sont nées en même temps, lors de la révolution cognitive des années 1950. Parmi les premiers « cognitivistes », certains sont les pionniers d’une discipline nouvelle : l’intelligence artificielle. Les promoteurs de l’IA se proposent de modéliser les processus mentaux à l’aide de machines symboliques : pour comprendre le fonctionnement de la pensée, il faut décoder ses règles, à la manière de celles qui permettent le fonctionnement d’une machine. Ainsi le fonctionnent du cerveau et de l’IA reposent sur la même analogie fonctionnelle entre le cerveau et la machine.

Parmi les IA actuelles, on distingue les systèmes experts des années 1980, faits de symboles et de règles (la rule-based AI, celle qui a permis de battre Garry Kasparov aux échecs) et l’IA connexionniste qui tente de reproduire les réseaux neuronaux du cerveau. À partir de la seconde moitié des années 2010, l’IA franchit un nouveau palier, avec l’invention de l’architecture Transformer qui ouvre l’ère des grands modèles de langage (large language models ou LLM).

De nombreux chercheurs ont souligné l’analogie entre le modèle des deux systèmes développés par le psychologue Daniel Kahneman (« Système 1 / Système 2. Les deux vitesses de la pensée »), et les deux grandes familles de modèles d’IA. L’IA symbolique imite le fonctionnement de notre pensée « consciente », ou Système 2. Et à leur manière, les réseaux de neurones s’inspirent du Système 1. Ils « apprennent » de manière rapide et associative, sans avoir besoin de règles explicites. L’analogie n’est pas parfaite, mais elle demeure très utile pour comprendre les forces et les faiblesses des deux types d’IA. La force des IA symboliques, c’est leur fiabilité, la transparence de leurs raisonnements. Mais leurs règles rigides ne peuvent appréhender les ambiguïtés du monde réel. À l’inverse, les réseaux de neurones sont souples mais opaques : bien souvent on ne comprend pas comment ils arrivent à leurs conclusions. Quand ils se trompent (les fameuses « hallucinations »), ces erreurs ressemblent aux erreurs d’humains inattentifs, celles que nous commettons quand notre Système 1 est aux commandes et la supervision de notre Système 2 au repos. C’est donc à nous, humains, de comprendre comment fonctionnent les IA, d’en connaitre les limites et d’adapter nos modes de décision à leurs forces et faiblesses.

Partie 2 : L’IA ou moi, qui décide ?

Ce qui fait la force de l’IA est sa capacité à identifier des régularités (pattern recognition), des motifs dans de vastes ensembles de données.

Les auteurs définissent trois conditions clés : 

1. des environnements bien délimités,
2. des objectifs clairs,
3. des données massives. 

Ces trois conditions déterminent la faisabilité technique.

Les auteurs ont défini une cartographie des terrains d’application de l’IA décisionnelle à partir des deux dimensions que sont la faisabilité technique et l’acceptabilité par les humains.  Cette cartographie distingue 5 zones : les « territoires conquis », le « marais de l’inquiétude », la « zone interdite », la « vallée de la tentation » et les champs de la « codécision ».

Les « territoires conquis » 

Ce sont les secteurs qui utilisent déjà largement l’IA (la finance de marché, la logistique, la cybersécurité, …).

Le « marais de l’inquiétude »

Beaucoup d’entre nous éprouvent un frisson à l’idée que des décisions capitales soient artificielles, mécaniques, déshumanisées. L’AI Act européen définit des applications « à haut risque » où une supervision humaine est obligatoire (justice, contrôle des frontières, éducation…). 

Mais la décision algorithmique suscite aussi des inquiétudes qui ne sont pas fondées. Les auteurs identifient plusieurs critiques en partie injustifiées.
En voici deux bien connues :

La « zone interdite »

Il existe plusieurs types de décisions pour lesquels le recours à l’IA pose des problèmes insurmontables, car techniquement impossible : c’est la « zone interdite ». Dès lors qu’une crise est unique (crise internationale, déclenchement d’une bombe nucléaire, …), une IA basée sur des règles ne peut pas la gérer avec la finesse nécessaire. Les auteurs suggèrent qu’il serait possible d’envisager une « charte des décisions non délégables à l’IA » au niveau international. Dans un autre registre, le domaine artistique, l’œuvre d’un artiste humain traduit une intention, implique une capacité à éprouver une émotion. Une IA, elle, n’éprouve rien. Une autre famille de décisions qui doivent rester humaines rassemble les choix qui ont une composante affective significative et qui nous engagent pour longtemps (par exemple le choix de son partenaire amoureux). 

La « vallée de la tentation »

Il existe un certain nombre de situations où une IA « pourrait » décider (parce qu’elle dispose de suffisamment de données et que les objectifs sont suffisamment clairs), et où, pourtant, les auteurs suggèrent qu’il faut résister à la tentation de l’utiliser. Par exemple pour des décisions qu’il serait éthiquement choquant de confier à une machine (arme létale autonome, décision judiciaire, fin de vie…)

Les champs de la « codécision »

Il existe une vaste gamme de situations où les données ne sont pas suffisantes ou bien les objectifs ne sont pas assez clairs pour entrainer une IA. Dans ce cas, l’IA ne se substitue pas aux décisions humaines, mais elle peut y contribuer, en jouant un rôle dans le cadre d’une méthode (le diagnostic médical complexe ou le recrutement par exemple).

Partie 3 : Quelle société voulons-nous ?

Imaginez une liste de patients en attente d’une greffe. Comment choisir celui qui va recevoir le rein, le foie ou le cœur qui peut sauver sa vie ? Aujourd’hui, la décision d’allocation des greffons est réalisée à partir d’un algorithme. Mais la définition d’un algorithme oblige à rendre visible les arbitrages. C’est pourquoi il n’y a pas d’algorithme neutre, car il n’y a pas d’algorithme sans priorités. Et qu’on le veuille ou non, chaque paramétrage est une décision éthique, voire politique. L’acceptabilité par la société dépend de deux variables essentielles : la perception des risques et la confiance. 

À partir de ce constat, les auteurs se projettent en 2036. 

Ils imaginent une gamme de scénarios possibles selon deux dimensions :

• la vitesse et l’ampleur du déploiement de systèmes d’IA dans l’ensemble de la société (dimension déploiement de l’IA)
• plus ou moins d’humanité et de démocratie pour guider l’IA et la rendre politiquement acceptable (dimension gouvernance démocratique de l’IA). 

Quatre scénarios d’avenir se dessinent : « Technophob.IA », « Technocrat.IA », « Nostalg.IA » et « Démocrat.IA ». 

« Technophob.IA » : la défiance

Des contre-pouvoirs politiques, intellectuels, administratifs se sont coalisés et se sont mis au service du statu quo. Les innovations sont restées cantonnées à des applications privées ou périphériques. Le fonctionnement des institutions n’a pas changé : les décisions restent entre les mains des élites traditionnelles, et continuent à produire des politiques publiques datées. Beaucoup de citoyens, frustrés par l’inefficacité des systèmes actuels, perdent confiance dans les institutions. Le pays se fragmente : d’un côté les technophiles forment des communautés autonomes, et creusent un fossé entre l’État et les nouvelles formes d’organisation sociale, et de l’autre des crises enflamment périodiquement les rues et favorisent la montée des populismes.  L’une des raisons de ce malaise est la stagnation économique chronique car le pays peine à tirer parti des capacités de l’IA. L’écart de prospérité se creuse avec les nations qui adoptent l’IA de façon volontariste ; le pouvoir d’achat stagne en même temps que montent les frustrations sociales et un sentiment de déclassement. 

« Technocrat.IA » : un monde hyper-optimisé

La société a choisi l’efficacité avant tout. La légitimité politique ne vient plus du vote mais du calcul. L’efficacité remplace la justice comme valeur cardinale. La société perd en liberté ce qu’elle gagne en ordre. Les erreurs humaines ont disparu, mais aussi les émotions, les hésitations, les exceptions qui font la richesse du jugement humain. La majorité des citoyens, libérés des tâches répétitives, inventent de nouveaux modes de contributions symboliques, esthétique ou relationnelle. Cette technocratie révèle aussi des failles majeures. Partout, des arbitrages algorithmiques parfaitement rationnels excluent ce qui fait que nous sommes humains. Les IA, qui excellent dans l’optimisation de l’existant, peinent à imaginer des ruptures. Toute innovation radicale devient impossible, ce qui conduit progressivement à une forme de stagnation. Par ailleurs, la dépendance aux systèmes d’IA crée des vulnérabilités systémiques considérables. La société technocratique devient fragile face aux cyberattaques, aux pannes techniques ou aux biais cachés qui peuvent se propager à travers tout le système. De plus, l’IA intègre dans ses décisions un « score social » sur le modèle du « crédit social » chinois.

Le scénario « Technocrat.IA » met en évidence la tension entre optimisation systémique et implication citoyenne. Là où des citoyens pouvaient autrefois interpeler un agent incarné, ils se heurtent désormais à des logiques abstraites et indiscutables car « rationnelles ». Ce scénario pose la question : une société rationnellement optimisée est-elle encore démocratiquement légitime ?

« Nostalg.IA » : préserver l’humain à tout prix

Ce scénario s’attèle au défi de la réhumanisation de la décision et du réinvestissement démocratique de la gouvernance. La société décide en connaissance de cause de dire « non » à un déploiement rapide et large de l’IA. Elle a constaté que l’efficacité optimisée n’était pas forcément synonyme de bien-être. Les citoyens ont exprimé une aspiration croissante à retrouver leur capacité d’influence sur les décisions qui les concernent. Ils reconnaissent en l’IA une incapacité à honorer la complexité des situations humaines. En somme, les décisions critiques sont « garanties sans IA » (médecine, éducation, justice…).

Sur le plan économique, ce scénario ralentit l’automatisation pour préserver l’emploi dans des métiers valorisés (attention, soin, …) en assumant une intensité du travail humain plus élevée. Mais les coûts salariaux augmentent, l’efficacité stagne. Les entrepreneurs du numérique s’expatrient à l’étranger, certaines entreprises, en perte de compétitivité, font faillite. La prospérité recule. Trop coûteux et non financé par des gains de productivité, le réenchantement finit par apparaitre comme un luxe, une marginalisation stratégique et économique. La nostalgie est douce, mais elle est le signe d’un déclassement.

« Démocrat.IA » : quand la démocratie réinvente l’IA, et réciproquement

Dans ce scénario, l’IA s’impose vite et partout, mais pas n’importe comment : sous le contrôle efficace des citoyens. Ceux-ci s’investissement directement dans la gouvernance de l’IA pour conserver le contrôle des décisions critiques. Il vise à organiser la gouvernance démocratique de l’IA par les humains, grâce à une démocratie participative réinventée et renforcée par la technologie. Tout d’abord par une réappropriation des données, en développant des infrastructures publiques ou coopératives de traitement de l’information afin de limiter la dépendance aux géants privés. Puis par une définition partagée des objectifs : l’IA impose des choix difficiles sur la finalité que doivent suivre les algorithmes. Le parti pris de ce scénario est que ces choix ne doivent pas être des ajustements techniques qu’on peut déléguer à des experts. Ce sont des orientations de gouvernance qui doivent être débattues et tranchées par les citoyens. Ceux-ci deviennent alors des acteurs réguliers du débat public. Il ne s’agit pas seulement de vote ou de sondage, mais d’assemblées citoyennes. Les citoyens ne sont plus alors les bénéficiaires passifs de décisions optimisées, mais des acteurs de la définition de l’intérêt général. Pour ce faire, les outils de la démocratie participative s’appuient sur une batterie d’outils IA qui démultiplient l’efficacité des consultations (recrutement des participants, débats asynchrones, synthèse des travaux…). Il devient possible d’impliquer des milliers de citoyens sur chaque sujet d’intérêt publique (santé, éducation, justice, climat, …), et sur la définition de l’équilibre souhaitable entre automatisation et décision humaine. La gouvernance de l’IA publique sert également de modèle aux décisions des acteurs privés. Le second pilier est le contrôle démocratique de l’IA. Le principal mécanisme de ce contrôle est l’audit des algorithmes. De même que l’audit des comptes des entreprises est indispensable au bon fonctionnement des marchés financiers, l’audit des algorithmes crée les conditions d’un contrat social algorithmique crédible. Cette nouvelle industrie se dote d’un conseil de l’ordre et de codes de déontologie.

La réalisation de ce scénario fait face à des défis considérables : l’implication des citoyens n’est pas acquise, les administrations et agences concernées devront accepter de céder une part de leur pouvoir à des assemblées citoyennes, les élus devront apprendre à composer avec la démocratie participative. Enfin « Democrat.IA » suppose la formation rapide des citoyens et nécessite une refonte profonde des cursus éducatifs et de la sélection des élites.

Les auteurs appellent de leurs vœux ce dernier scenario. Selon eux, il est le seul à proposer un modèle de société ouvert aux progrès, qui gère démocratiquement les contradictions que le changement suscite, et qui mobilise les énergies de toute la population au service d’un projet commun. « Democrat.IA » implique une double transformation, technologique et démocratique. La société qui réussira cette double transformation aura la capacité non pas de choisir entre plus ou moins d’IA, mais de devenir pleinement actrice de son destin.

Conclusion

L’IA est une technologie qui porte en elle à la fois de sérieuses menaces et d’immenses opportunités. Parce qu’elle nous inquiète, l’IA nous force à nous poser des questions que nous avions tendance à escamoter. Elle oblige à hiérarchiser des critères et à affronter des dilemmes. Elle nous force à décider comment nous voulons décider. L’autre tentation est de s’en remettre aveuglément à la machine. C’est la voie dans laquelle nous poussent les concepteurs d’algorithmes, qui prétendent nous épargner les choix difficiles. C’est la voie qui nous engage sur la route de la servitude. La question n’est pas de savoir si l’IA décidera - elle le fait déjà -, mais selon quelles règles et au service de quelles finalités. Nous devons apprendre à l’encadrer et à la gouverner.

• L’encadrer : dans certains cas, où les objectifs sont parfaitement définis et les données abondantes, nous pourrons lui déléguer des décisions clairement définies. Mais pour la majorité des décisions, nous la traiterons plutôt comme une « collègue » qui occupe une place bien définie, dans une logique de codécision.
• La gouverner : notre société tout entière est traversée par une fracture entre la base et le sommet, entre ceux qui subissent les décisions et ceux qui les prennent. Cette fracture met la démocratie en danger. Or, l’IA risque de l’élargir, alors qu’elle peut faire aussi partie de la solution. Son déploiement est l’occasion unique d’impliquer une large partie de la population dans la définition de ses finalités, dans le pilotage concret des algorithmes. 

En déléguant à l’IA ce qu’elle sait faire mieux que nous, nous pouvons libérer du temps et de l’énergie pour ce que nous seuls savons faire : délibérer, interpréter, imaginer, arbitrer entre des valeurs contradictoires. La voie que les auteurs proposent implique de faire évoluer les institutions. Mais surtout de choisir avant que d’autres ne choisissent pour nous. L’IA ne nous attendra pas. La question n’est plus de savoir si les machines peuvent décider mieux que nous : elle est de savoir si nous aurons la sagesse de nous organiser pour qu’elles le fassent dans notre intérêt et à notre service.