Fossé de Responsabilité

Le système automatisé de détection de fraudes aux aides sociales australien a émis 2 milliards AUD de dettes fictives à 700 000 bénéficiaires en calculant des revenus moyennés sur la base de données fiscales annuelles et non des revenus effectifs par quinzaine. L'algorithme défaillant a causé des détresses psychologiques sévères et plusieurs suicides. La question de responsabilité s'est dissous entre Centrelink (agence), le gouvernement fédéral, les concepteurs informatiques et les politiques. Le Commonwealth a finalement accepté de rembourser 751 millions AUD, mais aucun responsable individuel n'a été pénalement condamné. Cas emblématique de fossé de responsabilité dans la gouvernance algorithmique.

L'algorithme COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilisé dans plusieurs États américains pour évaluer le risque de récidive lors des décisions de mise en liberté, a été analysé par ProPublica (2016) qui a montré un biais racial systématique : les prévenus noirs étaient presque deux fois plus souvent mal classés en 'haut risque' que les prévenus blancs. Le modèle étant propriétaire (Northpointe, désormais Equivant), ni les défendeurs ni les juges ne pouvaient accéder à la logique décisionnelle. Aucun agent individuel — développeur, juge utilisateur, État déployeur — ne pouvait être tenu responsable du biais systémique. Illustration du fossé explicatif et du fossé de culpabilité.

Le 18 mars 2018, un véhicule Uber en mode autonome a mortellement renversé Elaine Herzberg alors que la conductrice humaine de surveillance était distraite. Les systèmes d'urgence avaient été désactivés par Uber pour réduire les comportements 'erratiques'. Le NTSB a établi que le système avait détecté Herzberg six secondes avant l'impact mais avait échoué à la classifier correctement. Arizona a refusé de poursuivre Uber pénalement ; seule la conductrice humaine a été inculpée de négligence criminelle. L'entreprise Uber (ni ses dirigeants, ni ses ingénieurs) n'ont été personnellement mis en cause. Cas d'école du fossé de rétribution de Danaher.

Cas illustratif théorisé par Lang, Nyholm et Blumenthal-Barby (2024) : un radiologue fait confiance à un système d'IA diagnostique contre son jugement clinique initial ; le patient décède d'un cancer non détecté. Qui est responsable ? L'entreprise développeuse n'a pas conçu de défaut spécifique ; le radiologue a suivi la recommandation d'un outil validé ; l'hôpital a correctement déployé le système. Les auteurs proposent la 'responsabilisation partagée forcée' (shared responsibilization) comme palliatif.

Le chatbot Tessa, déployé par l'Association Nationale Américaine des Troubles Alimentaires (NEDA) comme outil de soutien, a fourni des conseils nuisibles sur la restriction alimentaire à des utilisateurs souffrant d'anorexie. L'association a dû retirer le chatbot. Aucun prestataire commercial n'était soumis aux codes d'éthique des professionnels de santé mentale. Illustration du fossé de responsabilité dans les systèmes de soutien psychologique automatisés et de l'absence de mécanismes réglementaires comparables à ceux encadrant les thérapeutes.

Cas précurseur — avant la formalisation philosophique du concept — où un système de radiothérapie commandé par ordinateur a provoqué des surdosages mortels suite à des bogues logiciels. La responsabilité s'est répartie entre les ingénieurs (défauts de conception), les opérateurs (formation inadéquate), et l'entreprise AECL (manque de tests). Aucun agent unique ne portait la responsabilité complète. Régulièrement cité dans la littérature sur le 'many hands problem' comme préfiguration du fossé de responsabilité algorithmique.

Plusieurs accidents mortels impliquant le système Autopilot de Tesla (notamment l'accident de Joshua Brown en 2016 et l'affaire Walter Huang en 2018) ont mis en lumière la zone grise entre 'assistance à la conduite' et 'conduite autonome'. Tesla avance que les conducteurs restent responsables ; les victimes et régulateurs arguent que le marketing du système induit une délégation excessive. La NTSB a enquêté sans conduire à des poursuites pénales contre l'entreprise. Illustration du fossé entre responsabilité nominale (conducteur) et responsabilité réelle (concepteur du système).

La responsabilité morale classique exige que l'agent soit en mesure de prévoir et de contrôler les conséquences de ses actes. Les systèmes apprenants (réseaux de neurones, algorithmes génétiques, architectures d'agents) modifient leur comportement par l'expérience de manière imprévisible pour leur concepteur, invalidant cette condition. C'est le cœur de l'argument de Matthias (2004).

Face à un dommage causé par un système autonome, les trois candidats naturels à la responsabilité — (1) le concepteur/programmeur, (2) l'opérateur/commandant, (3) le système lui-même — échouent chacun à satisfaire les conditions de la responsabilité : le concepteur n'a pas voulu l'action spécifique ; l'opérateur a cédé le contrôle ; la machine ne peut être punie de façon moralement pertinente. Le résultat est un vide de responsabilité structurel.

Reformulation technologique du 'problème des mains multiples' identifié par Thompson (1980) en contexte organisationnel : des contributions causales individuellement inoffensives ou moralement neutres d'acteurs multiples (ingénieurs, managers, utilisateurs, politiques) se combinent pour produire un préjudice sans qu'aucun ne porte la responsabilité de l'ensemble. La complexité des systèmes sociotechniques distribue la causalité au point de l'évaporer.

Dimension prospective du fossé : au-delà de l'imputation rétrospective du blâme, les agents manquent aussi des ressources cognitives, de la motivation ou de l'autorité nécessaires pour s'acquitter de leurs obligations positives de surveillance, de correction et d'anticipation des comportements du système. Concept développé par Santoni de Sio et Mecacci (2020, 2021).

Les systèmes en 'boîte noire' (deep learning, LLMs) rendent impossible pour les utilisateurs, cliniciens ou juges de comprendre la chaîne causale menant à une décision spécifique. Cette opacité prive les agents humains de la capacité d'expliquer, de contester ou de corriger les décisions, créant un fossé explicatif (explanatory gap) au sein du fossé de responsabilité plus large.

Phénomène cognitif par lequel les opérateurs humains tendent à sur-accorder leur confiance aux recommandations automatisées, réduisant leur exercice du jugement indépendant. Ce biais érode le 'meaningful control' sans lequel la responsabilité ne peut être attribuée à l'humain 'en boucle' (in-the-loop). L'opérateur devient nominalement responsable d'une décision qu'il n'a, en pratique, ni évaluée ni contrôlée.