Algorithmes : les dérives

Un article intéressant d’Amélie CHARNAY,Journaliste, sur 01net.com qui rend compte d’un livre,« Algorithmes, la bombe à retardement » de la mathématicienne américaine Cathy O’Neil .

« Virée. Sara Wysocki, une institutrice de CM2 louée par sa hiérarchie comme par ses élèves, eut la stupeur d’être remerciée par le district de Washington en 2011. L’algorithme chargé de lui attribuer un score d’évaluation avait conclu à son incompétence puisque les notes des enfants avaient baissé par rapport à l’année précédente. Elle finit par découvrir que les enseignants avant elle avaient gonflé les résultats, faussant ainsi toute la base de données. Cette histoire n’est qu’un exemple banal des effets pervers engendrés par certains algorithmes mal conçus. La mathématicienne américaine Cathy O’Neil les appelle des ADM, des algorithmes de destruction mathématique.

Il y a deux ans, cette analyste repentie et figure d’Occupy Wall Street a consacré un livre à ces modèles mathématiques toxiques. Algorithmes, la bombe à retardement a été salué outre-Atlantique pour sa clairvoyance et vient de sortir enfin en France aux Editions les Arènes avec une préface de Cédric Villani. Loin de l’implacable rigueur scientifique qui leur colle à la peau, ils sont loin d’être des outils impartiaux d’aide à la décision. Leurs jeux de données sont parfois falsifiés, comme ce fut le cas avec cette institutrice. Mais ils sont souvent tout simplement biaisés, comme cette intelligence artificielle testée par Amazon pour ses recrutements. L’agence Reuters a révélé qu’elle avait eu tendance à écarter les femmes des postes techniques parce qu’elle avait pris modèle sur les hommes de la société qui occupaient déjà 60% de ces emplois.

 

Les algorithmes découlent toujours de critères sélectionnés par des humains. Choisir de ne pas prendre en compte les frais de scolarité lorsque l’on veut classer les universités américaines, c’est favoriser les établissements qui sont les plus chers et renforcer encore leur attractivité au détriment des autres. Autre exemple : les logiciels de prédiction des crimes. Ils ont pour conséquence de multiplier les contrôles dans les quartiers pauvres et les arrestations de mineurs pour consommation d’alcool. Certains adolescents s’emportent et leur refus d’obtempérer les conduit tout droit dans un pénitencier. S’ils avaient habité un quartier riche, ils n’auraient jamais été inquiétés et conserveraient encore un casier judiciaire vierge.

Prenons encore le cas du questionnaire LSI-R que les détenus des prisons doivent remplir outre-atlantique pour évaluer leur risque de récidive. Dans les Etats de l’Idaho et du Colorado, les réponses servent à décider de la peine. Or, si un individu compte des membres de sa famille ayant eu des démêlés avec la justice, l’algorithme va être plus enclin à le classer dans un groupe à risque. Il écopera alors d’une peine plus lourde, restera davantage en prison et aura moins de chance de retrouver un emploi à sa sortie. Le cercle vicieux ne s’arrête pas là. « S’il commet un autre crime, la modélisation du récidivisme pourra se prévaloir d’un nouveau succès. Mais c’est en réalité le modèle lui-même qui alimente un cycle malsain et qui contribue à entretenir cette réalité », souligne Cathy O’Neil. Ces ADM se nourrissent donc de leurs erreurs et se renforcent inexorablement dans le temps, augmentant ainsi les inégalités et fragilisant encore davantage les plus vulnérables.

L’idée n’est pas de jeter l’opprobre sur tous les algorithmes. Beaucoup remplissent efficacement leur rôle sans répercussion délétère, surtout  s’il s’agit de battre un champion mondial de Go. Certains servent même l’intérêt général quand ils réussissent à repérer du travail forcé, par exemple. Le problème, c’est qu’ils sont utilisés sans discernement dans de multiples domaines à des moments clefs de la vie des individus. La société française aussi y est déjà confrontée. Ils influent sur l’orientation des études supérieures avec Parcoursup, l’obtention d’un crédit, le montant de notre assurance, les recrutements, nous ciblent publicitairement, et tentent même de peser sur notre opinion via les réseaux sociaux.

L’objectif de Cathy O’Neil est de nous appeler à la tempérance : nous ne pouvons pas attendre des algorithmes qu’ils solutionnent des tâches complexes comme évaluer les enseignants. Ce qu’elle espère, c’est que nous sortions de notre croyance aveugle en leur efficacité. Les citoyens doivent exiger la transparence sur la façon dont ces modèles fonctionnent et rester vigilants pour qu’ils soient sans cesse réévalués, afin de les corriger et de les améliorer. « Commençons dès maintenant à bâtir un cadre, pour s’assurer à long terme que les algorithmes rendent des comptes. Posons comme base la démonstration de leur légalité, de leur équité et de leur ancrage factuel », propose Cathy ONeil. Nous ne pouvons plus nous permettre de rester spectateurs, glisse-t-elle en conclusion. Si ce n’est pas le cas, nous serons condamnés à l’avenir à obéir à de mystérieuses boîtes noires qui contrôleront une grande partie de notre vie. «

Algorithmes, la bombe à retardement, Cathy O’Neil, les Arènes, 352 pages, 20,90 euros.