« Les algorithmes ne sont pas neutres »
Le défenseur des droits conteste la neutralité des algorithmes et même certaines de leur pertinence. l’ancien ministre de la Justice souhaiterait traiter ce sujet avant son départ de l’institution, le 17 juillet prochain. A priori les algorithmes sont scientifiquement très sexy pour autant ils ne sont pas forcément pertinents vis-à-vis des facteurs explicatifs et des hypothèses prospectives. Se pose aussi la question fondamental de la maîtrise humaine de la technique
La crise du Covid a-t-elle accru le risque de discrimination lié à l’utilisation des algorithmes?
A l’occasion de la crise du Covid-19, de nombreuses questions d’accès aux droits fondamentaux – égalité, liberté, etc. – se sont posées. Or, en matière d’épidémiologie, l’utilisation de base de données et leur mise en oeuvre par des processus mathématiques paraît évidente. Mais aujourd’hui, la pression des algorithmes est de plus en plus considérable car ils sont incontestablement l’une des manières de répondre à cette faiblesse de nos sociétés qui consiste à vouloir toujours trouver une solution à tout.
Quels sont les biais les plus importants?
Il y a d’abord un risque en ce qui concerne les bases de données. Les algorithmes sont créés à partir des données acquises passées. A une autre époque, ils auraient pu permettre d’affirmer que la Terre était plate! Il y a aussi des biais liés à des données non représentatives avec par exemple des catégories sous-représentées de la population. Ensuite, il y a les effets discriminatoires des algorithmes apprenants, c’est-à-dire ceux capables d’évoluer. C’est par exemple l’algorithme de jugement criminel Compas aux Etats-Unis qui, après avoir analysé des dizaines de milliers de jugements, vient aider les juges à rendre leur décision. En tant qu’ancien garde des Sceaux, je trouve que c’est l’horreur.
Que préconisez-vous?
On ne pourra avancer ni sur le diagnostic ni sur les solutions si on ne mène pas un travail qui allie le point de vue des créateurs des algorithmes, des utilisateurs, les directeurs d’hôpitaux par exemple, et des ‘vigilants’, au premier rang desquels la Cnil ; mais aussi des juristes, sociologues, philosophes capables d’introduire un certain nombre de règles dans la confection et la mise en œuvre des algorithmes. La non-discrimination est un principe de notre droit en Europe, elle doit être respectée et effective en toute circonstance, y compris quand une décision passe par le recours à un algorithme.
Les algorithmes renforcent-ils les préjugés humains?
L’informatique n’explique pas tout : dans les procédures de recrutement qui comportent des oraux avec des jurys, l’un des critères implicites est que les candidats soient le plus conformes possible au modèle social des membres du jury. Mais si on ajoute les algorithmes, on introduit une formidable puissance de conformisme. En outre, l’intelligence artificielle cherche à accréditer l’idée que la décision peut être prise indépendamment de l’intervention humaine. C’est un piège.
Lire aussi - Jean-Pierre Mignard : « Les mesures prises sont conformes au droit des sociétés démocratiques »
Ressemblent-ils à ceux qui les conçoivent?
Des études montrent que les algorithmes sont faits par une grande majorité d’informaticiens qui sont des hommes blancs et donc, les algorithmes apprenants vont jusqu’au bout traîner l’idée, par exemple, de différences entre les hommes et les femmes. Tous les stéréotypes de la société contre lesquels nous luttons risquent de se traduire dans les algorithmes. C’est un mécanisme extrêmement puissant car il est en apparence autonome. On dit que les algorithmes sont neutres car les mathématiques le sont, mais en réalité ils intègrent des éléments qui ne le sont pas. Les algorithmes locaux que les universités utilisent pour les dossiers de Parcoursup sont un très bon exemple de ce que des éléments neutres peuvent aboutir à des effets discriminatoires.
Pourquoi?
Quand vous retenez dans les critères le lycée d’origine, vous intégrez tout un contexte économique et social, les caractéristiques particulières des élèves qui le fréquentent, etc. A partir d’une donnée objective, vous aboutissez à une situation dans laquelle les élèves issus de classes populaires défavorisées ont moins de chance d’être pris dans des écoles ou des universités prestigieuses. Début avril, le Conseil constitutionnel a tranché : on doit pouvoir connaître ce que contient l’algorithme local. Le critère du lycée d’origine sera désormais probablement écarté ou en tout cas, le nécessaire sera fait pour que les décisions soient transparentes et motivées.
Pourquoi serait-ce davantage problématique qu’un jury qui prendrait également en compte ce critère géographique?
Le jury de la fac se retranchera derrière la décision de l’algorithme. Vous habillez d’un caractère objectif et neutre quelque chose qui ne l’est pas. Les algorithmes ont un caractère extrêmement séduisant. Dans la crise actuelle pleine de controverses, les algorithmes vont créer du consensus par exemple dans le choix des malades à soigner. Il y a une bataille entre l’intelligence artificielle et l’intelligence humaine. Or, l’intelligence artificielle présente un caractère en apparence objectif, désintéressé, consensuel et unanimiste alors que la recherche issue de l’intelligence humaine est faite constamment de ruptures. Ici se posent toutes les questions provoquées la puissance de l’informatique, des nouvelles technologies et la pression de ceux qui les fabriquent et les vendent.
Faut-il encadrer la conception de ces algorithmes?
Les créateurs de ces outils ne sont pas seulement des génies des maths, ils ont une responsabilité sociale. Il faut les former et les sensibiliser aux enjeux de discrimination. Il faut développer la recherche et inventer des algorithmes de ‘fair-learning’ qui répondent à l’objectif d’explicabilité, de transparence et d’égalité. Il faut développer les dispositions de l’article 13 du RGPD (règlement général sur la protection des données) pour aller plus loin. Enfin, des études d’impact systématiques, comme au Canada, doivent permettre d’anticiper les éventuels effets discriminatoires d’un algorithme dans le domaine public. Les professionnels doivent penser aux conséquences que leur algorithme va avoir. C’est le cas par exemple pour la médecine prédictive, avec des algorithmes qui pourraient établir des diagnostics sur la seule exploitation de l’historique des données. Il faut mettre en cause les grandes entreprises mondiales qui sont à l’origine de ces algorithmes.
Que pensez-vous des systèmes de traçage mis en place pour répondre à la crise sanitaire?
En France, comme en Grande-Bretagne, l’application de traçage repose sur une architecture centralisée. En Allemagne et en Espagne, l’architecture est décentralisée. En France, certains craignent que l’Etat ne dispose ainsi d’un fichier qui pourrait faire l’objet d’une fuite. Mais derrière une architecture décentralisée, il y a directement Google et Apple. Quelles garanties supplémentaires ces entreprises offrent-elles sur de tels dispositifs?
Doit-on faire d’autres lois pour encadrer leur utilisation?
La deuxième loi sur l’état d’urgence sanitaire comporte des dispositions protectrices que le défenseur des droits a souhaitées et que la Cnil a définies. Dans un Etat de droit, il existe tout un arsenal juridique sur les droits fondamentaux : c’est par exemple la loi de 2002 sur les droits des malades, ou celle sur la fin de vie, etc. L’Etat de droit repose sur un principe essentiel : le consentement du malade. Il faut que nous arrivions à faire entrer l’utilisation des algorithmes dans le cadre de ces lois. Ou bien il faudra créer d’autres lois, car les pouvoirs publics doivent s’assurer que leur mise en œuvre ne soit pas créatrice de discriminations.
Selon vous, ce débat sur les discriminations fait écho à la crise actuelle…
Les algorithmes sont une question de société marquée par une très forte pression de l’économie et une certaine indifférence du public. C’est un sujet central car il met en cause la combinaison fondamentale liberté-égalité, tout comme la crise sanitaire que l’on traverse.
L’homme doit-il reprendre le contrôle de la machine?
Nous devons susciter de la vigilance. Les algorithmes sont une création humaine et l’homme doit conserver sa responsabilité dans la manière dont ils sont faits et appliqués. Il n’y a pas d’un côté la technologie qui marche toute seule et de l’autre l’humanité qui tâtonne dans son coin. La technologie est issue de notre intelligence, elle relève de notre responsabilité. Individuellement et collectivement, les hommes et les femmes doivent maîtriser cette création du début à la fin.