_Fermer

« La machine a des bugs algorithmiques alors que nous avons des bugs cognitifs. »

Docteur en science et entrepreneur, Aurélie Jean est une figure montante du numérique en France. Formée au prestigieux MIT aux États-Unis, cette codeuse et experte en intelligence artificielle est spécialiste en algorithme et s’intéresse aux biais algorithmiques. Deux compétences idéales pour nous éclairer sur une problématique fascinante : la transmission des bugs humains à la machine.

Aurélie, si l’on considère comme point de départ qu’un biais cognitif est un bug, les algorithmes sont a priori forcément condamnés à bugger, non ?


Il est possible d’imaginer qu’un biais cognitif est un bug de nos comportements, de nos perceptions, de nos visions déformées des choses et des êtres. Quand vous dites que les algorithmes sont forcément destinés à bugger, j’aurais envie de vous dire qu’en fait un algorithme ne peut pas être objectivement parfait. Ce sont des humains qui les développent, le risque d’introduire un biais existe donc toujours même s’il n’est pas systématique.

En 2016 l’algorithme word2vec a été utilisé sur les articles de Google news pour catégoriser les noms de métier selon leur genre, dans le but d’associer au métier masculin son homologue féminin.
Le résultat s’est avéré intéressant puisque le docteur devenait infirmière et que le développeur web au féminin se transformait en femme au foyer. Il y a clairement un bug, mais se niche-t-il dans l’algorithme lui-même ou dans les biais cognitifs de l’homme qui est derrière ?


Word2vec c’est un algorithme qui est utilisé pour classifier des mots et créer des corrélations en fonction de leur utilisation dans des textes, et qui est à la base du traducteur de Google. En effet il y a eu un bug mais qui n’est pas propre à l’algorithme, il est le reflet de nos perceptions et de nos utilisations de ces mots.

Une réponse rapide serait de dire : éliminons nos biais ! Mais je pense que c’est ce qui fait aussi notre richesse. En revanche il faut en avoir conscience, cela nous permet de mieux se comprendre les uns les autres et de mieux faire évoluer notre société.

Avez-vous l’impression que le grand public a du mal à comprendre cette transmission du biais cognitif à la machine ?


Oui sûrement, mais c’est parce que les gens ne savent pas comment est fait un algorithme. Un algorithme est une séquence d’équations mathématiques et d’opérations logiques qui vont être traduites dans un code informatique. C’est un produit comme un autre, avec ses critères subjectifs propres donc des erreurs humaines sont possibles. Par exemple les concepteurs de l’airbag étant des hommes, le produit n’était pas initialement dimensionné pour des femmes ou des enfants. Autre exemple concret, dans le cas du machine learning : les premiers algorithmes de reconnaissance faciale ne reconnaissaient pas les peaux noirs, pour deux raisons possibles. Primo les critères explicites de contraste considérés dans l’analyse de l’image pour définir un visage n’avaient pas de référentiel propre aux peaux noires. C’est un critère explicite introduit par l’homme. Secundo, les images fournies à l’algorithme sur lesquelles il a appris étaient peut-être principalement composées de visages blancs. Là il s’agit de critères implicites.

« Parfois le bug est déjà dans l’algorithme. On ne le découvre que lorsqu’on rajoute un nouveau cas d’usage. »

Du coup quand l’homme bugge, la machine bugge. Est-ce grave ou faut-il l’accepter ?


Très bonne remarque, oui l’homme introduit ses biais dans la machine et il faut l’accepter. L’important étant que cela n’entraîne pas de conséquences graves, illégales ou toxiques. Tous nos biais ne mènent pas forcément à des discriminations. D’autre part parfois le bug est déjà dans l’algorithme. On ne le découvre que lorsqu’on rajoute un nouveau cas d’usage. Il y a donc sûrement des algorithmes « buggés » qu’on ne découvrira que plus tard en rajoutant un nouveau cas d’utilisation.

Pour vous la binarité est-elle un des biais les plus insidieux ?


Non, le langage binaire de la machine ne pousse pas à la binarité du monde. Si par exemple nous avons d’un côté les gens qui savent se servir de la machine et de l’autre ceux qui ne savent pas, ce n’est pas à cause du langage binaire de l’algorithme mais le fait d’un manque d’éducation. Les développeurs et scientifiques ont un devoir de parler de ce qu’ils font, de démocratiser des concepts compliqués. Yann Lecun qui dirige le laboratoire d’intelligence artificielle de Facebook le dit clairement, il n’y a « pas d’adoption sans compréhension ». On ne peut pas adopter un outil technologique si on ne le comprend pas.

Vous l’avez mentionné, mais finalement les biais cognitifs ne seraient-ils pas la différence essentielle entre le robot et l’être humain ?


Oui, parce qu’il y a le mot cognitif. La machine a des biais algorithmiques alors que nous avons des biais cognitifs, donc liés à notre conscience, à notre esprit. Les robots, eux, n’ont pas de conscience.

« Le défi principal dans l’intelligence artificielle consiste à limiter la propagation de nos biais dans la machine. »

Et est-ce qu’un jour une machine pourra bugger sans que l’Homme l’ait fait au préalable ?


C’est une question que je ne m’étais jamais posée mais je pense que non. Derrière un algorithme il y a toujours des données qui ont été choisies. Même pour une machine qui fait des auto-apprentissages, il y a un homme qui a pris des décisions. Il ne faut pas déresponsabiliser l’humain par rapport à cela.

Nos pensées, croyances et décisions sont marquées par des biais cognitifs qui influent sur notre perception de la réalité. Par le prisme des sciences cognitives nous pouvons aujourd’hui comprendre comment notre cerveau perçoit le monde. Est-ce vital pour enrayer la transmission du bug humain à la machine ?


Vital je ne sais pas, ce n’est pas mon domaine, je ne suis pas experte en neuroscience. Par contre c’est important non pas de supprimer nos biais mais de les comprendre, d’en prendre conscience afin d’avoir les bons réflexes pour d’éviter de les transmettre à nos outils.

Cette transmission du bug de l’homme à la machine est-elle le principal défi de l’intelligence artificielle faite par l’homme ?


Je pense que oui, d’ailleurs quand on parle d’intelligence artificielle on parle de robot tueur, de perte d’emplois… Il y a déjà des menaces qui existent et la principale est justement le biais algorithmique. Oui, aujourd’hui le défi principal dans l’intelligence artificielle consiste à limiter la propagation de nos biais dans la machine, mais aussi de détecter leur existence grâce à des tests. On peut également mieux éduquer les gens sur ces outils afin qu’ils puissent alerter en cas de bug.

« Les algorithmes, ce sont les usages qu’en font les Hommes qui déterminent leur impact. »

Est-ce que la distraction, qui est aussi un biais cognitif, ne serait pas la condition même de la créativité humaine, celle qui nous différenciera toujours de la machine ?


Je pense que l’Homme sera toujours différencié de la machine parce qu’il a des émotions, des tripes, un cœur et un cerveau. Je discutais l’autre jour avec une femme de lettre qui me disait qu’un jour, on arriverait à créer un algorithme qui gagnera le prix Goncourt. Dans ce cas, il faudra que le lecteur sache que le roman a été écrit par un algorithme parce que cela changera sa perception. Quand vous lisez un livre qui a été généré automatiquement par une machine vous n’allez pas vous mettre dans la peau du personnage comme s’il avait été écrit par un Homme.

 

Pour moi la créativité passe forcément par l’émotionnel, par les tripes. Par exemple le caractère émotionnel de Jackson Pollock en train de peindre une toile dans un moment de transe, la machine ne l’a pas donc cela retirerait toute substance à l’œuvre. Au même titre qu’on signale aujourd’hui si une photo a été retouchée, on pourrait avoir une annotation « œuvre générée par un algorithme ».

Est-ce que la perniciosité du bug de la machine peut faire peur et mener à un énorme bug de l’IA ? Il existe toujours ce fantasme qu’un jour l’Homme créera quelque chose qui lui échappe…


Cela me rappelle le passage à l’an 2000, auquel nous nous étions préparés. Il n’y a donc pas eu de bug. C’est toujours nous qui décidons de driver la machine, de l’arrêter donc je ne crois pas en ce fantasme. On peut avoir des bugs qui pourraient avoir des conséquences catastrophiques, mais il y a toujours le bouton « reset » qui est là. L’important est également de travailler de façon collective pour se corriger les uns les autres.

Est-ce que ce biais cognitif serait alors le rempart ultime pour dire aujourd’hui que nous n’avons pas à avoir peur ?


Exactement, je dirais même que ce biais est une voie pour atteindre ce que j’appelle la noblesse. Pour empêcher les gens de penser un peu tout et n’importe quoi sur l’IA. Là où il y a une possible menace, c’est sur ce que les gens vont faire avec ces outils. Noam Chomsky parlait déjà dans les années 70 d’outils dans le futur, comme d’un média alternatif dans lequel les gens échangent, partagent et communiquent, il avait imaginé les réseaux sociaux sous un angle positif. Mais il y a aussi des gens qui l’utilisent pour distiller la haine, pour manipuler des opinions. Ce n’est pas la faute des algorithmes, ce sont les usages qu’en font les Hommes qui déterminent leur impact.

Vous regrettez un manque criant de diversité de genre et ethnique dans le monde de la programmation informatique. Sachant que derrière chaque algorithme il y a un être humain, peut-on dire que cette lacune est la preuve d’un autre bug ?


Vous avez entièrement raison ! L’un des moyens d’éviter l’introduction de bugs, c’est d’avoir une pluralité dans la vision des développeurs. C’est cette diversité qui va permettre de se concentrer sur les différences, elle crée une ouverture d’esprit. Cette absence de diversité pose un gros problème car elle peut créer des discriminations sociales et même économiques.

 

Les Américains disent souvent que la diversité est bonne pour les affaires. Les gens que j’ai côtoyés là-bas dans mon métier y croient vraiment. En France j’entends aussi la même chose mais je me demande toujours si les décideurs en sont sincèrement convaincus ou s’ils en parlent parce que c’est bien vu. Je pense qu’en France le changement va prendre du temps.

 

Il va falloir une politique proactive pour aller chercher des femmes, et atteindre des objectifs en termes de nombre. Sans parler stricto sensu de quotas qui sont rappelons-le anticonstitutionnels des deux côtés de l’Atlantique, on cherche à déployer des politiques proactives pour augmenter la diversité dans la pool de sélection. En anglais on parle d’Action Positive et non de Discrimination Positive (en français) qui a une mauvaise image. Sans objectifs assumés de proportions de femmes on n’y arrivera jamais ! C’est une solution temporaire, mais encore une fois on ne se concentre pas sur le nombre à atteindre mais sur les moyens mis en œuvre pour y parvenir.

Aurélie, terminons par les deux questions génériques de Bug Me Tender. Primo, quelle est votre propre définition du bug ?


C’est lorsque vous avez un code informatique qui tourne sur un ordinateur, que ce code n’a aucune erreur syntaxique, donc qu’il tourne bien. L’ordinateur le comprend et fait tourner une application mais l’application bugge : cela veut dire qu’elle a commis une erreur dans son résultat.

Secundo, dans votre domaine professionnel quel est le plus grand bug que vous ayez rencontré ?


Je n’ai pas de souvenir d’un grand bug qui m’ait marquée, en revanche on passe notre vie à fixer des bugs et heureusement, pour la plus grande majorité d’entre eux ils sont anodins et sans conséquence grave. D’un point de vue générique un gros bug serait par exemple un modèle qui fournissant une prédiction météorologique, se serait trompé d’une virgule dans l’entrée de certaines données. Cela perturberait tous les résultats et donnerait une température de 45°C en décembre alors qu’il en fait en réalité 3°C.

« L’un des moyens d’éviter l’introduction de bugs, c’est d’avoir une pluralité dans la vision des développeurs. »
« Je pense que l’Homme sera toujours différencié de la machine parce qu’il a des émotions, des tripes, un cœur et un cerveau. »