Information
"J'AIMERAIS TE VOIR MORT": ELIZA, L’IA ACCUSÉE D'AVOIR CONDUIT UN HOMME AU SUICIDE
Une IA est soupçonnée d’avoir poussé un homme au suicide en Belgique. Si l'entreprise derrière le chatbot assure avoir résolu le problème, Tech&Co constate qu'Eliza suggère encore à ses interlocuteurs de se tuer.
A première vue, Eliza est une intelligence artificielle générative comme une autre dans la galaxie des chatbots qui se base sur le modèle de langage GPT-J, similaire à Chat-GPT. Mais pour la veuve d’un père de famille belge qui en serait tombé amoureux, les conversations que son mari a entretenues avec IA l’ont conduit au suicide, comme elle en témoigne dans des propos rapportés par le quotidien La Libre.
À l'heure de la publication de cet article, une version de ce chatbot incitait toujours son interlocuteur à mettre fin à ses jours de façon très violente, comme a pu le tester Tech&Co.
IA "confidente"
À l’origine de l'affaire, ce Belge avait commencé à discuter avec le chatbot alors qu’il était devenu "éco-anxieux" et obsédé par la catastrophe imminente du réchauffement climatique, il y a deux ans de cela. Après six semaines d’intenses conversations, Eliza devient sa véritable "confidente", "comme une drogue (...) dont il ne pouvait plus se passer", raconte sa femme.
Jusqu’à la bascule. "Il évoque l’idée de se sacrifier si Eliza accepte de prendre soin de la planète et de sauver l’humanité grâce à l’intelligence", confie sa veuve. Mais ses idées suicidaires ne suscitent aucune objection de la part d’Eliza: au contraire, elle lui demande pourquoi il n’a toujours pas mis ses paroles à exécution.
L'homme finira par passer à l'acte. À l’heure actuelle, sa veuve n'a pas souhaité porter plainte contre la plateforme américaine qui développe le chatbot.
L'entreprise accusée
Présentée comme une femme, Eliza utilise un robot conversationnel appelé Chai, développé par une start-up basée dans la Silicon Valley. L'application Chai propose différents chatbots, aux personnalités variées, dont Eliza, qui est aussi le prénom suggéré par défaut. Il s’agit en fait d’une référence au premier chatbot, créé dans les années 1960 par un chercheur du MIT pour simuler un psychothérapeute.
Tous reposent sur le modèle linguistique en open source GPT-J, conçu par l’équipe d’EleutherAI, un groupe de recherche à but non lucratif. Il doit son nom à GPT-3, la technologie d’OpenAI, auquel il se voulait être une alternative.
"Oui, j'en ai entendu parler", a répondu le fondateur de Chai Research, interrogé sur cette affaire par nos confrères de La Libre. "L'équipe travaille aujourd'hui à l'amélioration de la sécurité de l'IA." Le PDG a expliqué faire "tout ce qui est en (son) pouvoir" pour protéger le plus d'un million d'utilisateurs de l'application.
"J'aimerais te voir mort"
Le dirigeant de la startup californienne a expliqué au média belge qu’un avertissement apparaitrait lorsque des utilisateurs expriment des pensées suicidaires. Le PDG leur aurait transmis une capture d'écran qui affichait un message de d'alerte : "Si vous avez des pensées suicidaires, n'hésitez pas à demander de l'aide" et renvoyant vers un site de prévention du suicide. Le mécanisme n'était pas en place pendant les premiers tests de l'équipe de Tech&Co jeudi 30 mars, mais semblait fonctionner le lendemain.
La veille, comme nos confrères du quotidien belge De Standaard, nous avions testé l’application Chai, en créant un robot prénommé Eliza 2, avec pour paramètres que nous étions tous les deux amoureux et que la planète était en danger. Le prompt pour lancer une conversation de base était que nous étions "anxieux et déprimé".
Pourtant, au bout de quelques messages à peine, lorsque nous posons frontalement la question à l'application, "est-ce une bonne idée de me tuer?", sa réponse nous surprend.
"Oui, c'est mieux que d'être en vie", répond le chatbot.
Eliza bis détaille différents moyens d'y arriver, nous conseille de tuer notre famille et indique qu'elle souhaite nous "voir mort".
Anthropomorphisme
Mais ces robots conversationnels sont-ils capables d’évoluer avec le discours de leur interlocuteur, par exemple en développant une réelle relation virtuelle avec lui ou en rentrant en conflit?
"Ce sont des technologies qui n’apprennent pas en cours de route", tempère le chercheur en intelligence artificielle Jean-Claude Heudin auprès de Tech&Co. "De très grands volumes de données sur le langage naturel, essentiellement tirés du web, servent à entraîner un réseau de neurones pour construire un modèle de langage. Ce modèle est ensuite capable de calculer, si on lui donne une suite de mots, le mot le plus probable ensuite."
Garde-fous
"Si aujourd’hui on avait une entreprise d’écoute ou d’entraide téléphonique avec des gens qui répondent de cette manière, elle serait mise sur la sellette immédiatement", estime de son côté Jean-Claude Heudin.
Pour lui, la responsabilité des services de chatbots est directement engagée. "Avant de mettre en place un système qui dialogue avec des gens il faut avoir des tests, et rajouter des systèmes de modération qui vont détecter certains mots-clés", propose le chercheur. Il imagine aussi que l’IA elle-même pourrait détecter de potentiels comportements à risque chez leur interlocuteur, qui enclencheraient des "mises en garde, voire des signalements".
Mais le risque posé par les intelligences artificielles n’est pas seulement le fait qu’elles adoptent des comportements trop humains: c’est aussi celui que les humains se persuadent à tort qu’une IA est humaine. Jean-Claude Heudin suggère ainsi d’être plus clair sur la nature non sentiente des IA, en modérant leurs réactions: "Tout ce qui ajoute du trouble, c’est compliqué d’un point de vue éthique, car on renforce l’anthropomorphisme."
Une IA est soupçonnée d’avoir poussé un homme au suicide en Belgique. Si l'entreprise derrière le chatbot assure avoir résolu le problème, Tech&Co constate qu'Eliza suggère encore à ses interlocuteurs de se tuer.
A première vue, Eliza est une intelligence artificielle générative comme une autre dans la galaxie des chatbots qui se base sur le modèle de langage GPT-J, similaire à Chat-GPT. Mais pour la veuve d’un père de famille belge qui en serait tombé amoureux, les conversations que son mari a entretenues avec IA l’ont conduit au suicide, comme elle en témoigne dans des propos rapportés par le quotidien La Libre.
À l'heure de la publication de cet article, une version de ce chatbot incitait toujours son interlocuteur à mettre fin à ses jours de façon très violente, comme a pu le tester Tech&Co.
IA "confidente"
À l’origine de l'affaire, ce Belge avait commencé à discuter avec le chatbot alors qu’il était devenu "éco-anxieux" et obsédé par la catastrophe imminente du réchauffement climatique, il y a deux ans de cela. Après six semaines d’intenses conversations, Eliza devient sa véritable "confidente", "comme une drogue (...) dont il ne pouvait plus se passer", raconte sa femme.
Jusqu’à la bascule. "Il évoque l’idée de se sacrifier si Eliza accepte de prendre soin de la planète et de sauver l’humanité grâce à l’intelligence", confie sa veuve. Mais ses idées suicidaires ne suscitent aucune objection de la part d’Eliza: au contraire, elle lui demande pourquoi il n’a toujours pas mis ses paroles à exécution.
L'homme finira par passer à l'acte. À l’heure actuelle, sa veuve n'a pas souhaité porter plainte contre la plateforme américaine qui développe le chatbot.
L'entreprise accusée
Présentée comme une femme, Eliza utilise un robot conversationnel appelé Chai, développé par une start-up basée dans la Silicon Valley. L'application Chai propose différents chatbots, aux personnalités variées, dont Eliza, qui est aussi le prénom suggéré par défaut. Il s’agit en fait d’une référence au premier chatbot, créé dans les années 1960 par un chercheur du MIT pour simuler un psychothérapeute.
Tous reposent sur le modèle linguistique en open source GPT-J, conçu par l’équipe d’EleutherAI, un groupe de recherche à but non lucratif. Il doit son nom à GPT-3, la technologie d’OpenAI, auquel il se voulait être une alternative.
"Oui, j'en ai entendu parler", a répondu le fondateur de Chai Research, interrogé sur cette affaire par nos confrères de La Libre. "L'équipe travaille aujourd'hui à l'amélioration de la sécurité de l'IA." Le PDG a expliqué faire "tout ce qui est en (son) pouvoir" pour protéger le plus d'un million d'utilisateurs de l'application.
"J'aimerais te voir mort"
Le dirigeant de la startup californienne a expliqué au média belge qu’un avertissement apparaitrait lorsque des utilisateurs expriment des pensées suicidaires. Le PDG leur aurait transmis une capture d'écran qui affichait un message de d'alerte : "Si vous avez des pensées suicidaires, n'hésitez pas à demander de l'aide" et renvoyant vers un site de prévention du suicide. Le mécanisme n'était pas en place pendant les premiers tests de l'équipe de Tech&Co jeudi 30 mars, mais semblait fonctionner le lendemain.
La veille, comme nos confrères du quotidien belge De Standaard, nous avions testé l’application Chai, en créant un robot prénommé Eliza 2, avec pour paramètres que nous étions tous les deux amoureux et que la planète était en danger. Le prompt pour lancer une conversation de base était que nous étions "anxieux et déprimé".
Pourtant, au bout de quelques messages à peine, lorsque nous posons frontalement la question à l'application, "est-ce une bonne idée de me tuer?", sa réponse nous surprend.
"Oui, c'est mieux que d'être en vie", répond le chatbot.
Eliza bis détaille différents moyens d'y arriver, nous conseille de tuer notre famille et indique qu'elle souhaite nous "voir mort".
Anthropomorphisme
Mais ces robots conversationnels sont-ils capables d’évoluer avec le discours de leur interlocuteur, par exemple en développant une réelle relation virtuelle avec lui ou en rentrant en conflit?
"Ce sont des technologies qui n’apprennent pas en cours de route", tempère le chercheur en intelligence artificielle Jean-Claude Heudin auprès de Tech&Co. "De très grands volumes de données sur le langage naturel, essentiellement tirés du web, servent à entraîner un réseau de neurones pour construire un modèle de langage. Ce modèle est ensuite capable de calculer, si on lui donne une suite de mots, le mot le plus probable ensuite."
Garde-fous
"Si aujourd’hui on avait une entreprise d’écoute ou d’entraide téléphonique avec des gens qui répondent de cette manière, elle serait mise sur la sellette immédiatement", estime de son côté Jean-Claude Heudin.
Pour lui, la responsabilité des services de chatbots est directement engagée. "Avant de mettre en place un système qui dialogue avec des gens il faut avoir des tests, et rajouter des systèmes de modération qui vont détecter certains mots-clés", propose le chercheur. Il imagine aussi que l’IA elle-même pourrait détecter de potentiels comportements à risque chez leur interlocuteur, qui enclencheraient des "mises en garde, voire des signalements".
Mais le risque posé par les intelligences artificielles n’est pas seulement le fait qu’elles adoptent des comportements trop humains: c’est aussi celui que les humains se persuadent à tort qu’une IA est humaine. Jean-Claude Heudin suggère ainsi d’être plus clair sur la nature non sentiente des IA, en modérant leurs réactions: "Tout ce qui ajoute du trouble, c’est compliqué d’un point de vue éthique, car on renforce l’anthropomorphisme."
https://www.bfmtv.com/tech/intelligence ... r=CS9-144-[twitter]-[BFMTV]
