Par le
ChatGPT tient le devant de la scène depuis sa sortie le 30 novembre dernier, du fait de ses fonctionnalités bluffantes, notamment pour dialoguer et répondre à des questions, même complexes, de façon naturelle et réaliste.
Alors qu’on commence à avoir un peu de recul sur cet outil, des questions se posent : quelles sont les limites actuelles et futures de ChatGPT, et quels sont les marchés potentiels pour ce type de systèmes ?
ChatGPT est souvent décrit comme un futur concurrent de Google, voire comme un « Google killer » pour sa partie moteur de recherche : même si l’outil produit parfois des réponses baroques, voire carrément fausses, il répond de manière directe et ne propose pas simplement une liste ordonnée de documents, comme le moteur de recherche de Google.
Il y a là assurément un danger potentiel sérieux pour Google, qui pourrait menacer sa position de quasi-monopole sur les moteurs de recherche. Microsoft en particulier (principal investisseur dans OpenAI, qui a par ailleurs un accès privilégié à la technologie développée) travaille à intégrer ChatGPT à son moteur de recherche Bing, dans l’espoir de reprendre l’avantage sur Google.
Il y a toutefois plusieurs incertitudes concernant une telle perspective. Les requêtes dans les moteurs de recherche sont généralement composées de quelques mots, voire d’un seul mot, comme un événement ou un nom de personnalité. ChatGPT suscite en ce moment la curiosité d’une population technophile, mais ceci est très différent de l’usage classique, grand public, d’un moteur de recherche.
On peut aussi imaginer ChatGPT accessible à travers une interface vocale, ce qui éviterait d’avoir à taper la requête. Mais les systèmes comme Alexa d’Amazon ont eu du mal à s’imposer, et restent confinés à des usages précis et limités (demander des horaires de cinéma, la météo…). Il y a 10 ans, Alexa était vu comme l’avenir de la société de distribution américaine, mais est aujourd’hui un peu à l’abandon, parce qu’Amazon n’a jamais réussi à monétiser son outil, c’est-à-dire à le rendre économiquement profitable.
ChatGPT peut-il réussir là où Alexa a en partie échoué ?
Bien sûr, l’avenir de ChatGPT ne devrait pas se résumer à la recherche d’information. Il existe une foule d’autres situations où on a besoin de produire du texte : production de lettres types, de résumés, de textes publicitaires…
ChatGPT est aussi un bon outil d’aide à l’écriture. On voit déjà différents usages : solliciter ChatGPT pour partir de quelques paragraphes qui peuvent susciter l’inspiration et éviter la peur de la
On peut évidemment imaginer des usages plus problématiques et de nombreux articles ont déjà été publiés dans la presse concernant par exemple l’usage de ChatGPT dans l’enseignement, avec des craintes, justifiées ou non. On peut ainsi imaginer des étudiants produisant des devoirs grâce à ChatGPT, mais aussi des enseignants utilisant l’outil pour rédiger leurs appréciations, ou des chercheurs produisant des articles scientifiques semi-automatiquement. Il y a beaucoup d’articles sur les étudiants dans la presse, mais ce ne seront pas les seuls à faire un usage éventuellement problématique de ce genre de technologie.
Il y a bien sûr lieu de se poser des questions, mais la technologie est là et ne va pas disparaître. Il semble donc primordial d’en parler, et de former les élèves et les étudiants à ces outils, pour expliquer leur intérêt et leurs limites, et discuter de la place qu’ils devraient avoir dans la formation.
Enfin, à l’extrême du spectre des usages problématiques,
Il ne faut pas exagérer ces dangers, mais ceux-ci sont réels. Même si des détecteurs de texte produits par ChatGPT commencent à apparaître, ceux-ci seront nécessairement imparfaits, car les textes produits sont trop divers et trop réalistes pour pouvoir être reconnus à 100 % par un système… à part par la société OpenAI elle-même, évidemment !
La masse des interactions avec ChatGPT depuis son ouverture au grand public le 30 novembre a déjà permis d’identifier certaines de ses limites.
ChatGPT fournit en général des réponses correctes, souvent bluffantes… mais si on l’interroge sur des domaines qu’il ne maîtrise pas, voire si on invente une question en apparence sérieuse mais en fait absurde (par exemple sur des faits ou des personnes qui n’existent pas), le système produit une réponse en apparence tout aussi sérieuse, mais en fait complètement absurde ou inventée.
Les exemples sur Twitter sont légion : ChatGPT propose des références scientifiques qui n’existent pas, des explications fumeuses, voire une démonstration où est postulé que -4 = -5. Ceci serait une richesse, si ChatGPT était juste un outil destiné à produire des histoires, des pastiches ou des parodies.
Mais ce que le public attend, c’est avant tout des réponses avérées à des questions réelles, ou l’absence de réponse dans le cas contraire (si le système ne peut trouver la réponse, ou si la question est absurde). C’est la principale faiblesse de l’outil, et donc probablement aussi le principal obstacle pour en faire un concurrent du moteur de recherche de Google, comme on l’a déjà vu.
Pour cette raison, une conférence comme ICML (International Conference on Machine Learning) a déjà interdit aux chercheurs de soumettre des articles produits en partie avec ChatGPT. Stackoverflow, une plate-forme d’échanges entre développeurs informatiques, a aussi interdit les réponses générées par ChatGPT, ayant peur de se retrouver submergée par un flux de réponses générées automatiquement (et en partie fausses).
Ceci est dû au fait que le système n’a pas de « modèle de monde ». Autrement dit, il ne sait pas ce qui est vrai, il peut générer des absurdités, des fausses informations, inventer des choses de toute pièce avec l’aplomb d’un menteur professionnel. C’est ce que l’on appelle les « hallucinations », comme si ChatGPT voyait alors des éléments imaginaires (en fait, on ne peut pas vraiment dire que le système ment, dans la mesure où il n’a pas de modèle de vérité).
Ceci est surtout vrai quand la question elle-même n’est pas tournée vers la réalité, auquel cas le système se met à inventer : en ce sens, GPT n’est ni un journaliste, ni un savant, mais plutôt un raconteur d’histoires.
Il y a fort à parier qu’OpenAI essaie dans de futures versions de fournir un système qui évite d’affabuler quand le contexte ne s’y prête pas, grâce à une analyse fine de la question posée, ou l’ajout de connaissances validées (comme le font déjà Amazon avec Alexa ou Google avec son knowledge graph, qui est tout simplement une base de connaissances).
Google, justement, à travers sa succursale Deepmind, travaille actuellement sur un modèle similaire à ChatGPT appelé Sparrow, en essayant de renforcer la fiabilité du système. Il est par exemple question que le système fournisse une liste de sources sur laquelle il s’appuie pour fournir une réponse.
L’autre limite de ce système est qu’il repose sur des données (en gros, l’ensemble des textes disponibles sur Internet) à la mi-2021 et que ses connaissances ne peuvent pas être mises à jour en direct. C’est évidemment un problème, ChatGPT ne peut pas répondre de façon pertinente à des questions sur l’actualité, alors qu’il s’agit d’un aspect particulièrement important.
La mise à jour en continu du modèle est donc logiquement un des prochains buts d’OpenAI, qui n’en fait pas mystère. Réviser un modèle, le réentraîner « à partir de zéro » (from scratch) est un processus long et coûteux, qui peut mettre en jeu des milliers de GPU ou de TPU pendant plusieurs semaines ou plusieurs mois, ce qui n’est pas en phase avec la rapidité de l’actualité. La prochaine grande innovation consistera donc en des systèmes capables de se mettre à jour de manière plus localisée en temps réel (ou quasiment), et ceci est sans doute pour bientôt.
Mais le principal enjeu est évidemment celui de l’acceptabilité. On l’a vu : le débat est déjà lancé sur l’influence d’un tel système sur l’éducation. Plus globalement, si un système tel que ChatGPT est par exemple intégré à un logiciel comme Word, se posera aussi la question de qui contrôle ce qui est produit. La voie est étroite entre des systèmes d’IA pas assez contrôlés et capables de produire des contenus racistes ou homophobes, et des systèmes trop bridés qui interdiraient de produire certains contenus.
En conclusion, et comme dit l’adage populaire : il est difficile de faire des prévisions, surtout quand elles concernent l’avenir. Il y a de nombreuses inconnues autour de technologies de type ChatGPT : les perspectives de tels outils sont assez vertigineuses, susceptibles d’avoir un impact profond sur la société, mais en même temps leur potentiel réel et commercial devra passer l’épreuve du monde réel.
Ce qui est certain, c’est que les bouleversements actuels devraient inciter au développement d’instituts (au sein des universités, mais aussi à travers des fondations ou des associations capables d’atteindre le grand public) permettant une réflexion large et ouverte sur ces technologies, impliquant tous les acteurs de la société, car c’est la société tout entière qui est déjà impactée, comme en témoigne l’intérêt actuel autour de ChatGPT.
Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Par le
Véritable coqueluche de la rentrée 2023, le système interactif ChatGPT a soulevé une vague d’engouement, puis d’interrogations et d’inquiétudes. En très peu de temps, il a rassemblé un million d’utilisateurs et a été testé sur de nombreuses tâches, principalement textuelles : demande d’information, dissertation, génération de fictions, programmation informatique, traduction de textes, écriture de poèmes…
Une des raisons de cette popularité est que ChatGPT a montré des capacités impressionnantes dans de nombreux domaines ainsi que des capacités émergentes, par exemple la génération de code informatique et la génération « multimodale ». Une autre raison est que son interface de dialogue permet aux utilisateurs d’interagir avec un grand modèle de langage sous-jacent GPT3.5 de manière plus efficace et efficiente qu’avant, par le biais de chats interactifs.
Ces résultats ont poussé à se demander si on pouvait utiliser ces grands systèmes de langage à des fins professionnelles, documentaires, scolaires ou encore artistiques. Il est possible que ce type de systèmes transforme certains métiers et qu’il touche en profondeur l’enseignement et l’éducation – les enfants étant particulièrement vulnérables devant ces systèmes.
ChatGPT produit des textes quasiment parfaits d’un point de vue grammatical bien qu’il n’ait aucune compréhension de ce qu’il produit. Il a des capacités vraiment étonnantes et certains cas montrés en exemple sont remarquables. Ses textes, souvent complexes, peuvent ressembler aux données originales ayant servi à l’apprentissage et en possèdent certaines caractéristiques.
Mais avec l’apparence du vrai, ces résultats peuvent être parfois totalement faux. Quels sont la nature et le statut de ces paroles artificielles sans raisonnement associé ? La compréhension de la langue naturelle implique des raisonnements complexes et variés, spatiaux, temporels, ontologiques, arithmétiques, basés sur des connaissances et permettant de relier les objets et actions dans le monde réel, ce que ChatGPT est loin d’intégrer n’ayant aucune perception phénoménale.
Si quelques exemples choisis peuvent suggérer que les modèles de langue sont capables de raisonner, ils ne sont en fait capables d’aucun raisonnement logique et n’ont pas d’intuition, pas de pensée, pas d’émotions. ChatGPT s’exprime avec assurance en bon français comme dans d’autres langues après avoir englouti des milliards de données, mais ne comprend rien à ce qu’il dit et peut très facilement générer des fake news, des discriminations, des injustices et amplifier la guerre de l’information.
Ces approches peu transparentes peuvent cependant être évaluées sous de nombreux aspects sur des données existantes (ce sont des benchmarks) pour montrer le manque de performance des systèmes sur des problèmes de raisonnements logiques comme la déduction, l’induction ou l’abduction – ou encore le sens commun.
L’éducation peut s’emparer de ce sujet pour montrer les limites de cette langue artificielle désincarnée, et faire travailler les élèves sur une meilleure compréhension des concepts de la modélisation numérique, de l’apprentissage des machines et l’intelligence artificielle.
Ceci est particulièrement important car les enfants peuvent être plus particulièrement crédules devant ces systèmes doués de parole comme ChatGPT.
Lauréat du prix Nobel d’économie, l’américain Richard Thaler a mis en lumière en 2008 le concept de « nudge », technique qui consiste à inciter les individus à changer de comportement sans les contraindre et en utilisant leurs biais cognitifs.
De plus, nous avons pu montrer que les jeunes enfants suivaient plus les suggestions de systèmes de dialogue embarqués dans des objets (comme un Google Home ou un robot) que celles d’un humain. Notre démarche de recherche était basée un jeu sur l’altruisme et menée dans le cadre de la chaire IA Humaaine (pour Human-Machine Affective Interaction and Ethics) sur les nudges_ numériques amplifiés par l’IA. Cette chaire interdisciplinaire, sorte de laboratoire d’études des comportements d’interaction humain-machine associe des chercheurs en informatique, linguistique et économie comportementale.
Les agents conversationnels comme ChatGPT pourraient devenir un moyen d’influence des individus. Ils ne sont pour l’instant ni régulés, ni évalués et très opaques. Il est donc important de bien comprendre leur fonctionnement et limites avant de les utiliser, et dans ce cadre, l’école a un grand rôle à jouer.
ChatGPT est un système multilingue multitâche interactif utilisant une IA générative en libre accès sur Internet. Les systèmes d’IA générative s’appuient sur des algorithmes capables d’encoder de gigantesques volumes de données (textes, poèmes, programmes informatiques, symboles) et de générer des textes syntaxiquement corrects pour un grand nombre de tâches.
Les « transformers » sont un de ces types d’algorithmes. Ce sont des réseaux de neurones qui apprennent les régularités les plus saillantes des mots dans de nombreux contextes et sont ainsi capables de prédire le mot ou la séquence susceptible d’être pertinente dans la suite d’un texte donné.
ChatGPT est le successeur du grand modèle de langage (LLM) InstructGPT, auquel a été ajoutée une interface de dialogue. InstructGPT marche mieux que les précédentes approches : en effet, les développeurs ont réussi à mieux mettre en adéquation l’IA générative (de type GPT3.5) avec l’intention de l’utilisateur, et ce sur un large éventail de tâches. Pour cela, ils utilisent l’« apprentissage par renforcement », c’est-à-dire que l’IA apprend aussi des commentaires que les humains font sur ses textes.
Le fait d’augmenter la taille des modèles de langage ne les rend pas intrinsèquement plus aptes à suivre l’intention de l’utilisateur. Ces modèles de langue de grande taille peuvent générer des résultats qui sont mensongers, toxiques ou tout simplement inutiles pour l’utilisateur, car ils ne sont pas alignés sur les intentions de l’utilisateur.
Mais les résultats montrent que le réglage fin grâce à des retours humains est une orientation prometteuse pour aligner les modèles de langage avec l’intention humaine, même si InstructGPT commet encore des erreurs simples.
Ainsi, la performance technologique de ChatGPT provient donc de la taille de l’IA générative utilisant des « transformers » (175 milliards de paramètres), de l’alignement des réponses de l’IA par apprentissage par renforcement mais également de la possibilité de dialoguer avec ce système.
ChatGPT de Microsoft-OpenAI est une menace pour le modèle d’interrogation de Google par sa puissance de recherche et de production. Google positionne Bard comme un moteur de recherche interactif plus réfléchi et plus précis, qui n’est pas entravé par les problèmes d’actualité rencontrés par ChatGPT puisqu’il a été entraîné sur des données disponibles avant septembre 2021 – et ne connaît donc pas les actualités plus récentes (pour l’instant).
La société chinoise Baidu a également un projet d’IA générative avec Ernie Bot. Le projet « BigScience », créé par HuggingFace et incluant des financements du CNRS et du ministère de la recherche a permis de créer « Bloom », une IA générative utilisant un modèle de langage de 176 milliards de paramètres entraîné sur des données multilingues multitâches et surtout en « science ouverte » ! Ce projet innovant est une coopération public/privé et a embarqué plus de mille chercheurs de nombreux pays. Il pourrait en découler un « ChatBloom ».
Le contexte actuel est marqué par des réalisations et des applications de ces systèmes largement diffusées dont l’impact massif nécessite une réflexion éthique.
Ces IA génératives multilingues, multitâches et interactives posent de nombreuses questions : les données choisies pour les entrainer, la répartition des langues dans un système multilingue, les paramètres d’optimisation des systèmes, la propriété des contenus générés, etc.
De plus, le pouvoir génératif des IA est souvent amplifié par des filtres qui permettent de censurer certains sujets et des modules de déduction logique dans le but de vérifier la véracité des énoncés. Une poignée d’humains (ingénieurs, transcripteurs, évaluateurs) ont créé ce type de système utilisé par des millions de personnes.
Ces systèmes d’intelligence artificielle utilisés massivement posent donc des défis éthiques majeurs parmi lesquels la transformation de la notion de production d’information, le rapport à la vérité et les risques massifs liés à la désinformation et la manipulation.
Pour en savoir plus, retrouvez l’autrice dans « Des robots et des hommes, mythes, fantasmes et réalité », aux éditions Plon et « Les robots émotionnels : et l’éthique dans tout cela ? », aux éditions de l’Observatoire.
Laurence Devillers, Professeur en Intelligence Artificielle, Sorbonne Université
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Par le
ChatGPT tient le devant de la scène depuis sa sortie le 30 novembre dernier, du fait de ses fonctionnalités bluffantes, notamment pour dialoguer et répondre à des questions, même complexes, de façon naturelle et réaliste.
Alors qu’on commence à avoir un peu de recul sur cet outil, des questions se posent : quelles sont les limites actuelles et futures de ChatGPT, et quels sont les marchés potentiels pour ce type de systèmes ?
ChatGPT est souvent décrit comme un futur concurrent de Google, voire comme un « Google killer » pour sa partie moteur de recherche : même si l’outil produit parfois des réponses baroques, voire carrément fausses, il répond de manière directe et ne propose pas simplement une liste ordonnée de documents, comme le moteur de recherche de Google.
Il y a là assurément un danger potentiel sérieux pour Google, qui pourrait menacer sa position de quasi-monopole sur les moteurs de recherche. Microsoft en particulier (principal investisseur dans OpenAI, qui a par ailleurs un accès privilégié à la technologie développée) travaille à intégrer ChatGPT à son moteur de recherche Bing, dans l’espoir de reprendre l’avantage sur Google.
Il y a toutefois plusieurs incertitudes concernant une telle perspective. Les requêtes dans les moteurs de recherche sont généralement composées de quelques mots, voire d’un seul mot, comme un événement ou un nom de personnalité. ChatGPT suscite en ce moment la curiosité d’une population technophile, mais ceci est très différent de l’usage classique, grand public, d’un moteur de recherche.
On peut aussi imaginer ChatGPT accessible à travers une interface vocale, ce qui éviterait d’avoir à taper la requête. Mais les systèmes comme Alexa d’Amazon ont eu du mal à s’imposer, et restent confinés à des usages précis et limités (demander des horaires de cinéma, la météo…). Il y a 10 ans, Alexa était vu comme l’avenir de la société de distribution américaine, mais est aujourd’hui un peu à l’abandon, parce qu’Amazon n’a jamais réussi à monétiser son outil, c’est-à-dire à le rendre économiquement profitable.
ChatGPT peut-il réussir là où Alexa a en partie échoué ?
Bien sûr, l’avenir de ChatGPT ne devrait pas se résumer à la recherche d’information. Il existe une foule d’autres situations où on a besoin de produire du texte : production de lettres types, de résumés, de textes publicitaires…
ChatGPT est aussi un bon outil d’aide à l’écriture. On voit déjà différents usages : solliciter ChatGPT pour partir de quelques paragraphes qui peuvent susciter l’inspiration et éviter la peur de la
On peut évidemment imaginer des usages plus problématiques et de nombreux articles ont déjà été publiés dans la presse concernant par exemple l’usage de ChatGPT dans l’enseignement, avec des craintes, justifiées ou non. On peut ainsi imaginer des étudiants produisant des devoirs grâce à ChatGPT, mais aussi des enseignants utilisant l’outil pour rédiger leurs appréciations, ou des chercheurs produisant des articles scientifiques semi-automatiquement. Il y a beaucoup d’articles sur les étudiants dans la presse, mais ce ne seront pas les seuls à faire un usage éventuellement problématique de ce genre de technologie.
Il y a bien sûr lieu de se poser des questions, mais la technologie est là et ne va pas disparaître. Il semble donc primordial d’en parler, et de former les élèves et les étudiants à ces outils, pour expliquer leur intérêt et leurs limites, et discuter de la place qu’ils devraient avoir dans la formation.
Enfin, à l’extrême du spectre des usages problématiques,
Il ne faut pas exagérer ces dangers, mais ceux-ci sont réels. Même si des détecteurs de texte produits par ChatGPT commencent à apparaître, ceux-ci seront nécessairement imparfaits, car les textes produits sont trop divers et trop réalistes pour pouvoir être reconnus à 100 % par un système… à part par la société OpenAI elle-même, évidemment !
La masse des interactions avec ChatGPT depuis son ouverture au grand public le 30 novembre a déjà permis d’identifier certaines de ses limites.
ChatGPT fournit en général des réponses correctes, souvent bluffantes… mais si on l’interroge sur des domaines qu’il ne maîtrise pas, voire si on invente une question en apparence sérieuse mais en fait absurde (par exemple sur des faits ou des personnes qui n’existent pas), le système produit une réponse en apparence tout aussi sérieuse, mais en fait complètement absurde ou inventée.
Les exemples sur Twitter sont légion : ChatGPT propose des références scientifiques qui n’existent pas, des explications fumeuses, voire une démonstration où est postulé que -4 = -5. Ceci serait une richesse, si ChatGPT était juste un outil destiné à produire des histoires, des pastiches ou des parodies.
Mais ce que le public attend, c’est avant tout des réponses avérées à des questions réelles, ou l’absence de réponse dans le cas contraire (si le système ne peut trouver la réponse, ou si la question est absurde). C’est la principale faiblesse de l’outil, et donc probablement aussi le principal obstacle pour en faire un concurrent du moteur de recherche de Google, comme on l’a déjà vu.
Pour cette raison, une conférence comme ICML (International Conference on Machine Learning) a déjà interdit aux chercheurs de soumettre des articles produits en partie avec ChatGPT. Stackoverflow, une plate-forme d’échanges entre développeurs informatiques, a aussi interdit les réponses générées par ChatGPT, ayant peur de se retrouver submergée par un flux de réponses générées automatiquement (et en partie fausses).
Ceci est dû au fait que le système n’a pas de « modèle de monde ». Autrement dit, il ne sait pas ce qui est vrai, il peut générer des absurdités, des fausses informations, inventer des choses de toute pièce avec l’aplomb d’un menteur professionnel. C’est ce que l’on appelle les « hallucinations », comme si ChatGPT voyait alors des éléments imaginaires (en fait, on ne peut pas vraiment dire que le système ment, dans la mesure où il n’a pas de modèle de vérité).
Ceci est surtout vrai quand la question elle-même n’est pas tournée vers la réalité, auquel cas le système se met à inventer : en ce sens, GPT n’est ni un journaliste, ni un savant, mais plutôt un raconteur d’histoires.
Il y a fort à parier qu’OpenAI essaie dans de futures versions de fournir un système qui évite d’affabuler quand le contexte ne s’y prête pas, grâce à une analyse fine de la question posée, ou l’ajout de connaissances validées (comme le font déjà Amazon avec Alexa ou Google avec son knowledge graph, qui est tout simplement une base de connaissances).
Google, justement, à travers sa succursale Deepmind, travaille actuellement sur un modèle similaire à ChatGPT appelé Sparrow, en essayant de renforcer la fiabilité du système. Il est par exemple question que le système fournisse une liste de sources sur laquelle il s’appuie pour fournir une réponse.
L’autre limite de ce système est qu’il repose sur des données (en gros, l’ensemble des textes disponibles sur Internet) à la mi-2021 et que ses connaissances ne peuvent pas être mises à jour en direct. C’est évidemment un problème, ChatGPT ne peut pas répondre de façon pertinente à des questions sur l’actualité, alors qu’il s’agit d’un aspect particulièrement important.
La mise à jour en continu du modèle est donc logiquement un des prochains buts d’OpenAI, qui n’en fait pas mystère. Réviser un modèle, le réentraîner « à partir de zéro » (from scratch) est un processus long et coûteux, qui peut mettre en jeu des milliers de GPU ou de TPU pendant plusieurs semaines ou plusieurs mois, ce qui n’est pas en phase avec la rapidité de l’actualité. La prochaine grande innovation consistera donc en des systèmes capables de se mettre à jour de manière plus localisée en temps réel (ou quasiment), et ceci est sans doute pour bientôt.
Mais le principal enjeu est évidemment celui de l’acceptabilité. On l’a vu : le débat est déjà lancé sur l’influence d’un tel système sur l’éducation. Plus globalement, si un système tel que ChatGPT est par exemple intégré à un logiciel comme Word, se posera aussi la question de qui contrôle ce qui est produit. La voie est étroite entre des systèmes d’IA pas assez contrôlés et capables de produire des contenus racistes ou homophobes, et des systèmes trop bridés qui interdiraient de produire certains contenus.
En conclusion, et comme dit l’adage populaire : il est difficile de faire des prévisions, surtout quand elles concernent l’avenir. Il y a de nombreuses inconnues autour de technologies de type ChatGPT : les perspectives de tels outils sont assez vertigineuses, susceptibles d’avoir un impact profond sur la société, mais en même temps leur potentiel réel et commercial devra passer l’épreuve du monde réel.
Ce qui est certain, c’est que les bouleversements actuels devraient inciter au développement d’instituts (au sein des universités, mais aussi à travers des fondations ou des associations capables d’atteindre le grand public) permettant une réflexion large et ouverte sur ces technologies, impliquant tous les acteurs de la société, car c’est la société tout entière qui est déjà impactée, comme en témoigne l’intérêt actuel autour de ChatGPT.
Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Par le
La sortie de ChatGPT le 30 novembre dernier a marqué une nouvelle étape dans le développement des technologies de traitement des langues. C’est en tout cas la première fois qu’un système d’IA, directement issu de la recherche, suscite un tel engouement : de nombreux articles sont parus dans la presse spécialisée mais aussi générale. ChatGPT (ou OpenAI, la société qui développe ChatGPT, ou les deux) sont régulièrement en top tendance sur Twitter aujourd’hui encore.
Pourquoi un tel écho ? Les capacités de ChatGPT marquent-elles un tournant par rapport aux précédentes technologies capables de générer des textes ?
Clairement, ChatGPT a permis un saut qualitatif : il est capable de répondre, de manière souvent pertinente, à presque n’importe quelle requête en langage naturel. GPT2, puis GPT3 – les précédents modèles de langage mis au point par OpenAI – étaient déjà très forts pour générer du texte à partir de quelques mots ou phrases donnés en amorce (ce que l’on appelle le « prompt ») : on parlait souvent de « perroquets » (stochastic parrots), comme l’a proposé Emily Bender, et de nombreux autres chercheurs critiques de ces techniques. En effet, on pouvait dire que ces systèmes produisaient du texte à partir de bouts de phrases tirées des immenses corpus à leur disposition… même s’il faut nuancer cette image du perroquet : les systèmes ne répètent pas des extraits mot à mot, mais produisent en général un texte original en reprenant, paraphrasant, combinant des éléments vus dans des corpus variés.
ChatGPT reprend ces caractéristiques, mais la partie « chat » (dialogue) y ajoute une dimension tout à fait différente, et en apparence souvent bluffante.
Le système ne produit plus juste un paragraphe à partir d’une phrase donnée en entrée. Il est maintenant capable de répondre correctement à des questions simples comme à des questions complexes, il peut fournir des éléments de raisonnement, s’exprimer dans différentes langues, analyser ou produire du code informatique, entre autres.
Par exemple, si on lui demande si deux personnages ont pu se rencontrer, le système est capable de déterminer les dates correspondant à leur existence,
De ce point de vue, ChatGPT a une longueur d’avance sur ses concurrents.
Concernant le fonctionnement du système, difficile d’en dire plus, car OpenAI, malgré son nom, développe des systèmes fermés. C’est-à-dire que le code informatique (code source) utilisé n’est pas disponible et que les recherches liées à ChatGPT restent pour l’instant en grande partie un secret industriel – même si, évidemment, d’autres équipes travaillent sur des systèmes similaires, aussi à base d’apprentissage profond. On a donc une idée de ce qui est utilisé par OpenAI.
D’autres entreprises ont gardé un modèle plus ouvert, par exemple Meta avec les travaux menés à FAIR, en général ouverts et publiés dans les principales conférences du domaine. Mais, plus généralement, on constate de plus en plus une fermeture des recherches. Par exemple, alors qu’Apple a toujours eu un modèle de développement privé et très secret, Deepmind avait un modèle ouvert et l’est sans doute un peu moins, maintenant que l’entreprise est sous le contrôle de Google.
Le système ChatGPT lui-même pourrait devenir commercial : OpenAI est financé par Microsoft qui pourrait décider de fermer l’accès au système un jour prochain, si c’est son intérêt.
En attendant, OpenAI bénéficie de l’énorme publicité que lui apporte son outil, et aussi de toutes les interactions des utilisateurs avec lui. Si un utilisateur signale qu’une réponse n’est pas bonne, ou demande à l’outil de reformuler sa réponse en tenant compte d’un élément en plus, c’est autant d’information que le système emmagasine et pourra réutiliser pour affiner sa réponse la prochaine fois, sur la requête posée ou sur une requête similaire. En testant ChatGPT,
Pour en revenir au système lui-même, la partie dialogue est donc ce qui fait la force et la particularité de ChatGPT (par rapport à GPT3 par exemple). Il ne s’agit plus d’un « simple » modèle de langage capable de générer du texte « au kilomètre », mais d’un véritable système de dialogue. Celui-ci a probablement bénéficié de millions ou de milliards d’exemples évalués par des humains, et la phase actuelle – où des centaines de milliers d’utilisateurs « jouent » quasi gratuitement avec le système – permet encore de l’améliorer en continu, puisque toutes les interactions sont évidemment enregistrées et exploitées pour cela.
Il est aujourd’hui assez simple d’accéder à des corpus de milliards de mots pour mettre au point un modèle de langage de type « GPT », au moins pour les langues bien répandues sur Internet.
Mais les données ayant permis la mise au point de ChatGPT (dialogues, interactions avec des humains) ne sont, elles, pas publiques, et c’est ce qui donne un avantage important pour OpenAI face à la concurrence.
Par exemple, Google dispose de données différentes, mais sans doute aussi exploitables pour ce type de systèmes – d’autant que Google a développé depuis plusieurs années un graphe de connaissances qui pourrait permettre de générer des réponses avec une meilleure fiabilité que ChatGPT. Notamment, l’analyse des enchaînements de requêtes issus du moteur de recherche de Google pourrait fournir des informations précieuses pour guider l’interaction avec l’utilisateur… Mais, en attendant, c’est OpenAI qui dispose de ChatGPT, et non Google : OpenAi a l’avantage.
De fait, même s’il est possible de
On peut par exemple citer Meta, qui en novembre dernier a dû retirer son système appelé « Galactica » deux jours après l’avoir mis en ligne. Galactica avait été entraîné sur le domaine scientifique et pensé pour offrir des services aux chercheurs. Il a d’abord été présenté comme
À l’inverse, ChatGPT est toujours en ligne, et suscite toujours autant de passion auprès d’un large public. Des questions demeurent cependant : quel impact aura ChatGPT ? Quelles applications en seront dérivées ? Et quel modèle économique la compagnie OpenAI (et Microsoft, son principal investisseur) vise-t-elle ?
Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.