L’intelligence artificielle est-elle capable de véritablement comprendre le langage, au-delà de la simple imitation ? Une nouvelle étude suggère qu’un modèle de langage avancé pourrait posséder des capacités d’analyse linguistique comparables à celles d’un étudiant diplômé, remettant en question les limites supposées de l’IA.
Depuis Aristote, qui définissait l’homme comme « l’animal qui a un langage », la capacité de communiquer à travers un système complexe de règles est considérée comme une caractéristique fondamentale de l’humanité. Si des modèles comme ChatGPT peuvent générer du texte qui ressemble à une conversation humaine, des linguistes se demandent si ces systèmes peuvent réellement raisonner sur le langage lui-même, une aptitude qui distinguerait fondamentalement l’intelligence humaine de l’intelligence artificielle.
Gašper Beguš, linguiste à l’Université de Californie à Berkeley, Maksymilian Dabkowski, récemment diplômé de Berkeley en linguistique, et Ryan Rhodes de l’Université Rutgers, ont soumis plusieurs grands modèles de langage (LLM) à une série de tests rigoureux. L’un de ces tests consistait à demander aux LLM de déduire les règles d’un langage inventé. Si la plupart des modèles ont échoué à analyser ces règles de manière sophistiquée, un modèle en particulier a démontré des capacités surprenantes.
Ce modèle a été capable de décomposer des phrases en leurs constituants grammaticaux, de résoudre les ambiguïtés et d’utiliser des structures linguistiques complexes comme la récursivité – la capacité d’imbriquer des phrases les unes dans les autres. « Il était capable d’analyser le langage de la même manière qu’un étudiant diplômé en linguistique le ferait », explique Beguš, ajoutant que cette découverte « remet en question notre compréhension de ce que l’IA peut faire ».
Tom McCoy, linguiste informatique à l’Université Yale, qui n’a pas participé à l’étude, qualifie ce travail de « très important » et d’« opportun ». « À mesure que la société devient de plus en plus dépendante de cette technologie, il est de plus en plus important de comprendre où elle peut réussir et où elle peut échouer », souligne-t-il. L’analyse linguistique, selon lui, constitue un excellent moyen d’évaluer les capacités de raisonnement de ces modèles.
L’un des principaux défis de ces tests est de s’assurer que les modèles n’ont pas simplement mémorisé les réponses lors de leur entraînement. Les LLM sont formés sur des quantités massives de données textuelles, incluant des manuels de linguistique. Pour éviter cela, les chercheurs ont conçu un test en quatre parties basé sur des diagrammes arborescents, initialement introduits par Noam Chomsky dans son ouvrage de 1957, Structures syntaxiques. Ces diagrammes décomposent les phrases en leurs éléments constitutifs (groupes nominaux, groupes verbaux, noms, verbes, etc.).
Une partie du test s’est concentrée sur la récursivité. Une phrase simple comme « Le ciel est bleu » peut être intégrée dans une phrase plus complexe : « Jane a dit que le ciel était bleu ». Ce processus peut se répéter indéfiniment, comme dans l’exemple maladroit mais grammaticalement correct : « Maria se demandait si Sam savait qu’Omar avait entendu dire que Jane avait dit que le ciel était bleu ». La capacité à gérer cette complexité infinie est un signe de compréhension linguistique profonde.
Noam Chomsky et deux coauteurs avaient déjà exprimé leur scepticisme quant à la capacité des LLM à véritablement comprendre le langage, affirmant en 2023 dans le New York Times que « les explications correctes du langage sont compliquées et ne peuvent pas être apprises simplement en marinant dans le Big Data ». Selon ce point de vue, les modèles d’IA peuvent utiliser le langage, mais pas l’analyser de manière sophistiquée.
