Fini le perroquet stochastique ? Le modèle o1 d'OpenAI comprend la structure du langage
Vous vous êtes déjà demandé si les IA comprenaient vraiment ce qu’elles racontaient, ou si elles ne faisaient que recracher des mots à partir de statistiques liées aux mots ?
Oui, comme vous, je pensais jusqu’à présent qu’on était vraiment sur un déroulé textuel purement mathématique sans réelle compréhension. Hé bien des chercheurs de UC Berkeley viennent de mettre un gros pavé dans la mare en démontrant que le modèle o1 d’OpenAI est capable d’analyser le langage comme le ferait un étudiant en linguistique. Pas juste d’utiliser le langage, hein mais vraiment de l’analyser, le décortiquer, le comprendre dans sa structure profonde.
L’étude a été menée par Gašper Beguš, prof associé de linguistique à Berkeley, avec ses collègues Maksymilian Dąbkowski et Ryan Rhodes de Rutgers University et les résultats sont publiés dans IEEE Transactions on Artificial Intelligence, donc ça a l’air d’être du sérieux .
Leur truc, c’était de tester si les modèles de langage (LLM) pouvaient faire de la métalinguistique, qui est la capacité non pas simplement d’utiliser une langue, mais aussi de réfléchir sur la langue elle-même. C’est un truc que les humains font naturellement quand ils analysent une phrase, et qu’on a pour le moment jamais observé chez l’animal.
Pour leurs expériences, l’équipe a donc balancé 120 phrases complexes dans quatre modèles différents : GPT-3.5 Turbo, GPT-4, o1 d’OpenAI, et Llama 3.1 de Meta et ils ont regardé comment chaque modèle s’en sortait pour analyser la structure des phrases et résoudre les ambiguïtés, notamment avec la récursion.
La récursion , c’est un concept que Noam Chomsky a théorisé comme étant la caractéristique définitoire du langage humain. C’est en fait la capacité d’imbriquer des phrases dans d’autres phrases, à l’infini. Genre “Le chat que le chien que Pierre a vu a mordu dort”. Ouais, c’est tordu, mais c’est ça qui nous différencie aussi des autres animaux.
Et tous ces modèles ont réussi à identifier les phrases récursives, ce qui, jusque-là, n’a rien d’extraordinaire sauf que pour cartographier correctement la structure complexe des phrases, o1 a cartonné avec un score proche de 0.9 sur 1, contre une moyenne de 0.36 pour les autres. C’est un très gros écart.
Je vais vous donner un exemple concret. Avec la phrase “Unidentified flying objects may have conflicting characteristics” (les objets volants non identifiés peuvent avoir des caractéristiques contradictoires), o1 a correctement détecté la récursion. “Flying” modifie “objects”, et “unidentified” modifie “flying objects”. Il a même poussé le bouchon encore plus loin en proposant une extension de la phrase pour montrer qu’il avait compris le mécanisme.
Mais les chercheurs ne se sont pas arrêtés là car pour éviter que o1 ne triche en utilisant des données de son entraînement, ils ont inventé 30 mini-langues fictives avec leurs propres règles phonologiques. L’idée, c’était de voir si le modèle pouvait inférer les règles d’une langue qu’il n’a jamais vue. Et comme vous vous en doutez, o1 s’en est sorti comme un chef.
Bref, non seulement ces modèles peuvent utiliser le langage, mais certains peuvent “réfléchir” à la façon dont le langage est organisé.
Ce qui est dingue, c’est que cette étude relance le débat sur la compréhension des IA. Est-ce que ces modèles comprennent vraiment ce qu’ils font, ou est-ce qu’ils simulent très bien ? Beguš pense que cette capacité métalinguistique est “très conséquente” parce qu’elle montre que dans ces modèles, on a désormais quelque chose qu’on pensait réservé aux humains.
Attention cependant, qui dit capacité métalinguistique ne veut pas dire que l’IA est consciente ou qu’elle pense comme nous. Faut voir ça plutôt comme une capacité émergente qu’on n’a pas programmée explicitement, et qui est sacrément intéressante d’un point de vue scientifique.
Voilà, donc si comme moi, vous pensiez que ChatGPT ne faisait que du perroquet statistique, cette étude suggère visiblement que c’est un plus subtil que ça. Il faudra bien sûr plus d’études pour mieux comprendre ce phénomène mais il est maintenant clair que ces modèles récents ont des capacités qu’on croyait exclusives aux humains.






















