L’équation du sens

Chaque fois que vous discutez avec une IA, vous parlez à l’une des machines les plus coûteuses jamais construites, et ni vous ni ses créateurs ne pouvez expliquer pleinement comment elle fait ce qu’elle fait. L’intelligence artificielle ne cesse de gagner en compétences, mais seulement en devenant considérablement plus onéreuse. Chaque avancée majeure a nécessité plus de données, plus de paramètres, du matériel plus spécialisé et plus d’énergie. Le schéma est familier : des modèles plus grands, entraînés sur plus de textes, pendant plus longtemps et à un coût plus élevé.

Cette approche a fonctionné remarquablement bien. Elle a également créé un problème discret. L’efficacité s’améliore continuellement et les capacités d’hier coûtent chaque année moins cher. Mais la frontière technologique est une autre affaire. Chaque nouvel incrément de capacité à la pointe du progrès coûte plus cher que le précédent, et rien dans le paradigme actuel ne suggère que cela changera de soi-même.

Il existe une autre voie.

Si nous comprenions mieux comment le sens lui-même fonctionne, nous pourrions le représenter directement au lieu de l’approcher par une mise à l’échelle toujours plus grande. Cette possibilité change l’économie de l’intelligence.

À l’intérieur de la boîte noire

Les humains utilisent le sens quotidiennement sans savoir comment ils s’y prennent réellement. Nous comprenons instantanément le sarcasme, l’implication et le contexte, mais nous ne pouvons pas en expliquer les mécanismes internes.

L’IA est confrontée au même problème, sous un autre angle. Elle transforme chaque mot en une longue liste de chiffres et apprend à prédire le mot suivant en étudiant des milliards de phrases. Grâce à des quantités massives de données d’entraînement, elle devient extrêmement douée pour prédire la suite. Que cela soit considéré comme de la compréhension est un débat que je laisserai de côté. Le point le plus simple est que personne ne peut ouvrir le modèle et pointer du doigt l’endroit où réside le sens ni comment il opère.

Les humains comme les IA actuelles utilisent le sens sans véritablement comprendre son fonctionnement.

Il existe pourtant une différence révélatrice. Lorsque les chercheurs décortiquent les modèles d’IA, ils ne cessent de trouver des indices de géométrie : des concepts qui se comportent comme des directions, des sens qui s’additionnent et se soustraient. La structure du sens semble être présente. Les modèles ont simplement dû la redécouvrir de zéro, à un coût énorme, parce que personne ne l’a théorisée par écrit.

Les mots sont le sens au repos. Les phrases sont le sens en mouvement. Le sens se compose, il ne s’extrait pas simplement : les mots marquent des coordonnées dans l’espace sémantique, et les phrases y tracent des chemins, chaque mot remodelant le contexte des autres.

Le sens n’a pas besoin de devenir transparent

L’idée que le sens puisse un jour être exprimé mathématiquement est facile à mal interpréter.

Elle ne nécessite pas que chaque pensée, sentiment ou interprétation devienne totalement explicable. Le sens ne deviendra peut-être jamais complètement transparent. La conscience, l’histoire personnelle, le contexte culturel et l’expérience subjective continueront probablement d’introduire des éléments qui résistent à une formalisation complète.

Mais le sens n’a pas besoin de devenir transparent pour devenir utile. Il suffit qu’il devienne translucide : assez compris pour que nous puissions identifier les schémas profonds et stables qui forment le fondement du sens. Alors que la langue elle-même est souvent confuse et ambiguë en surface, ces schémas fondamentaux restent cohérents d’un contexte à l’autre.

Nous acceptons déjà ce type de formalisation partielle dans d’autres domaines. Nous n’avons pas besoin d’un traité philosophique complet sur la vie pour construire des modèles génétiques utiles. Nous n’avons pas besoin de comprendre pleinement la conscience pour prédire comment certains produits chimiques affectent le cerveau. Nous n’avons pas besoin de modèles météorologiques parfaits pour produire des prévisions suffisamment précises pour être précieuses.

Un cadre mathématique n’aurait pas besoin de capturer chaque nuance. Il lui suffirait de capturer assez de structures pour qu’une partie de la dépendance actuelle à l’approximation par force brute devienne inutile.

La taxe de la force brute

Les systèmes d’IA actuels dépendent lourdement de l’échelle. Ils exigent des ensembles de données gigantesques et un grand nombre de paramètres, en partie parce qu’ils manquent d’un cadre explicite sur la manière dont fonctionnent les relations sémantiques.

Sans ce cadre, le modèle doit inférer des schémas liés à travers un nombre immense d’exemples. Il rencontre des variations de la même idée sous-jacente dans différents contextes et construit progressivement une représentation interne par la répétition et l’association statistique.

Cela coûte cher.

Une grande partie de ce que le modèle apprend pourrait, en principe, être dérivée d’un ensemble plus restreint de relations fondamentales si ces relations étaient déjà connues. Au lieu de cela, le système doit les redécouvrir indirectement par le volume.

Une approche mathématique du sens n’éliminerait pas le besoin de représentations apprises. Elle les organiserait et les contraindrait. Le modèle aurait toujours besoin d’apprendre le monde, mais il n’aurait plus besoin de réapprendre à la même échelle la structure de base suivant laquelle le sens se transforme selon les contextes.

Une partie de ce qui est actuellement stocké sous forme de paramètres pourrait être remplacée par des règles et des transformations plus compactes.

C’est la taxe de la force brute : ce surplus d’échelle nécessaire parce que nous manquons d’un moyen plus direct de représenter ce qu’est le sens et comment il évolue.

L’objection évidente

Quiconque suit l’IA depuis un certain temps reconnaîtra cette idée, et se souviendra aussi de ce qui lui est arrivé. Pendant des décennies, les chercheurs ont tenté d’intégrer manuellement des connaissances dans les machines : systèmes experts, collections de règles, ontologies géantes construites à la main. L’échelle les a tous balayés. La leçon était si constante qu’elle a reçu un nom, la « Leçon Amère » (The Bitter Lesson) : les méthodes générales alliées à plus de puissance de calcul l’emportent, et les connaissances humaines intégrées perdent.

Mais regardez de plus près ce qui a réellement perdu. Ce qui est mort, c’est le contenu codé à la main, les humains saisissant des faits et des règles dans les machines. Ce qui n’a cessé de gagner, c’est la structure dérivée des mathématiques. La convolution en est l’exemple célèbre : quelqu’un a écrit le fait simple qu’un objet reste le même lorsqu’il se déplace dans une image, et la vision par ordinateur est devenue radicalement moins chère presque du jour au lendemain. L’Attention, le mécanisme au cœur des modèles actuels, en est un autre. Dans chaque cas, un énoncé compact sur la structure d’un domaine a remplacé une quantité énorme d’apprentissage que la machine n’avait plus à effectuer.

Un cadre mathématique pour le sens appartient à la seconde catégorie, pas à la première. Ce n’est pas un manuel de faits sur le monde. C’est un énoncé sur la façon dont le sens lui-même est façonné, le même type de mouvement qui a rendu la vision peu coûteuse.

Une équation du sens ne remplacerait pas les réseaux de neurones. Elle fournirait le biais inductif capable de les rendre bien plus efficaces dans ce qu’ils font de mieux : naviguer dans la géométrie plutôt que mémoriser des coordonnées.

Compresser le sens, pas seulement les données

La compression traditionnelle élimine la redondance des données. Une image compressée ne stocke pas chaque pixel indépendamment. Elle identifie des motifs et stocke les informations nécessaires pour les reconstruire. Le même principe s’applique à la vidéo, à l’audio et au texte.

Une compréhension mathématique du sens permettrait une forme plus profonde de compression : la compression sémantique. Au lieu de compresser la forme de surface du langage, elle compresserait la structure sous-jacente de ce que le langage tente de transmettre.

Deux passages utilisant une formulation entièrement différente peuvent exprimer presque la même idée. Aujourd’hui, nous les stockons sous forme de séquences de jetons (tokens) distinctes. Un système sémantique pourrait reconnaître que les structures sous-jacentes sont étroitement liées et les représenter plus efficacement. Une longue explication pourrait être réduite à un ensemble compact de relations, d’hypothèses, de niveaux de confiance et de dépendances contextuelles à partir desquels une IA pourrait plus tard reconstruire des versions appropriées pour différents publics.

C’est le mécanisme qui pourrait rendre les futurs systèmes d’IA considérablement plus petits. Cette réduction ne viendrait pas d’un appauvrissement des modèles. Elle viendrait de la suppression de la redondance qui existe actuellement parce que nous manquons d’une meilleure représentation du sens lui-même.

Ce que l’IA pourrait devenir après l’échelle

Si le sens devient partiellement formalisable, l’architecture de l’IA pourrait basculer.

Au lieu de s’appuyer principalement sur des modèles monolithiques toujours plus grands, les futurs systèmes pourraient combiner un cadre sémantique universel plus restreint avec des composants spécialisés plus légers. La partie universelle gérerait les relations structurelles que les modèles actuels doivent approximer de manière répétée. Les parties spécialisées géreraient les connaissances du domaine, les variations culturelles et le contexte en temps réel.

Le résultat ne serait pas un système purement symbolique remplaçant les réseaux de neurones. Il s’agirait plus probablement d’un hybride dans lequel les représentations apprises sont organisées et compressées par une théorie mathématique profonde du sens. L’intelligence deviendrait plus compressible que ce que le paradigme actuel de mise à l’échelle suppose.

Cela ne signifie pas que l’IA deviendrait soudainement triviale ou que tous les problèmes seraient résolus. Cela signifie que le coût marginal des capacités supplémentaires pourrait chuter de manière significative une fois que nous cesserons de payer la taxe de force brute sur le sens au prix fort.

Au-delà de la connaissance

Compresser la connaissance est une chose.

Mais une fois que le sens lui-même devient mathématiquement traitable, nous pourrions être capables de compresser quelque chose de bien plus complexe que des faits ou du langage : les schémas récurrents d’un esprit humain individuel.

Cette possibilité change la nature même de ce que l’intelligence peut être.

Des pièces de ce puzzle sont déjà explorées, certaines au sein des grands laboratoires et d’autres par des chercheurs indépendants travaillant en accès libre. L’échéance est incertaine, mais la direction ne l’est pas. Tôt ou tard, quelqu’un rendra le sens mathématiquement exploitable.

La seule véritable question est de savoir qui y parviendra le premier, et ce que nous choisirons de construire avec.