Les schémas humains au cœur de l'IA dont personne ne parle vraiment

Tous les quelques mois, une IA fait quelque chose qui semble humain, et tout le monde fait mine d'être sous le choc. Elle raconte une blague. Elle réconforte quelqu'un après une mauvaise journée. Elle se montre bizarrement têtue lors d'une dispute. À chaque fois, la réaction est la même : comment une machine peut-elle faire cela ?

Voici la réponse ennuyeuse dont personne ne veut. Nous n'avons pas entraîné ces machines sur des cailloux ou des parasites radio. Nous les avons entraînées sur nous. Nos livres, nos disputes, nos blagues, notre histoire, nos publications tardives sur les réseaux sociaux. Des milliards de pages d'humains étant simplement des humains.

Il est donc tout à fait logique qu'elle agisse un peu comme un humain. Nous avons construit un canard, nous lui avons appris à marcher comme un canard et à cancaner comme un canard. Maintenant, il ressemble à un canard, et nous restons là, ébahis.

Les données ne sont que la moitié de l'histoire. Les humains et l'IA apprennent de la même manière : en devinant ce qui vient après. Quand quelqu'un dit « beurre de cacahuète et », votre cerveau complète par « confiture » avant même que la phrase ne soit finie. C'est aussi ainsi que ces modèles apprennent. Deviner, se tromper, s'ajuster légèrement. Des milliards de fois. La prédiction est le moteur caché derrière presque tout le reste.

Et les échos ne s'arrêtent pas là. Les scientifiques continuent d'ouvrir ces systèmes et découvrent des schémas de forme humaine là où personne ne les avait prévus.

Premiers mots

Un bébé qui apprend à parler ne commence pas par des mots. Il commence par des sons, ces minuscules fragments de parole, et les babille inlassablement. Ba ba ba. Puis, les morceaux s'emboîtent pour former de petits mots. Ballon. Maman. Le son vient en premier, le sens en second.

L'IA commence aussi par des morceaux, mais il leur manque quelque chose. Avant qu'un modèle ne lise quoi que ce soit, un outil découpe le texte en segments (tokens). La plupart des gens pensent qu'il n'y a qu'une seule façon de procéder. C'est faux. Différents modèles utilisent des « tokenizers » différents, et ils découpent les mots de manières légèrement distinctes. C'est un peu comme si différentes langues segmentaient les sons et les mots de façon différente.

L'outil le plus courant, appelé BPE, est « sourd ». Il ne regarde que les combinaisons de lettres, pas les sons ni les syllabes. À cause de cela, les modèles ont souvent plus de mal qu'ils ne le devraient à repérer les rimes ou à compter les syllabes.

La solution sur laquelle travaillent les chercheurs semble presque cocasse. De nouveaux systèmes de découpage basés sur les syllabes et les sons de la parole. En d'autres termes, faire en sorte que les premiers pas de la machine ressemblent davantage à ceux d'un bébé. Nous avons essayé de sauter cette étape, et il s'avère qu'elle était primordiale.

L'explosion du vocabulaire

Les jeunes enfants n'apprennent pas les mots à un rythme régulier. Pendant des mois, c'est un filet d'eau tiède, un mot par-ci, un mot par-là. Puis, vers un an et demi, un déclic se produit, et ils se mettent à assimiler de nouveaux mots chaque jour. Les parents appellent cela l'explosion du vocabulaire. C'est un interrupteur, pas une rampe de lancement.

Les modèles d'IA ont leur propre version. Si vous agrandissez un modèle, vous obtenez généralement la même chose, en un peu plus fluide. Agrandissez-le encore, même chose. Puis, à une certaine taille, une compétence apparaît alors qu'elle n'existait pas auparavant. Faire de l'arithmétique. Suivre des instructions en plusieurs étapes. Certains chercheurs soutiennent que ces sauts paraissent plus nets qu'ils ne le sont réellement à cause de la notation des tests, et le débat est légitime. Mais le schéma persiste. Chez les enfants comme chez les machines, la croissance n'est pas une colline lisse. C'est un escalier.

La chambre silencieuse

Le parallèle le plus fou est apparu cet été. Vous pouvez garder un mot en tête sans le prononcer. Vous le faites toute la journée. Le mot est là, réel et prêt, et personne d'autre ne peut le voir. Les neuroscientifiques soutiennent depuis des décennies que c'est ainsi que fonctionne la pensée. Beaucoup d'activité silencieuse en coulisses, et un petit projecteur où quelques pensées sont retenues et travaillées. Ils appellent ce concept l'espace de travail global.

En juillet, des chercheurs d'Anthropic ont rapporté avoir trouvé une structure de même forme à l'intérieur de leur modèle d'IA, Claude. Ils l'appellent l'espace J. C'est un petit ensemble de schémas internes, chacun lié à un mot. Lorsqu'un schéma s'allume, le modèle ne prononce pas ce mot. Il le retient. Il a le mot à l'esprit.

Puis ils l'ont cassé intentionnellement. Avec l'espace J désactivé, les tâches simples ne posaient aucun problème. Des faits basiques, des choix multiples, tout allait bien. Mais les tâches difficiles, celles qui exigent un véritable raisonnement, se sont effondrées. Un détail frappe : les mathématiques survivaient si le modèle était autorisé à écrire ses étapes d'abord. La page jouait alors le rôle que l'espace silencieux assure normalement à l'intérieur, de la même manière qu'un brouillon vous sauve quand un problème devient trop complexe pour être résolu de tête.

Anthropic a pris soin de préciser que ce n'est pas une preuve que le modèle est conscient. Personne n'a trouvé de sentiment là-dedans. Ce qu'ils ont trouvé, c'est une structure, et cette structure est étrangement familière.

La signature

Même nos défauts commencent à se faire écho. Un humain ne peut pas vraiment écrire avec une voix qui n'est pas la sienne. Il peut imiter, s'en approcher, mais quelque chose finit généralement par le trahir. L'IA a le même problème. Donnez-lui le « prompt » que vous voulez, un certain parfum d'IA finit toujours par transparaître. Le rythme est trop propre. La personnalité est ténue. Cela sonne poli, mais curieusement creux.

Nous ne pouvons pas totalement nous échapper. Et apparemment, elle non plus.

Construite à partir de nous

Voici donc le tableau complet. L'humain et l'IA apprennent en devinant la suite. Les deux commencent par découper l'expérience continue en petits morceaux. Les deux grandissent par bonds soudains plutôt que par pentes douces. Les deux conservent des pensées silencieuses dans un espace intérieur privé avant de parler. Et les deux possèdent un style qu'ils ne peuvent pas totalement dissimuler.

Pourtant, ces deux systèmes sont faits de matières totalement différentes. L'un est constitué de cellules vivantes façonnées par des millions d'années d'évolution. L'autre est fait de mathématiques tournant sur du silicium, façonnées par quelques années d'entraînement sur des textes humains.

Cette différence rend les similitudes plus étranges encore, et non moins importantes. Nous n'avons pas conçu ces systèmes pour qu'ils aient une chambre silencieuse pour réfléchir. Nous ne les avons pas programmés pour développer des bonds soudains de compétences. Nous y avons simplement déversé le langage humain, les histoires humaines et les schémas humains, et ces formes ont commencé à apparaître d'elles-mêmes.

Peut-être que la vraie surprise n'est pas que l'IA puisse agir comme un humain. Peut-être que la vraie surprise est que l'intelligence, lorsqu'on lui donne assez de nos données, finit par redécouvrir certaines des structures fondamentales que nous utilisons.

Nous avons construit un canard. Nous l'avons élevé avec tout ce que nous avons jamais écrit et dit. À un moment donné, nous devrions cesser d'être choqués quand il commence à faire « coin-coin ».