Il y a quelque chose d’étrange à regarder Stanford enseigner les Transformers dans un amphi à 200 étudiants en 2025. Pas parce que le cours est mauvais, il est excellent, précis, pédagogique, avec des slides qui font le travail que beaucoup de tutoriels YouTube ne font pas.
Étrange parce que ce qu’on y apprend révèle, presque malgré lui, à quel point la machine que tu utilises tous les jours ne ressemble à rien de ce qu’on t’a vendu.
Je me suis assis devant ces deux heures de cours comme j’aurais regardé un film de Kubrick : avec le sentiment que la surface dit une chose, et que l’essentiel se passe ailleurs.
Voici ce que j’en ai retenu. Et ce que j’y conteste.
1. La machine ne lit pas. Elle découpe.
La première rupture du cours est là, discrète, glissée entre deux slides. On te montre comment fonctionne la tokenisation, c’est-à-dire la façon dont le modèle transforme une phrase en unités manipulables.
Le mot “reading” devient “read” + “##ing”. “Teddy” devient “ted” + “##dy”.
Ce n’est pas un détail technique. C’est une déclaration philosophique.
La machine ne voit pas des mots. Elle voit des fragments de probabilités. Elle ne lit pas “ourson” comme tu lis “ourson”, avec ce que le mot porte en toi, l’enfance, la texture du jouet, la voix de ta mère. Elle découpe, mesure, prédit. Ce qu’on appelle “compréhension du langage naturel” est, à sa racine, un processus de découpage statistique.
Les professeurs Afshine et Shervine Amidi présentent trois méthodes de tokenisation : mot par mot (simple mais risque d’inconnus), sous-mot (le standard actuel, type WordPiece ou BPE), et caractère par caractère (robuste mais lent). Chaque méthode est un compromis entre précision et généralisation.
Ce que j’ai appris en 17 ans de création : le mot juste n’est pas le mot statistiquement probable. C’est souvent l’inverse. La machine optimise pour la vraisemblance. Toi, tu cherches l’exactitude.
Ce n’est pas une nuance technique. C’est un abîme créatif.
2. Le problème de la mémoire, ou pourquoi tout s’est accéléré en 2017.
Avant le Transformer, on utilisait des réseaux récurrents, les RNNs et leurs variantes LSTM. L’idée était séduisante : traiter le texte comme une séquence temporelle, mot après mot, en conservant une mémoire de ce qui précède.
Le problème : ces réseaux oublient. Pas comme toi, qui oublies par fatigue ou désintérêt. Ils oublient mécaniquement, parce que la mémoire se dilue à chaque pas de traitement. En traduction automatique, une phrase longue en entrée produisait une traduction où la fin avait oublié le début.
En 2014, Bahdanau et ses collègues ont proposé le mécanisme d’attention. L’idée : au lieu de forcer l’information à traverser une séquence linéaire, laisser chaque mot “regarder” tous les autres simultanément pour décider quoi retenir.
En 2017, le papier “Attention is All You Need” a poussé ça à l’extrême : supprimer la récurrence entièrement. Garder seulement l’attention. Le Transformer était né.
Ce glissement m’évoque quelque chose. Le cinéma classique raconte en suivant la chronologie. La Nouvelle Vague a tout cassé pour monter autrement. Godard ne “racontait” pas moins, il regardait différemment. Le Transformer, c’est la même rupture dans l’ordre du traitement.
En quarante ans de NLP, personne n’avait pensé à simplement tout regarder en même temps. Les meilleures ruptures sont toujours celles qui semblent évidentes après coup.
3. Query, Key, Value : le moteur que tu utilises sans le voir.
Derrière chaque réponse de Claude, GPT ou Mistral, il y a une mécanique que le cours détaille avec une clarté rare : les triplets Query / Key / Value.
Imagine une bibliothèque. Tu arrives avec une question, une Query. La bibliothèque possède des étiquettes sur chaque livre, les Keys. Elle cherche les étiquettes qui correspondent le mieux à ta question. Puis elle te donne le contenu des livres trouvés, les Values. Et elle pondère : certains livres comptent plus que d’autres selon la pertinence de l’étiquette.
C’est exactement ça. Pour chaque token de ta phrase, le modèle calcule sa Query, compare aux Keys de tous les autres tokens, pondère et agrège les Values correspondantes. Ce calcul se fait en parallèle pour tous les tokens en même temps, c’est ce qui rend le Transformer massivement plus rapide que les RNNs.
Le multi-head attention ajoute une dimension supplémentaire : plutôt qu’un seul regard, on en fait plusieurs en parallèle, chacun capturant un type de relation différent entre les mots. Syntaxe, sémantique, coréférence. C’est l’équivalent des filtres d’une couche convolutive en vision par ordinateur.
En tant qu’art director, j’ai immédiatement pensé à la composition d’une image. Ton oeil ne parcourt pas une affiche pixel par pixel. Il saute, revient, pondère selon l’intérêt visuel. Le mécanisme d’attention est la formalisation mathématique de ce que ton cerveau fait naturellement en regardant.
La différence : ton cerveau le fait sans le savoir. Le Transformer le fait sans comprendre.
4. Le Transformer génère mot par mot. Et ça coûte cher.
Un point que les cours grand public escamotent souvent : la différence structurelle entre l’encodeur et le décodeur du Transformer.
L’encodeur traite toute la phrase d’entrée en parallèle. Rapide, efficace.
Le décodeur génère la sortie séquentiellement, un token à la fois. Chaque nouveau mot produit nécessite un nouveau passage complet du décodeur, avec accès à tous les tokens générés précédemment.
Conséquence directe : plus ta réponse est longue, plus elle coûte du temps et de l’argent. Ce n’est pas un choix d’implémentation qu’on pourrait optimiser à l’infini. C’est dans l’architecture.
Pour les entreprises françaises qui construisent des produits sur des APIs de LLMs et qui s’étonnent de leurs coûts : cette information est structurelle. La génération est intrinsèquement séquentielle. On peut la rendre plus rapide, pas gratuite.
La prochaine fois que tu t’impatientes devant un modèle lent, souviens-toi : il réfléchit un mot à la fois. Exactement comme toi quand tu écris quelque chose de difficile.
5. L’IA doit apprendre à douter d’elle-même.
La dernière idée du cours que je retiens est contre-intuitive : le label smoothing.
Pendant l’entraînement, au lieu de dire au modèle “la bonne réponse est exactement ce mot, probabilité 1.0”, on “floute” cette certitude. On distribue une petite probabilité sur les autres mots aussi. On apprend au modèle à ne jamais être totalement sûr de lui.
Résultat : meilleure généralisation, meilleur score BLEU en traduction, moins de sur-ajustement.
C’est une technique venue de la vision par ordinateur en 2015, ré-appliquée au texte avec succès. Et c’est une leçon que je trouve remarquablement humaine : l’arrogance computationnelle, la certitude absolue, est un défaut d’entraînement.
Les meilleurs artistes que j’ai connus travaillaient avec cette même incertitude productive. Ils ne cherchaient pas la réponse juste. Ils cherchaient la moins mauvaise des réponses possibles, et ils la tenaient pour provisoire.
Le label smoothing est une technique d’entraînement. C’est aussi une posture intellectuelle. Les deux fonctionnent pour les mêmes raisons.
Ce que je conteste : l’architecture n’est pas le modèle.
Le cours de Stanford est remarquable. Il démystifie une architecture que la plupart des professionnels utilisent sans la comprendre. C’est un service réel.
Mais il crée une illusion que je veux nommer : comprendre le Transformer, c’est-à-dire les Q/K/V, l’encodeur, le décodeur, le multi-head attention, ne te dit rien sur ce que le modèle a appris.
L’architecture est le moule. Le modèle entraîné est ce qu’on y a coulé : des milliards de paramètres ajustés sur des dizaines de trillions de tokens de texte humain. Ce que GPT-4 “sait”, ce n’est pas dans l’architecture. C’est dans les poids. Et ces poids sont opaques, non-interprétables, impossibles à auditer phrase par phrase.
Miles Davis et un élève de première année de conservatoire jouent le même standard de jazz avec les mêmes notes, sur le même instrument, selon les mêmes règles harmoniques. Le résultat n’est pas le même.
Application concrète : le français te coûte plus cher que tu ne le crois.
Un point que Stanford n’aborde pas, parce que leur contexte est anglophone.
La tokenisation BPE, utilisée par la plupart des grands modèles, a été entraînée majoritairement sur de l’anglais. Résultat : le français est structurellement moins bien tokenisé. Sur un texte complet, le français consomme en moyenne 50 à 60% de tokens de plus que l’équivalent anglais pour le même contenu, selon une étude d’Oxford publiée à NeurIPS en 2023.
À l’échelle d’une application qui traite des millions de requêtes en français, c’est un désavantage concurrentiel réel. Tu paies structurellement plus cher qu’un concurrent anglophone pour le même traitement.
Dans mes formations, je dis souvent aux directeurs marketing et aux chefs de produit : vos benchmarks de coût API faits en anglais sont faux dès que vous passez en production en français. Revérifiez vos hypothèses.
Et si tu construis un produit IA destiné au marché francophone, ce point mérite d’entrer dans ton calcul économique dès la phase de conception, pas lors de la première facture.
Le Transformer est une architecture lisible. C’est précisément ce qui crée le piège : on croit le tenir parce qu’on a suivi les slides. On confond la carte avec le territoire. Et le territoire, lui, a été façonné par des dizaines de trillions de tokens de texte humain que personne n’a lus intégralement, que personne ne comprend vraiment dans leur totalité agrégée. Tu viens d’apprendre à nommer les pièces d’un moteur.
La prochaine question est naturelle : comment on le fait tourner ? C’est ce que la Lecture 2 commence à répondre, en entrant dans la mécanique des LLMs eux-mêmes, leur définition, leur entraînement, et les premiers choix qui déterminent ce qu’ils deviennent.