Les Transformers expliqués : de 2017 à BERT, GPT-3 et T5

Avant 2017 : des machines qui lisaient mot par mot

En 2016, le NLP (natural language processing, le traitement automatique du langage) repose surtout sur les RNN, des réseaux de neurones dits récurrents. Leur principe tient en une phrase : ils lisent un mot, mettent à jour une petite mémoire puis passent au mot suivant, jusqu'au point final.

Les plus efficaces sont des LSTM (long short-term memory), une variante inventée en 1997 qui protège mieux cette mémoire. Google Traduction bascule sur ce type de réseau fin 2016 et ses traductions deviennent nettement plus naturelles. Le principe garde pourtant deux défauts que personne ne parvient à lever.

• Ils oublient. Toute la phrase lue doit tenir dans une mémoire de taille fixe et plus le texte s'allonge, plus le début s'efface. Dans « les dossiers que la directrice avait rangés dans l'armoire du deuxième étage avant les vacances ont disparu », il faut encore savoir en écrivant « ont » que « dossiers » était au pluriel quatorze mots plus tôt.
• Ils sont lents à entraîner. Pour traiter le vingtième mot, il faut avoir fini le dix-neuvième. Les cartes graphiques sont faites pour mener des milliers de calculs à la fois et elles restent sous-employées : on ne peut pas faire lire à ces réseaux autant de texte qu'on le voudrait.

2017 : « Attention Is All You Need »

Le 12 juin 2017, huit chercheurs déposent en ligne un article intitulé « Attention Is All You Need » (l'attention est tout ce qu'il vous faut). Tous ont mené ces travaux chez Google, l'un d'eux en stage alors qu'il étudiait à Toronto. L'article sera présenté en décembre à NIPS, la grande conférence de l'apprentissage automatique.

Les auteurs ont tiré au hasard l'ordre de leurs noms. Le titre, proposé par Llion Jones, fait un clin d'œil à « All You Need Is Love » des Beatles. Le nom de l'architecture, Transformer, vient de Jakob Uszkoreit, qui aimait ce mot.

La proposition est radicale : abandonner la lecture mot par mot. Le Transformer reçoit la phrase entière d'un coup et s'appuie sur un seul mécanisme, l'attention, pour relier chaque mot à ceux qui l'éclairent. À l'entraînement, tous les mots se traitent alors en parallèle et les cartes graphiques tournent enfin à plein régime.

Les résultats convainquent tout de suite. De l'anglais vers le français, le modèle établit le meilleur score jamais publié pour un modèle seul après trois jours et demi d'entraînement sur huit cartes graphiques. C'est une fraction du coût des meilleurs systèmes de l'époque.

De l'anglais vers l'allemand, il dépasse de plus de deux points de BLEU (l'échelle qui note les traductions automatiques) les meilleurs résultats publiés, y compris ceux obtenus en combinant plusieurs modèles.

Comme les traducteurs de l'époque, le Transformer compte deux moitiés. L'encoder (l'encodeur) lit la phrase source et représente chacun de ses mots. Le decoder (le décodeur) écrit la traduction mot après mot en consultant ce travail et ce qu'il a déjà écrit. Leurs successeurs garderont l'une de ces moitiés, ou les deux.

Des mots en nombres, et un numéro pour chaque place

Une machine ne lit pas des lettres mais des nombres. Le texte est d'abord découpé en tokens, des morceaux de mots : un mot courant forme un seul token, un mot rare se coupe en plusieurs. Chaque modèle a son propre vocabulaire, d'environ 30 000 tokens pour BERT à un peu plus de 50 000 pour GPT-2.

Chaque token est ensuite remplacé par un embedding, une liste de quelques centaines de nombres (512 dans le Transformer de 2017, 768 dans la version de base de BERT). Personne n'écrit ces nombres à la main : le modèle les apprend en lisant.

On peut y voir les coordonnées du mot sur une carte du sens. « Roi » et « reine » y sont voisins alors que « roi » et « tournevis » se trouvent très loin l'un de l'autre.

Lire tous les mots d'un coup pose alors un problème. « Le chien mord le facteur » et « le facteur mord le chien » contiennent exactement les mêmes tokens. Sans indication de place, le modèle y verrait le même sac de mots, alors qu'un RNN recevait les mots dans l'ordre.

La réponse s'appelle le positional encoding (l'encodage de la position). À l'embedding de chaque mot, on ajoute une signature qui dit sa place dans la phrase : premier, deuxième, trentième. BERT et GPT apprendront cette signature pendant leur entraînement.

En 2017, elle est fabriquée avec des ondes de fréquences différentes, un peu comme l'heure se lit sur plusieurs aiguilles qui tournent plus ou moins vite. L'ordre devient une information portée par chaque mot, et le modèle peut tout lire en même temps sans rien perdre de la syntaxe.

L'attention : traduire en regardant toute la phrase

L'attention n'est pas née en 2017. Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio l'ont proposée en 2014, dans l'équipe de Bengio à Montréal, pour améliorer la traduction par RNN. Leur constat : obliger le réseau à résumer toute la phrase source dans une mémoire de taille fixe crée un goulet d'étranglement.

Prenons « la voiture rouge de mon voisin », qui devient en anglais « my neighbour's red car ». L'ordre est presque inversé : « voisin », le dernier mot français, passe en tête, et « voiture », le deuxième, ferme la phrase anglaise. Traduire dans l'ordre, mot pour mot, donnerait un charabia.

L'attention permet au modèle de regarder à nouveau toute la phrase source à chaque mot qu'il écrit, et de choisir où porter son regard. Chaque lien reçoit un poids plus ou moins fort, et c'est ce dosage qu'on appelle attention.

Pour écrire « red », le modèle se concentre sur « rouge », et pour « car » sur « voiture ». Pour « neighbour's », il regarde « voisin » mais aussi le « de » qui marque la possession.

Personne n'a programmé ces liens. Le modèle les découvre seul en voyant des millions de paires de phrases traduites et il apprend au passage les accords, les genres et les inversions propres à chaque langue. L'apport de 2017 a été de garder l'attention et de jeter tout le reste, RNN compris, d'où le titre de l'article.

La self-attention : chaque mot interroge ses voisins

L'attention de la traduction relie deux phrases. La self-attention (l'attention d'une phrase sur elle-même) applique le même geste à l'intérieur d'un seul texte : avant de fixer ce qu'il veut dire, chaque mot regarde tous les autres. C'est la pièce maîtresse du Transformer, celle qui lui donne une lecture en contexte.

Prenons « l'avocat a plaidé » et « l'avocat est mûr ». Pris seul, le mot « avocat » est ambigu et son embedding de départ est le même dans les deux phrases.

Par la self-attention, il se tourne vers « plaidé » dans la première et vers « mûr » dans la seconde. Sa représentation se charge alors du sens de ses voisins : le plaideur d'un côté, le fruit de l'autre.

Le même mécanisme sert à savoir de qui l'on parle. Dans « le camion a doublé le vélo parce qu'il roulait trop lentement », le mot « il » désigne le vélo. Remplacez « lentement » par « vite » et il désigne le camion : seul le contexte tranche, et la self-attention est l'outil qui va le chercher.

Comment chaque mot choisit-il qui écouter ? Imaginez une réunion où chacun arrive avec une question (« qui peut me préciser ? ») et une étiquette qui annonce ce qu'il peut apporter. Chaque mot écoute surtout ceux dont l'étiquette répond à sa question, puis il leur emprunte un peu de leur contenu.

Les spécialistes parlent de query, de key et de value. Le Transformer de 2017 tient huit de ces réunions en parallèle (les têtes d'attention) et certaines finissent par se spécialiser, dans les accords ou dans les pronoms. Le tout se répète sur six couches, et la représentation de chaque mot s'affine à chaque passage.

Pre-training puis fine-tuning : apprendre la langue une seule fois

Jusqu'en 2017, on entraîne le plus souvent un modèle par tâche : un pour classer des avis clients, un autre pour repérer des noms de personnes, un troisième pour répondre à des questions. Chacun demande des milliers d'exemples annotés à la main, longs et chers à réunir, et n'hérite presque rien des autres.

En 2018, une autre méthode s'impose avec des LSTM (ULMFiT en janvier, ELMo en février). OpenAI l'applique au Transformer en juin avec un modèle baptisé GPT, nourri d'une bibliothèque de plus de 7 000 livres inédits.

Le pre-training (le préentraînement) consiste à faire lire au modèle une grande masse de texte brut, sans aucune annotation, avec un exercice simple : deviner le mot suivant. À force, le modèle absorbe la grammaire, le vocabulaire et une bonne part de ce que ces textes racontent.

Vient ensuite le fine-tuning (l'ajustement) : on spécialise ce modèle sur une tâche précise avec un jeu d'exemples annotés bien plus réduit. C'est l'étudiant qui a lu toute une bibliothèque avant de faire un stage de quelques semaines dans un métier.

Avec ses 117 millions de paramètres (les réglages internes que l'entraînement ajuste), GPT bat ainsi le meilleur score connu sur neuf des douze tâches testées. Le pre-training coûte cher mais il ne se fait qu'une fois, et son résultat peut se partager.

Le fine-tuning tient en quelques heures sur une seule machine. Une entreprise peut donc bâtir un outil sur mesure sans disposer des moyens de Google, et ce découpage change toute l'économie du domaine.

BERT : deviner les mots cachés

En octobre 2018, Google publie BERT (Bidirectional Encoder Representations from Transformers). Il ne garde que l'encoder du Transformer : son métier est de comprendre un texte, pas d'en écrire. Son nom répond à celui d'ELMo, sorti quelques mois plus tôt, puisque Bert et Elmo sont deux personnages de Sesame Street.

Son exercice de pre-training s'appelle le masked language model, le texte à trous. On cache au hasard 15 % des tokens d'un texte et BERT doit les retrouver. Comme le mot manquant peut se trouver n'importe où, il apprend à regarder à gauche et à droite à la fois, d'où le « bidirectionnel » de son nom.

BERT a lu la Wikipédia anglaise (2,5 milliards de mots) et un corpus de livres (800 millions de mots). Sa grande version compte 340 millions de paramètres et elle bat à sa sortie le record de onze tâches de compréhension.

Sur SQuAD 1.1, un test de questions-réponses portant sur des articles de Wikipédia, BERT dépasse même le score obtenu par des humains. Google le publie en open source avec ses poids, ce qui lance une vague de variantes.

Parmi elles, CamemBERT est entraîné sur 138 Go de textes français par Inria, Facebook et Sorbonne Université (novembre 2019). Le 25 octobre 2019, Google annonce que BERT aide son moteur à comprendre une recherche sur dix en anglais aux États-Unis, surtout les requêtes longues où un petit mot comme « pour » change le sens.

GPT-2 et GPT-3 : prédire le mot suivant, en très grand

OpenAI garde l'autre moitié. Les modèles GPT ne conservent que le decoder et n'ont qu'un exercice : lire le début d'un texte, prédire le token suivant, puis recommencer avec ce token ajouté. À chaque pas, ils donnent une probabilité à chaque token de leur vocabulaire, ce qui en fait des machines à écrire.

En février 2019, GPT-2 passe à 1,5 milliard de paramètres. Il est entraîné sur environ 40 Go de pages web, soit 8 millions de pages repérées grâce aux liens partagés sur Reddit.

Ses textes sont si fluides qu'OpenAI refuse d'abord de publier le modèle complet, par crainte de fausses nouvelles produites en masse. Il sort par étapes et la version entière n'est diffusée que le 5 novembre 2019.

En mai 2020, GPT-3 change d'échelle avec 175 milliards de paramètres, plus de cent fois GPT-2. Il s'entraîne sur environ 300 milliards de tokens tirés pour l'essentiel du web (une collecte de 45 To compressés au départ, 570 Go après filtrage), de livres et de Wikipédia.

Une estimation publiée à l'époque chiffre une seule passe d'entraînement à 4,6 millions de dollars au tarif du cloud. La vraie surprise est pourtant ailleurs : GPT-3 se passe souvent de fine-tuning.

Il suffit de glisser dans la consigne deux ou trois exemples de la tâche (une phrase et sa traduction, une question et sa réponse) pour qu'il enchaîne. Ce few-shot learning, l'apprentissage par quelques exemples, donne son titre à l'article du modèle. OpenAI ouvre un accès par API en juin 2020, d'abord sur invitation.

T5 : tout devient texte vers texte

Google publie T5 (Text-to-Text Transfer Transformer) en octobre 2019 et garde, lui, les deux moitiés du Transformer d'origine. Son idée tient en un principe : toute tâche de langage peut s'écrire comme un texte en entrée et un texte en sortie. Traduire, résumer, classer ou répondre passent alors par le même guichet.

Il suffit d'annoncer la tâche en tête de la demande. Soumis à « translate English to French: The meeting is postponed. », T5 répond « La séance est reportée. », et « summarize: » suivi d'un article lui fait produire un résumé.

Même une note de ressemblance entre deux phrases sort sous forme de texte : « 5.0 » quand elles disent la même chose, « 0.0 » quand elles n'ont rien à voir. Un seul modèle et un seul format suffisent, sans pièce à ajouter pour chaque tâche.

Pour l'entraîner, l'équipe nettoie une collecte du web d'avril 2019 et en tire 750 Go de texte anglais, le corpus C4 (Colossal Clean Crawled Corpus). La plus grande version de T5 compte 11 milliards de paramètres.

L'article vaut aussi par sa méthode : il compare une à une les façons de mener un pre-training, et il a longtemps servi de guide pour savoir ce qui compte vraiment.

Ce qui a changé, et les limites vues dès 2020

En trois ans, les Transformers remplacent les RNN dans presque tout le NLP. Les records tombent si vite sur le banc d'essai GLUE que ses auteurs publient dès 2019 une version plus difficile, SuperGLUE.

La jeune pousse Hugging Face, fondée par trois Français, publie fin 2018 une bibliothèque qui met BERT à portée de quelques lignes de code. Elle accueille vite GPT-2, prend en 2019 le nom de Transformers, puis intègre T5.

L'architecture déborde aussi du texte. En octobre 2020, Google montre qu'un Transformer peut reconnaître des images en les découpant en carrés de 16 pixels sur 16, traités comme des mots. Fin novembre 2020, AlphaFold 2, de DeepMind, prédit la forme des protéines avec une précision jamais vue, en s'appuyant lui aussi sur l'attention.

Les limites se voient pourtant dès cette époque :

• Le coût. Entraîner les plus gros modèles demande des millions de dollars et beaucoup d'énergie, ce qui réserve le pre-training à une poignée de laboratoires.
• La longueur. Chaque mot regarde tous les autres, donc doubler la longueur du texte quadruple le travail. BERT lit 512 tokens au plus, GPT-3 environ 2 000, soit quelques pages.
• L'aplomb. GPT-3 écrit avec la même assurance le vrai et le faux, et il invente volontiers une référence ou un chiffre.
• Les biais. Les modèles reprennent les stéréotypes de leurs textes d'entraînement, ce que l'article de GPT-3 mesure lui-même sur le genre, l'origine ethnique et la religion.

À retenir

• Avant 2017, les RNN et les LSTM lisaient mot par mot : ils oubliaient le début des textes longs et se prêtaient mal au calcul en parallèle.
• Le Transformer lit tout d'un coup. Le positional encoding garde la trace de l'ordre, et l'attention relie chaque mot à ceux qui comptent pour lui.
• La self-attention donne à chaque mot un sens qui dépend de ses voisins : « avocat » ne veut pas dire la même chose près de « plaidé » et près de « mûr ».
• Pre-training puis fine-tuning : la langue s'apprend une fois sur du texte brut, puis le modèle s'adapte à une tâche avec peu d'exemples.
• Trois familles en sortent entre 2018 et 2019 : BERT (encoder, pour comprendre), GPT (decoder, pour écrire) et T5 (les deux, tout en texte).
• GPT-3, en 2020, montre qu'à très grande échelle, quelques exemples glissés dans la consigne peuvent remplacer le fine-tuning.