Qu'est-ce qu'un Transformer ? Pourquoi domine-t-il l'IA ?
En 2017, un article intitulé "Attention is All You Need" a changé le domaine de l'IA. L'architecture Transformer a non seulement résolu les problèmes de traitement des séquences des RNN/LSTM, mais elle est aussi devenue la base de l'IA moderne. De GPT à BERT, du texte aux images, les Transformers sont partout.
La naissance de Transformer
En juin 2017, l’équipe Google Brain a publié l’article « Attention is All You Need » et proposé l’architecture Transformer. Cet article n’avait que 6 auteurs, mais il a changé la trajectoire de développement de tout le domaine de l’IA.
Informations clés de l’article
Contexte historique
Avant les Transformers, la modélisation de séquences reposait principalement sur les RNN et les LSTM :
- • Le dilemme des RNN: problème de disparition du gradient, difficulté à traiter de longues séquences
- • Améliorations de LSTM: Atténue le problème de disparition du gradient grâce à un mécanisme de porte, mais le calcul reste séquentiel
- • Essais de CNN: utilisé pour la modélisation de séquences, mais le champ réceptif est limité
- • La percée du Transformer: entièrement parallèle, attention globale, a profondément transformé la modélisation séquentielle
Pourquoi les Transformers sont-ils devenus dominants ?
Transformer n’a pas été la première architecture à utiliser l’Attention, mais en abandonnant complètement les récurrences et les convolutions, il a permis un véritable calcul parallèle et des dépendances globales, ce qui a été la clé de son succès.
vs RNN
- • Parallélisme : les RNN doivent traiter séquentiellement, tandis que les Transformers peuvent traiter en parallèle
- • Dépendances à longue portée：Disparition du gradient des RNN, attention globale du Transformer
- • Vitesse d’entraînement：L'entraînement des Transformers est 10 à 100 fois plus rapide
- • Efficacité mémoire: L’utilisation de la mémoire du Transformer est plus stable
vs LSTM
- • Complexité: LSTM possède un mécanisme de filtrage complexe, tandis que l’architecture Transformer est plus simple
- • Évolutivité : LSTM a du mal à passer à très grande échelle, tandis que Transformer peut le faire
- • Capacité d'expression: le mécanisme d’attention de Transformer est plus flexible
- • Adapté au matériel: Les Transformers sont mieux adaptés au calcul parallèle sur GPU
vs CNN
- • Champ réceptif: Les CNN nécessitent plusieurs couches pour élargir le champ réceptif, alors que les Transformers y parviennent en une seule étape
- • Informations de localisation：CNN utilise l’encodage de position des noyaux de convolution, Transformer utilise l’encodage positionnel
- • Séquence longue: Les CNN nécessitent de nombreuses couches pour traiter de longues séquences, tandis que les Transformers sont plus efficaces
- • Polyvalence：Les Transformers utilisent une architecture unifiée, tandis que les CNN doivent être conçus pour des tâches différentes
Points de percée clés
Composant principal : architecture Encoder-Decoder
Le cœur de Transformer est l’architecture encodeur-décodeur, mais de nombreuses variantes sont apparues dans les applications réelles.
Architecture Transformer standard
L’architecture complète de l’article original comprend deux parties : Encoder et Decoder :
Variantes d’architecture
GPT（Decoder Only）
Uniquement décodeur, génération auto-régressive, adapté aux tâches de génération de texte
BERT（Encoder Only）
Uniquement Encodeur, compréhension bidirectionnelle, adapté aux tâches de compréhension (classification, réponse aux questions)
Points clés d’innovation
- • Self-Attention: Permettre au modèle de se concentrer sur différentes parties de la séquence d’entrée
- • Multi-Head Attention: comprendre l’information sous plusieurs angles
- • Positional Encoding: injecter des informations positionnelles pour compenser l’absence d’ordre séquentiel dans Attention
- • Feed-Forward Network: transformation non linéaire, améliore la capacité d’expression
- • Residual Connection: Résoudre le problème du gradient qui disparaît dans les réseaux profonds
- • Layer Normalization : processus d’entraînement stable
Portée historique : un changement de paradigme dans le domaine de l’IA
Transformer n’est pas seulement une architecture, c’est un changement de paradigme dans le domaine de l’IA, qui a ouvert l’ère des grands modèles préentraînés.
Portée de l’impact
Traitement du langage naturel
- • Série GPT : GPT-1/2/3/4, ChatGPT, a transformé la génération de texte
- • La famille BERT : BERT, RoBERTa, ALBERT, a transformé la compréhension de texte
- • T5, BART : ont unifié le cadre des tâches textuelles
Vision par ordinateur
- • Vision Transformer (ViT) : appliquer les Transformers aux images
- • DETR : une méthode Transformer pour la détection d’objets
- • CLIP : modèle Transformer multimodal
Traitement vocal
- • Whisper : le modèle de reconnaissance vocale d'OpenAI
- • AudioLM : un modèle Transformer pour la génération audio
Multimodal
- • GPT-4V : capacité de compréhension visuelle
- • Gemini : architecture multimodale native
- • Architecture unifiée pour traiter le texte, les images et l’audio
Changement de paradigme
Résultats d’apprentissage
À la fin de ce chapitre, vous pourrez :
- 1Comprendre le contexte historique de l’émergence des Transformers et les contributions essentielles de l’article de 2017
- 2Maîtriser les avantages clés des Transformers par rapport aux RNN/LSTM/CNN (parallélisme, attention globale, évolutivité)
- 3Comprendre les principes de base et les innovations clés de la structure Encoder-Decoder
- 4Comprendre la signification et l’étendue de la transformation de paradigme apportée par Transformer au domaine de l’IA