Was ist ein Transformer? Warum dominiert er die KI?
Im Jahr 2017 veränderte ein Artikel mit dem Titel "Attention is All You Need" das KI-Feld. Die Transformer-Architektur löste nicht nur die Sequenzverarbeitungsprobleme von RNN/LSTM, sondern wurde auch zur Grundlage der modernen KI. Von GPT bis BERT, von Text bis Bild - Transformer sind überall.
Die Entstehung des Transformers
Im Juni 2017 veröffentlichte das Google-Brain-Team die Arbeit „Attention is All You Need“ und stellte die Transformer-Architektur vor. Diese Arbeit hatte nur 6 Autoren, veränderte jedoch den gesamten Entwicklungsverlauf des KI-Feldes.
Kerninformationen des Papers
Historischer Hintergrund
Vor den Transformern basierte die Sequenzmodellierung hauptsächlich auf RNNs und LSTMs:
- • Das Dilemma der RNNs: Problem des verschwindenden Gradienten, Schwierigkeiten beim Umgang mit langen Sequenzen
- • Verbesserungen von LSTM: Mildert das Verschwinden von Gradienten durch einen Gating-Mechanismus, aber die Berechnung ist weiterhin sequentiell
- • CNN-Versuche: Wird für die Sequenzmodellierung verwendet, hat jedoch ein begrenztes rezeptives Feld
- • Der Durchbruch des Transformers：vollständig parallel, globale Aufmerksamkeit, hat die Sequenzmodellierung grundlegend verändert
Warum sind Transformer zum Mainstream geworden?
Transformer war nicht die erste Architektur, die Attention verwendete, aber durch den vollständigen Verzicht auf Rekurrenz und Faltung ermöglichte sie echte Parallelverarbeitung und globale Abhängigkeiten, was der Schlüssel zu ihrem Erfolg war.
vs RNN
- • Parallelität: RNNs müssen sequenziell verarbeiten, während Transformer parallel verarbeiten können
- • Langstreckenabhängigkeiten：Verschwinden des Gradienten bei RNNs, globale Aufmerksamkeit bei Transformern
- • Trainingsgeschwindigkeit：Transformer-Training ist 10-100-mal schneller
- • Speichereffizienz: Die Speichernutzung des Transformers ist stabiler
vs LSTM
- • Komplexität: LSTM verfügt über einen komplexen Gating-Mechanismus, während die Transformer-Architektur einfacher ist
- • Skalierbarkeit: LSTM lässt sich nur schwer auf sehr große Maßstäbe skalieren, Transformer hingegen schon
- • Ausdrucksfähigkeit: Der Aufmerksamkeitsmechanismus von Transformer ist flexibler
- • Hardwarefreundlich: Transformer eignen sich besser für paralleles GPU-Computing
vs CNN
- • Rezeptives Feld: CNNs benötigen mehrere Schichten, um das rezeptive Feld zu vergrößern, während Transformers dies in einem Schritt erreichen
- • Standortinformationen：CNN verwendet die Positionkodierung von Faltungskernen, Transformer verwendet Positionskodierung
- • Lange Sequenz：CNNs benötigen viele Schichten, um lange Sequenzen zu verarbeiten, während Transformers effizienter sind
- • Allgemeingültigkeit：Transformer verwenden eine einheitliche Architektur, CNNs müssen für unterschiedliche Aufgaben entworfen werden
Wichtige Durchbruchspunkte
Kernkomponente: Encoder-Decoder-Architektur
Der Kern von Transformer ist die Encoder-Decoder-Architektur, in der Praxis sind jedoch viele Varianten entstanden.
Standard-Transformer-Architektur
Die vollständige Architektur im Originalpaper umfasst zwei Teile: Encoder und Decoder:
Architekturvarianten
GPT（Decoder Only）
Nur Decoder, autoregressive Generierung, geeignet für Textgenerierungsaufgaben
BERT（Encoder Only）
Nur Encoder, bidirektionales Verständnis, geeignet für Verständnisaufgaben (Klassifizierung, Fragebeantwortung)
Wichtige Innovationspunkte
- • Self-Attention：Das Modell auf verschiedene Teile der Eingabesequenz fokussieren lassen
- • Multi-Head Attention：Informationen aus mehreren Blickwinkeln verstehen
- • Positional Encoding：Positionsinformationen einfügen, um den Mangel an Sequenzreihenfolge in Attention auszugleichen
- • Feed-Forward Network: nichtlineare Transformation, verbessert die Ausdrucksfähigkeit
- • Residual Connection: Das Problem verschwindender Gradienten in tiefen Netzwerken lösen
- • Layer Normalization: stabiler Trainingsprozess
Historische Bedeutung: ein Paradigmenwechsel im KI-Bereich
Transformer ist nicht nur eine Architektur, sondern ein Paradigmenwechsel im Bereich der KI, der das Zeitalter groß angelegter vortrainierter Modelle eingeläutet hat.
Auswirkungsbereich
Verarbeitung natürlicher Sprache
- • GPT-Serie: GPT-1/2/3/4, ChatGPT, hat die Textgenerierung verändert
- • Die BERT-Familie: BERT, RoBERTa, ALBERT, veränderte das Textverständnis
- • T5, BART: vereinheitlichten das Framework für Textaufgaben
Computer Vision
- • Vision Transformer (ViT): Transformer auf Bilder anwenden
- • DETR: eine Transformer-Methode zur Objekterkennung
- • CLIP: multimodales Transformer-Modell
Sprachverarbeitung
- • Whisper: OpenAIs Spracherkennungsmodell
- • AudioLM: ein Transformer-Modell zur Audioerzeugung
Multimodal
- • GPT-4V: visuelle Verständnisfähigkeit
- • Gemini: native multimodale Architektur
- • Einheitliche Architektur zur Verarbeitung von Text, Bildern und Audio
Paradigmenwechsel
Lernergebnisse
Nach Abschluss dieses Kapitels werden Sie:
- 1Den historischen Hintergrund der Entstehung von Transformers und die zentralen Beiträge des Papers von 2017 verstehen
- 2Die Kernvorteile von Transformern gegenüber RNNs/LSTMs/CNNs beherrschen (Parallelität, globale Aufmerksamkeit, Skalierbarkeit)
- 3Die Grundprinzipien und wichtigsten Innovationen der Encoder-Decoder-Architektur verstehen
- 4Die Bedeutung und den Einflussbereich des von Transformer in den Bereich der KI gebrachten Paradigmenwechsels verstehen