Was ist ein Transformer? Warum dominiert er die KI?
Im Jahr 2017 veränderte ein Paper mit dem Titel „Attention is All You Need“ das KI-Feld. Die Transformer-Architektur löste nicht nur die Probleme der sequenziellen Verarbeitung von RNNs/LSTMs, sondern wurde auch zur Grundlage moderner KI. Von GPT bis BERT, von Text bis Bild – Transformer sind überall.
Die Entstehung des Transformers
Im Juni 2017 veröffentlichte das Google-Brain-Team die Arbeit „Attention is All You Need“ und stellte die Transformer-Architektur vor. Diese Arbeit hatte nur 6 Autoren, veränderte jedoch den gesamten Entwicklungsverlauf des KI-Feldes.
Kerninformationen des Papers
Historischer Hintergrund
Vor den Transformern basierte die Sequenzmodellierung hauptsächlich auf RNNs und LSTMs:
- • Das Dilemma der RNNs: das Problem des verschwindenden Gradienten, wodurch lange Sequenzen schwer zu verarbeiten sind
- • Verbesserungen an LSTM: Mildert das Verschwinden von Gradienten durch einen Gating-Mechanismus, aber die Berechnung ist weiterhin sequentiell
- • CNN-Versuche: Wird für die Sequenzmodellierung verwendet, hat jedoch ein begrenztes rezeptives Feld
- • Der Durchbruch der Transformer: vollständige Parallelität, globale Aufmerksamkeit, hat die Sequenzmodellierung grundlegend verändert
Warum sind Transformer zum Mainstream geworden?
Transformer war nicht die erste Architektur, die Attention verwendete, aber durch den vollständigen Verzicht auf Rekurrenz und Faltung ermöglichte sie echte Parallelverarbeitung und globale Abhängigkeiten, was der Schlüssel zu ihrem Erfolg war.
vs RNN
- • Parallelität: RNNs müssen sequentiell verarbeitet werden, Transformer können parallel verarbeitet werden
- • Langstreckenabhängigkeiten：Verschwinden des Gradienten bei RNNs, globale Aufmerksamkeit bei Transformern
- • Trainingsgeschwindigkeit：Transformer-Training ist 10–100-mal schneller
- • Speichereffizienz: Die Speichernutzung des Transformers ist stabiler
vs LSTM
- • Komplexität: LSTM verfügt über einen komplexen Gating-Mechanismus, während die Transformer-Architektur einfacher ist
- • Skalierbarkeit：LSTM lässt sich schwer auf eine extrem große Skala skalieren, Transformer hingegen schon
- • Ausdrucksfähigkeit: Der Aufmerksamkeitsmechanismus von Transformer ist flexibler
- • Hardwarefreundlich: Transformer eignen sich besser für paralleles GPU-Computing
vs CNN
- • Rezeptives Feld: CNNs benötigen mehrere Schichten, um das rezeptive Feld zu vergrößern, während Transformers dies in einem Schritt erreichen
- • Standortinformationen：CNN verwendet die Positionkodierung von Faltungskernen, Transformer verwendet Positionskodierung
- • Lange Sequenz：CNNs benötigen viele Schichten, um lange Sequenzen zu verarbeiten, während Transformers effizienter sind
- • Allgemeingültigkeit: Transformer verwenden eine einheitliche Architektur, während CNNs für unterschiedliche Aufgaben unterschiedlich entworfen werden müssen
Wichtiger Durchbruch
Kernkomponente: Encoder-Decoder-Architektur
Der Kern von Transformer ist die Encoder-Decoder-Architektur, in der Praxis sind jedoch viele Varianten entstanden.
Standard-Transformer-Architektur
Die vollständige Architektur im Originalpaper umfasst zwei Teile: Encoder und Decoder:
Architekturvarianten
GPT（Decoder Only）
Nur Decoder, autoregressive Generierung, geeignet für Textgenerierungsaufgaben
BERT（Encoder Only）
Nur Encoder, bidirektionales Verständnis, geeignet für Verständnisaufgaben (Klassifizierung, Fragebeantwortung)
Wichtige Innovationspunkte
- • Self-Attention：Das Modell auf verschiedene Teile der Eingabesequenz fokussieren lassen
- • Multi-Head Attention: Informationen aus mehreren Perspektiven verstehen
- • Positional Encoding：Positionsinformationen einfügen, um den Mangel an Sequenzreihenfolge in Attention auszugleichen
- • Feed-Forward Network: nichtlineare Transformation, verbessert die Ausdrucksfähigkeit
- • Residual Connection: Das Problem verschwindender Gradienten in tiefen Netzwerken lösen
- • Layer Normalization：stabiler Trainingsprozess
Historische Bedeutung: ein Paradigmenwechsel im KI-Bereich
Transformer ist nicht nur eine Architektur, sondern ein Paradigmenwechsel im Bereich der KI, der das Zeitalter groß angelegter vortrainierter Modelle eingeläutet hat.
Auswirkungsbereich
Verarbeitung natürlicher Sprache
- • GPT-Serie: GPT-1/2/3/4, ChatGPT, hat die Textgenerierung verändert
- • Die BERT-Familie: BERT, RoBERTa, ALBERT, hat das Textverständnis verändert
- • T5, BART: vereinheitlichten das Framework für Textaufgaben
Computer Vision
- • Vision Transformer (ViT): Transformer auf Bilder anwenden
- • DETR: eine Transformer-Methode zur Objekterkennung
- • CLIP: multimodales Transformer-Modell
Sprachverarbeitung
- • Whisper: das Spracherkennungsmodell von OpenAI
- • AudioLM: ein Transformer-Modell zur Audioerzeugung
Multimodal
- • GPT-4V: visuelle Verständnisfähigkeit
- • Gemini: native multimodale Architektur
- • Einheitliche Architektur zur Verarbeitung von Text, Bildern und Audio
Paradigmenwechsel
Lernergebnisse
Nach Abschluss dieses Kapitels werden Sie:
- 1Den historischen Hintergrund der Entstehung von Transformers und die zentralen Beiträge des Papers von 2017 verstehen
- 2Die Kernvorteile von Transformern gegenüber RNNs/LSTMs/CNNs beherrschen (Parallelität, globale Aufmerksamkeit, Skalierbarkeit)
- 3Verstehe die Grundprinzipien und die wichtigsten Innovationen der Encoder-Decoder-Struktur
- 4Die Bedeutung und den Einflussbereich des von Transformer in den Bereich der KI gebrachten Paradigmenwechsels verstehen