Architekturteil · Tiefenanalyse

Tiefgehende Analyse der Architektur großer KI-Modelle

Architekturen wie Transformer, Mamba, MoE und RAG verstehen und die Denkweise für die Architekturauswahl beherrschen.

Zielgruppe

Produktmanager: technische Grenzen verstehen
Technische Führungskräfte: Architekturentscheidungen
Entwickler: die Prinzipien tiefgehend verstehen
Architekt: Auswahl und Optimierung

Lernziele

Transformer-Architektur verstehen
Aufkommende Architekturparadigmen verstehen
Denken zur Architekturauswahl

Kursübersicht

Transformer

O(n²)
+Hochgradig vielseitig und erweiterbar
-Hohe Rechenkomplexität

Mamba (SSM)

O(n)
+Verarbeitung langer Sequenzen, schnelle Inferenz
-Begrenzte Ausdrucksfähigkeit

MoE

Dünne Aktivierung
+Modell im extrem großen Maßstab
-Das Routing ist komplex

RAG

Suche + Generierung
+Wissensaktualisierung, Erklärbarkeit
-Hängt von der Abrufqualität ab