Partie architecture · analyse approfondie
Analyse approfondie de l’architecture des grands modèles d’IA
Comprendre des architectures telles que Transformer, Mamba, MoE et RAG, et maîtriser la réflexion sur le choix de l’architecture.
Public cible
Chef de produit : comprendre les limites techniques
Responsables techniques : décisions d’architecture
Développeur : comprendre les principes en profondeur
Architecte : choix et optimisation
Objectifs d'apprentissage
Comprendre l'architecture Transformer
Comprendre les paradigmes architecturaux émergents
Approche de réflexion pour le choix d’architecture
Plan du cours
Transformer
O(n²)+Très polyvalent et extensible
-Complexité de calcul élevée
Mamba (SSM)
O(n)+Traitement de longues séquences, inférence rapide
-Capacité d’expression limitée
MoE
Activation clairsemée+Modèle à très grande échelle
-Le routage est complexe
RAG
Recherche + génération+Mises à jour des connaissances, explicabilité
-Dépend de la qualité de récupération
Sommaire du chapitre
01Qu’est-ce qu’un Transformer ?02Le mécanisme central des Transformers03Points forts et limites des Transformers04Mamba / State Space Models05Mixture of Experts (MoE)06RAG génération augmentée par récupération07Autres architectures émergentes08Comparaison d’architectures et décision de sélection09Tendances et perspectives futures