Partie architecture · analyse approfondie
Analyse approfondie de l’architecture des grands modèles d’IA
Comprendre des architectures comme Transformer, Mamba, MoE et RAG, et maîtriser la réflexion sur le choix d’architecture.
Public cible
Chef de produit : comprendre les limites techniques
Responsables techniques : décisions d’architecture
Développeur : comprendre les principes en profondeur
Architecte : choix et optimisation
Objectifs d'apprentissage
Comprendre l'architecture Transformer
Comprendre les paradigmes architecturaux émergents
Réflexion sur le choix d'architecture
Plan du cours
Transformer
O(n²)+Très polyvalent et extensible
-Complexité de calcul élevée
Mamba (SSM)
O(n)+Traitement de longues séquences, inférence rapide
-Capacité d’expression limitée
MoE
Activation clairsemée+Modèle à très grande échelle
-Le routage est complexe
RAG
Recherche + génération+Mises à jour des connaissances, explicabilité
-Dépend de la qualité de récupération
Sommaire du chapitre
01Qu’est-ce qu’un Transformer ?02Le mécanisme central des Transformers03Points forts et limites des Transformers04Mamba / State Space Models05Mixture of Experts (MoE)06RAG génération augmentée par récupération07Autres architectures émergentes08Comparaison d’architectures et décision de sélection09Tendances et perspectives futures