Chapitre 8

Comparaison d’architectures et décision de sélection

Grâce à une analyse comparative multidimensionnelle, maîtrisez le cadre de décision pour le choix de l’architecture et faites le bon choix en fonction du type de tâche, des contraintes de ressources et des scénarios d’application.

Tableau comparatif des architectures

Comparez les caractéristiques et les cas d’usage de différentes architectures sous plusieurs angles.

Transformer

Complexité de calculO(n²)
Capacité à gérer de longues séquencesMoyen (limité par la fenêtre de contexte)
Efficacité d’entraînementÉlevé (entraînement parallèle)
efficacité d’inférenceMoyen (génération auto-régressive)
Consommation de mémoireÉlevé (matrice d’attention)
Scénarios d’applicationTâches générales, séquences courtes à moyennes, multimodal
Maturité de l’écosystèmeTrès élevé

Mamba (SSM)

Complexité de calculO(n)
Capacité à gérer de longues séquencesFort (peut traiter plus d’un million de tokens)
Efficacité d’entraînementÉlevé (analyse parallèle)
efficacité d’inférenceÉlevé (complexité linéaire)
Consommation de mémoireFaible (compression d’état)
Scénarios d’applicationSéquences ultra-longues, applications en temps réel, ressources limitées
Maturité de l’écosystèmeMoyen (en développement rapide)

MoE

Complexité de calculO(n²) (mais activation clairsemée)
Capacité à gérer de longues séquencesMoyen (limité par les contraintes d’infrastructure)
Efficacité d’entraînementÉlevé (activation clairsemée)
efficacité d’inférenceÉlevé (n'activer qu'une partie des experts)
Consommation de mémoireMoyen (peu de paramètres activés)
Scénarios d’applicationModèles à très grande échelle, applications multi-domaines, optimisation des coûts
Maturité de l’écosystèmeÉlevé (GPT-4, Mixtral, etc.)

RAG

Complexité de calculRécupération + génération (récupération O(log n))
Capacité à gérer de longues séquencesFort (étendu par recherche)
Efficacité d’entraînementÉlevé (aucun fine-tuning requis)
efficacité d’inférenceMoyen (latence de récupération + génération)
Consommation de mémoireMoyen (base de données vectorielle)
Scénarios d’applicationQuestions-réponses de connaissances, applications d’entreprise, domaines spécialisés
Maturité de l’écosystèmeÉlevé (courant dans les applications d’entreprise)

Cadre de décision de sélection

Choisissez l’architecture en fonction du type de tâche, des contraintes de ressources et des besoins de l’application.

Choisir selon le type de tâche

Génération de texte (courte à moyenne longueur)

Recommandé: Transformer (série GPT)

Raison : écosystème mature, excellentes performances, outils riches

Analyse de documents longs (100K+ tokens)

Recommandé: Mamba ou RAG

Raison : la complexité linéaire de Mamba, RAG étend le contexte grâce à la recherche

Questions-réponses sur les connaissances

Recommandé：RAG

Raisons : interprétabilité, mise à jour des connaissances, réduction des hallucinations

Tâches multimodales

Recommandé：Transformer（GPT-4V、Gemini）

Raison : capacités multimodales matures, architecture unifiée

Choisir en fonction des contraintes de ressources

Ressources abondantes (GPU, mémoire suffisante)

Recommandé: Transformer ou MoE

Raison : les ressources peuvent être pleinement utilisées pour obtenir des performances optimales

Contraintes de ressources (appareils de périphérie, appareils mobiles)

Recommandé: Mamba ou Transformer à petite échelle

Raison : efficacité élevée en mémoire et en calcul

Sensible aux coûts (nécessite de contrôler les coûts d'inférence)

Recommandé: MoE ou RAG

Raison : MoE utilise une activation clairsemée, et RAG ne nécessite pas de réglage fin

Stratégie d’architecture hybride

Dans les applications réelles, plusieurs architectures peuvent être combinées pour tirer parti des avantages de chacune.

Transformer + RAG

L’architecture hybride la plus courante :

  • • Architecture: Utiliser Transformer comme modèle génératif, avec RAG pour l’enrichissement des connaissances
  • • Avantages: combiner les puissantes capacités des Transformers avec les capacités de mise à jour des connaissances de RAG
  • • Application : base de connaissances d’entreprise, questions-réponses spécialisées
  • • Cas : ChatGPT + plugins, Claude + recherche de documents

MoE + RAG

  • • Architecture：Utiliser un modèle MoE comme modèle génératif, avec RAG pour l’enrichissement des connaissances
  • • Avantages: Modèle de très grande taille + enrichissement des connaissances, équilibre entre performances et coût
  • • Application: Applications d’entreprise à grande échelle, systèmes de connaissances multidomaines

Mamba + RAG

  • • Architecture : utiliser Mamba pour traiter les longues séquences, et RAG pour fournir un enrichissement des connaissances
  • • Avantages: Traitement de longues séquences + enrichissement des connaissances, adapté à l’analyse de longs documents
  • • Application: Questions-réponses sur de longs documents, analyse de bases de code

Cas pratique

Comprendre l’application concrète du choix d’architecture à travers des cas réels.

Cas 1 : Q&R sur une base de connaissances d'entreprise

Exigences：un système de questions-réponses sur une base de connaissances interne d’entreprise, qui doit répondre aux questions des employés sur les politiques, les processus de l’entreprise, etc.
Sélectionner：RAG + Transformer（GPT-4）
Raison：
  • • Les connaissances doivent être mises à jour fréquemment (avantage du RAG)
  • • Nécessité d’explicabilité (avantage du RAG)
  • • Besoin de réduire les hallucinations (avantage du RAG)
  • • Exigences élevées en matière de qualité de génération (avantage des Transformers)
Effet : grande précision, traçabilité, mises à jour des connaissances faciles

Cas 2 : analyse d’une grande base de code

Exigences: Analyser de grandes bases de code (un million de lignes de code) et comprendre la structure du code et les dépendances
Sélectionner：Mamba
Raison：
  • • La longueur de séquence est trop longue (plus d’1 million de tokens)
  • • Nécessite une complexité linéaire (avantage de Mamba)
  • • Mémoire limitée (avantage de Mamba)
Effet：peut traiter l’ensemble de la base de code en une seule fois et comprendre la structure globale

Cas 3 : système de traduction multilingue

Exigences: Traduction en temps réel prenant en charge plus de 100 langues, nécessitant une haute qualité et une faible latence
Sélectionner：MoE + Transformer
Raison：
  • • Capacité multilingue requise (spécialisation des experts MoE)
  • • Traduction de haute qualité requise (avantages des Transformers)
  • • Besoin de maîtriser les coûts (activation clairsemée de MoE)
Effet : Traduction de haute qualité, coût maîtrisable, faible latence

Résultats d’apprentissage

À la fin de ce chapitre, vous pourrez :

  • 1Maîtriser le cadre de décision pour le choix de l’architecture et comparer différentes architectures sous plusieurs angles
  • 2Être capable de choisir l’architecture appropriée en fonction du type de tâche, des contraintes de ressources et des besoins de l’application
  • 3Comprendre les principes de conception des architectures hybrides et être capable de combiner plusieurs architectures
  • 4Comprendre l’application du choix d’architecture à travers des cas concrets, être capable d’analyser des situations et de prendre des décisions
Chapitre précédent : autres architectures émergentesChapitre suivant : tendances futures et perspectives