Chapitre 5

Mixture of Experts (MoE)

Le modèle de mélange d’experts utilise des mécanismes de routage et une activation parcimonieuse pour permettre l’entraînement et l’inférence de modèles à très grande échelle. Des modèles comme GPT-4 et Mixtral adoptent tous l’architecture MoE.

Principes de l’architecture MoE

MoE permet de faire évoluer la taille du modèle en le décomposant en plusieurs réseaux d’experts et en n’activant qu’un sous-ensemble d’experts pour chaque entrée.

Concepts clés

1
Réseau d’experts (Experts) : plusieurs réseaux neuronaux indépendants, chacun des experts se spécialisant dans des schémas différents
2
Routeur：Déterminez quels experts chaque entrée doit activer
3
Activation clairsemée： n’activer qu’un sous-ensemble d’experts à la fois (par exemple 2 à 4), plutôt que tous
4
Combinaison pondérée: Pondérer et combiner les sorties des experts activés pour obtenir le résultat final

Flux de travail

1. Entrée → Router
2. Le routeur calcule le poids de chaque expert
3. Sélectionner les experts Top-K (par ex. Top-2)
4. Activer l’expert sélectionné
5. Combinaison pondérée des sorties des experts
6. Résultats de sortie

Avantages du MoE

MoE permet d'entraîner des modèles à très grande échelle tout en maintenant l'efficacité de l'inférence.

Modèle à très grande échelle

  • • Échelle des paramètres：peut entraîner des modèles à l’échelle de mille milliards de paramètres
  • • Capacité du modèle：Le nombre total de paramètres est élevé, mais les paramètres actifs sont peu nombreux
  • • Cas réels: GPT-4 (1,76 T de paramètres estimés), Mixtral 8x7B
  • • Montée en compétences: une capacité de modèle plus grande apporte des capacités plus puissantes

Efficacité d’entraînement

  • • Activation clairsemée: n'entraîner qu'une partie des experts à chaque fois
  • • Économie calculée：la charge de calcul d’entraînement est bien inférieure à celle des modèles denses
  • • Entraînement parallèle: différents experts peuvent s’entraîner en parallèle
  • • Contrôle des coûts: les coûts d'entraînement sont relativement maîtrisables

Spécialisation

  • • Répartition spécialisée des tâches : différents experts apprennent différents schémas
  • • Spécialisation de domaine: Les experts peuvent se concentrer sur des domaines spécifiques
  • • Séparation des connaissances: Les connaissances différentes sont stockées dans différents experts
  • • Explicabilité : peut analyser quels experts ont été activés

efficacité d’inférence

  • • Peu de paramètres d’activation: seuls certains paramètres sont utilisés lors de l’inférence
  • • Amélioration de la vitesse：La vitesse d'inférence est proche de celle des petits modèles
  • • Réduction des coûts : le coût d’inférence est bien inférieur à celui des modèles denses
  • • Exemple concret：La vitesse d’inférence de Mixtral 8x7B est proche de celle des modèles 7B

Les défis du MoE

MoE est puissant, mais il apporte aussi de nouveaux défis et une certaine complexité.

Complexité du routage

Le routeur doit apprendre à répartir correctement les entrées entre les experts :

  • • Étude du routage : le routeur doit être entraîné conjointement avec le réseau d’experts
  • • Équilibrage de charge: Il faut s’assurer que tous les experts soient pleinement mobilisés
  • • Effondrement des experts：certains experts peuvent ne pas être utilisés (problème de panne des experts)
  • • Entraînement instable：L’entraînement du routage peut être instable

Équilibrage de charge

  • • Répartir uniformément：il faut veiller à répartir équitablement les entrées entre chaque expert
  • • Perte d’équilibrage de charge: Encourager l’équilibrage de la charge par la fonction de perte
  • • Défis concrets : certaines entrées peuvent toujours être acheminées vers le même expert
  • • Solution : régularisation de l’équilibrage de charge, fonctions de perte auxiliaires

Coûts de communication

  • • Apprentissage distribué：Les experts peuvent être répartis sur différents GPU
  • • Surcharge de communication: Les données doivent être transférées entre les GPU
  • • Limitation de bande passante：La bande passante de communication peut devenir un goulot d’étranglement
  • • Optimisation：il faut optimiser les modes de communication et le transfert de données

Cas d’application réels

De nombreux modèles renommés ont adopté l’architecture MoE, prouvant ainsi son efficacité.

GPT-4 (supposé)

Bien qu’OpenAI n’ait pas publié d’architecture détaillée, on suppose que GPT-4 utilise le MoE :

  • • Échelle des paramètres : estimé à environ 1,76 billion de paramètres
  • • Nombre d’experts : peut nécessiter 16 experts
  • • Stratégie d’activation : activer 2 à 4 experts à chaque fois
  • • Effet: Des capacités puissantes, un coût d’inférence maîtrisable

Mixtral 8x7B

Le modèle MoE open source de Mistral AI montre les effets concrets de MoE :

  • • Architecture : 8 experts, chacun avec 7 milliards de paramètres
  • • Activer: activer 2 experts à chaque fois (Top-2)
  • • Nombre total de paramètres: 47B de paramètres, mais environ 13B de paramètres activés
  • • Performance：Les performances sont proches d’un modèle dense de 70B, et la vitesse d’inférence est proche d’un modèle de 7B

Switch Transformer

Le modèle MoE de Google démontre l'évolutivité du MoE :

  • • Échelle : de 1,6 T à 1,6 T paramètres
  • • Innovation : simplifier le mécanisme de routage et utiliser le routage Top-1
  • • Effet：A démontré l'évolutivité de MoE
  • • Impact: a inspiré le développement des modèles MoE ultérieurs

Résumé des avantages du MoE

  • • Extension à grande échelle：peut entraîner des modèles à l’échelle de mille milliards de paramètres
  • • Contrôle des coûts: Les coûts d’entraînement et d’inférence sont relativement maîtrisables
  • • Amélioration des performances: une capacité de modèle plus grande apporte des capacités plus puissantes
  • • Valeur pratique: Améliorer les capacités du modèle tout en maintenant l’efficacité d’inférence

Résultats d’apprentissage

À la fin de ce chapitre, vous pourrez :

  • 1Comprendre les principes architecturaux de MoE (réseaux d’experts, routeur, activation clairsemée, combinaison pondérée)
  • 2Comprenez comment l’activation clairsemée améliore l’efficacité et découvrez les applications du MoE dans les modèles à très grande échelle
  • 3Comprendre les défis du MoE (complexité du routage, équilibrage de charge, coût de communication) et les solutions
  • 4Comprendre les effets concrets et la valeur d’application de MoE à travers des cas réels tels que GPT-4 et Mixtral
Chapitre précédent : Mamba / State Space ModelsChapitre suivant : génération augmentée par récupération RAG