Un Mélange d'experts est une architecture de réseau de neurones qui divise ses paramètres en sous-réseaux spécialisés (experts), avec un mécanisme de portail qui achemine chaque entrée à un sous-ensemble d'experts pertinents. Cela permet au modèle d'avoir de nombreux paramètres tout en n'en activant qu'une fraction par entrée. Mixtral 8x7B et GPT-4 utilisent probablement des architectures MoE.