Expertennetzwerke in MoE — warum ein Modell auf mehrere Experten verteilt wird

Expert Networks in Mixture of Experts (MoE) bezeichnen eine Architektur, bei der nicht ein einziges großes Netzwerk jede Eingabe vollständig verarbeitet. Stattdessen enthält das Modell mehrere Expertennetzwerke, von denen pro Eingabe nur einige selektiv aktiviert werden. Der Kern besteht darin, die gesamte Parameterkapazität stark zu erhöhen, die tatsächliche Berechnung aber auf die ausgewählten Experten zu beschränken.

05/20/2026