Les architectures Mixture-of-Experts (MoE) sont devenues un levier clé pour faire évoluer les grands modèles de langage tout en limitant le coût de calcul grâce à une activation parcimonieuse. Mais la contribution réelle de chaque couche MoE reste encore mal documentée, notamment dans une optique de compression ou d’optimisation du déploiement.
Dans ce travail, les auteurs étudient le modèle Qwen3.6-35B-A3B, qui comporte 40 couches MoE, 256 experts par couche et un routage top-8. Leur méthode repose sur un masquage d’experts basé sur la magnitude, évalué sur le benchmark XLCoST de traduction de code cross-lingue. L’analyse a été menée en plusieurs phases, sur des jeux de 100, 300 et 500 prompts, avec une infrastructure mentionnée comme reposant sur trois serveurs H100.
Le principal résultat est une forte dépendance à la profondeur. Les couches précoces (0 à 9) et intermédiaires (10 à 29) apparaissent nettement plus fragiles au masquage d’experts. À l’inverse, les couches tardives (30 à 39), et plus encore les très tardives (35 à 39), tolèrent un masquage plus agressif des experts de faible magnitude. À l’échelle de 300 prompts, un masquage uniforme de 30 % sur toutes les couches ne conserve que 150 sorties “Good+Similar” sur 300, tandis que des politiques ciblant les couches tardives en conservent 249 à 255, tout en masquant 640 à 1 145 experts.
Sur une validation séparée de 500 prompts, la politique la plus resserrée — couches 35 à 39 avec 50 % de masquage — offre, selon les auteurs, le meilleur compromis entre qualité et réduction. Elle conserve 419 sorties “Good+Similar” sur 500 en ne masquant que 640 experts sur 10 240. L’étude examine aussi une réduction du routage top-k de 8 à 6 experts actifs par token, avec un gain temporel observé sur un test de 100 prompts, sans perte de qualité sur cette sonde. Les auteurs restent toutefois prudents sur la combinaison de cette approche avec un masquage agressif.