Les modèles de langage « tokenizer-free » gagnent en crédibilité en travaillant directement sur des octets, souvent regroupés en segments dynamiques de taille variable. Mais, selon les auteurs d’EntropyMoE, ces architectures continuent généralement d’appliquer le même calcul dense à tous les segments, sans tenir compte de leurs différences de granularité ou de contenu. Leur proposition vise à corriger cette limite avec une approche de calcul conditionnel plus sélective.
Concrètement, EntropyMoE remplace les modules feed-forward denses du Transformer global par des couches Top-K Mixture-of-Experts. Ici, chaque segment dynamique devient l’unité de base du routage vers les experts. Le point distinctif du papier est l’usage de l’entropie du segment comme signal principal de routage, en cohérence avec le mécanisme qui sert déjà à construire ces segments. La longueur du segment est également prise en compte pour encadrer la spécialisation des experts.
Les auteurs précisent aussi que la couverture en octets de chaque segment sert à mesurer sa contribution à la charge de calcul. L’objectif est d’adapter la capacité du modèle à la variabilité sémantique et structurelle des segments, plutôt que d’imposer un traitement uniforme. Cette logique étend les architectures MoE, très répandues dans les modèles fondés sur des tokens, à des représentations sans tokenizer.
D’après le résumé arXiv, EntropyMoE obtient le meilleur bits-per-byte sur données de validation parmi des bases de comparaison denses et creuses de taille comparable, tout en conservant une précision aval similaire. À ce stade, ces résultats proviennent de la publication scientifique elle-même et demandent donc à être confirmés par des évaluations plus larges. Le travail suggère néanmoins que l’entropie des segments pourrait devenir un signal clé pour organiser le calcul sparse dans les futurs LLMs byte-level.