Les modèles de langage agentiques connectés à des outils via le Model Context Protocol (MCP) doivent souvent réencoder à chaque tour des schémas d’outils volumineux. Selon les auteurs de Nexus, ce préremplissage, coûteux car quadratique avec la longueur de contexte, devient le principal frein au time-to-first-token (TTFT) à mesure que le registre d’outils s’élargit.
La contribution principale consiste à décorréler le routage d’outils du coût de préremplissage des schémas. Nexus s’appuie pour cela sur un semantic lookaside buffer en INT8 et sur un mécanisme de sélection par récupération, avec une génération d’arguments fondée sur une signature textuelle compressée plutôt que sur l’injection complète du cache clé/valeur. D’après le papier, cette voie reste stable quand la profondeur augmente : la précision de routage demeure proche de 89 % jusqu’à 250 outils, un niveau où une approche consistant à concaténer tous les schémas ne tient plus dans la fenêtre de contexte. Les auteurs rapportent aussi un premier token d’argument obtenu 1,66 fois plus vite, avec environ 80 % de tokens de contexte principal économisés.
En complément, Nexus explore une seconde technique : le transfert direct d’un bloc de cache KV compilé dans le contexte actif. Mais cette stratégie se heurte à une limite importante, liée à la dérive de phase des rotary position embeddings (RoPE). Le papier indique qu’un splice “ancré” reste fidèle, tandis qu’un placement hors ancre dégrade l’attention. Au-delà d’un seuil P=256, Nexus doit réparer la jonction par un redécodage adaptatif, voire revenir à un préremplissage complet.
Les auteurs mettent en avant une propriété de “never-regress” sur la fidélité de sortie, et non sur la latence : celle-ci peut légèrement reculer avant de revenir à la parité. Les mesures ont été réalisées sur une seule configuration, Qwen2.5-14B-Instruct Q4_K_M sur Apple Silicon en mémoire unifiée. Les tendances qualitatives pourraient se généraliser, mais les chiffres précis doivent être interprétés avec prudence.