Les agents LLM dotés de mémoire doivent conserver du contexte sur de longues séquences d’interactions. Dans ces architectures, chaque rappel de mémoire implique souvent de réencoder entièrement des unités structurées — résumés, mots-clés ou tags générés par le modèle — afin de reconstruire les états Key-Value (KV). D’après les auteurs, ce préremplissage devient rapidement le principal poste de latence à l’inférence.
Le papier **AgentKVShift** propose une alternative dite *training-free*, donc sans phase d’entraînement supplémentaire. L’idée centrale est de corriger la réutilisation du cache KV au niveau de chaque unité de mémoire récupérée. Les chercheurs indiquent que l’erreur de réutilisation peut être décomposée en un décalage commun à l’ensemble de la mémoire, auquel s’ajoutent de faibles variations token par token. En estimant ce décalage à partir d’un petit ensemble de sondes, la méthode applique ensuite une correction pondérée à tous les tokens réutilisés.
Cette approche se distingue des méthodes antérieures de réutilisation KV, conçues surtout pour des passages bruts de type RAG. Là où ces techniques choisissent certains tokens à recalculer en laissant le reste du cache potentiellement obsolète, AgentKVShift cherche aussi à corriger les tokens non recalculés. Le budget de rafraîchissement serait ainsi exploité sur l’ensemble du segment mémoire, plutôt que sur une sous-partie seulement.
Selon les résultats rapportés sur quatre LLM open source de 3 à 32 milliards de paramètres et sur deux benchmarks de mémoire agentique à long horizon, AgentKVShift atteint des performances proches d’un recalcul complet en ne rafraîchissant que 10 à 30 % du cache. Les auteurs avancent également des gains de vitesse de préremplissage de 2 à 3,5 fois sur une seule NVIDIA A100, ainsi qu’une bonne compatibilité avec la quantification du cache KV. Ces résultats restent à confirmer en déploiement réel, mais ils ciblent un point sensible pour l’industrialisation des agents à mémoire longue.