Les mécanismes de sécurité des modèles de langage reposent souvent sur des refus déclenchés en fin de génération. Selon un nouvel article publié sur arXiv, cette approche laisserait intactes des représentations internes de concepts dangereux apprises lors du préentraînement, ouvrant la voie à des attaques dites de camouflage sémantique : une intention malveillante est dissimulée dans un récit anodin, par exemple sous la forme d’un exercice de fiction ou d’écriture créative.
Les chercheurs ont analysé les trajectoires d’activation latentes de trois familles de petits modèles de langage : Phi-3, Qwen2.5 et Gemma-2b. Leur principal constat est l’existence d’un « Intent Horizon », un point situé tôt dans le réseau — autour de 15 à 20 % de la profondeur totale des couches, d’après l’étude — où la représentation distincte de l’intention nuisible commencerait à se dissoudre au profit d’un contexte narratif perçu comme sûr.
Cette observation a des implications directes pour la détection. En couches tardives, les attaques camouflées deviendraient presque indiscernables de requêtes bénignes, avec un taux de détection inférieur à 20 % selon les auteurs. En revanche, les couches précoces conserveraient une signature latente de l’intention initiale, exploitable pour repérer des requêtes problématiques avant qu’elles ne soient “normalisées” par le modèle.
Pour répondre à cette faiblesse, l’article propose Latent Intent Verification (LIV), une défense légère fondée sur des sondes appliquées aux représentations internes. Testée sur le jeu de données PKU-SafeRLHF, la méthode surpasserait les garde-fous standards de 20 à 50 % sur les architectures évaluées, sans nécessiter de réentraînement complet. Ces résultats restent à confirmer en dehors du cadre expérimental présenté, mais ils suggèrent une piste concrète pour renforcer la sûreté des LLM et SLM face à des attaques inédites.