Des chercheurs présentent sur arXiv une évaluation à grande échelle d’un modèle local open weight, Qwen2.5-14B quantifié en 4 bits, face à l’intégralité du corpus ouvert de Jeopardy!. L’expérience porte sur 529 939 indices couvrant 41 saisons, de 1984 à 2025. Selon les auteurs, il s’agirait de la première exécution d’un modèle sur l’ensemble complet de ce corpus.
Le résultat principal avancé est un taux de réussite de 67,0 % sur l’ensemble des questions, dans un protocole de réponse forcée avec correspondances exactes et approximatives. L’étude indique aussi des performances supérieures à 85 % sur les catégories factuelles. Les auteurs défendent l’idée que ce type de benchmark mesure une forme de savoir général humain validé, allant de l’histoire ancienne aux sciences, en passant par la littérature et la géographie.
L’article propose surtout une comparaison historique avec IBM Watson, vainqueur emblématique de Jeopardy! en 2011. Là où Watson reposait sur un corpus massif, figé et exécuté sur une infrastructure serveur dédiée, le modèle testé ici tiendrait dans un fichier d’environ 9 Go, exécutable localement et à faible coût. Les chercheurs estiment que cette portabilité change la nature même de l’artefact : non plus une base de connaissances enfermée dans un datacenter, mais un instantané duplicable du savoir interrogeable d’une époque.
Les auteurs insistent enfin sur un critère jugé plus décisif : la capacité à répondre à des indices diffusés après la date limite d’entraînement. Sur ces questions postérieures, le modèle local conserverait 65 % de bonnes réponses, contre 95 % pour Claude Opus 4.8 selon leur comparaison, tandis que Watson obtiendrait mécaniquement zéro sur ce terrain. Ces résultats restent à considérer avec prudence, dans l’attente d’une validation plus large par la communauté.