Des chercheurs présentent sur arXiv une approche de prévision hybride dans laquelle un modèle de langage n’est qu’une source parmi d’autres. Dans ce cadre, la bonne question n’est pas de savoir si le LLM est performant seul, mais s’il améliore effectivement une prévision déjà disponible, issue par exemple d’un marché prédictif, d’un agrégat de foule ou d’un modèle statistique.
L’article formalise cette idée sous le nom de compétence relative : la contribution utile du modèle au-delà du signal externe existant. Sous la perte de Brier, les auteurs décrivent les cas où le désaccord du modèle avec une prévision externe peut être bénéfique. Ils montrent aussi l’intérêt potentiel d’utiliser des pondérations spécifiques à un domaine plutôt qu’une combinaison globale identique pour tous les cas.
Pour cela, ils introduisent un competence gate, un mécanisme qui estime des poids par domaine à partir de résultats observés, réduit les estimations trop incertaines vers un poids global, puis recalibre la prévision combinée. Sur 2 357 questions binaires résolues et cinq modèles de langage, la méthode améliore le principal baseline externe, avec un score de Brier passant de 0,0771 à 0,0732. Les auteurs indiquent également un avantage significatif face à des combinaisons globales, y compris avec des contrôles contre les fuites d’information.
Les résultats sont toutefois nuancés. Sur le sous-ensemble de marché officiel de ForecastBench, la méthode n’apporte pas d’amélioration significative et tend surtout à s’en remettre au marché. Les auteurs notent aussi que, sur quatre modèles Qwen, la confiance verbale exprimée par le modèle n’identifie pas de manière fiable les cas où il surpasse la prévision externe. À l’inverse, une estimation de compétence fondée sur les résultats passés semble mieux guider les décisions d’abstention. Ces travaux suggèrent une voie pragmatique pour un usage plus sélectif des LLM en prévision.