Un seuil PSI mal calibré génère des alertes en continu, jusqu'à ce que les équipes les ignorent. Voici comment adapter la détection de dérive au type de modèle et à sa criticité métier.
La plupart des équipes data disposent aujourd'hui d'outils capables de calculer un Population Stability Index (PSI) ou un test de Kolmogorov-Smirnov (KS) sur les features en production. Le vrai problème arrive après : que faire d'un score qui clignote au rouge trois fois par semaine sans que la performance métier ne bouge d'un point ? En production, les modèles sont surveillés en continu et sur de nombreuses features, et même de faibles taux de faux positifs peuvent s'accumuler en alertes fréquentes, menant à une fatigue d'alerte.
Une étude récente sur les taux de fausses alarmes en surveillance continue confirme ce que beaucoup d'équipes constatent empiriquement : le PSI présente une forte sensibilité à la taille des lots, produisant des fausses alertes fréquentes sur de petits échantillons, mais son comportement se stabilise nettement au-delà d'environ 200 échantillons. Les tests KS, MMD et LSDD, eux, affichent des fluctuations persistantes selon la taille des lots, tout en restant comparativement plus fiables que le PSI sur de petits volumes de données.
Autrement dit : le choix du seuil ne peut pas être dissocié du choix de la métrique, ni de la taille des lots analysés. Un seuil "standard" copié d'un tutoriel sans adaptation au contexte est la première cause de faux positifs coûteux.
Les seuils PSI les plus cités dans la littérature technique restent une base de départ raisonnable, à condition de ne pas les appliquer mécaniquement. Un PSI inférieur à 0,1 signale une stabilité ; entre 0,1 et 0,25, une dérive modérée qui mérite d'être investiguée ; au-delà de 0,25, une dérive significative nécessitant une action rapide. D'autres sources retiennent des bornes légèrement différentes : un PSI supérieur à 0,25 justifie une investigation, et supérieur à 0,5 une action.
Ces divergences entre sources ne sont pas anodines : elles montrent qu'il n'existe pas de seuil universel. Un PSI de 0,15 sur une feature démographique stable peut n'être que du bruit, tandis que le même PSI sur une feature comportementale en temps réel peut justifier une investigation immédiate. C'est précisément ce raisonnement contextuel qui manque dans la majorité des configurations qui génèrent des faux positifs en série.
Le test KS pose un problème symétrique. Il détecte les changements de distribution mais devient sur-sensible avec de grands échantillons, où il repère des différences minuscules qui n'ont pas d'importance pratique. Un cas typique illustré dans la littérature : un p inférieur à 0,001 avec une statistique KS de 0,02 est statistiquement significatif mais pas pratiquement significatif. Configurer une alerte uniquement sur la p-value du KS test, sans regarder la statistique elle-même, revient à s'exposer à un flux d'alertes ininterrompu dès que le volume de données dépasse quelques milliers de lignes par jour.
Le PSI compare la distribution actuelle d'une feature à sa référence d'entraînement ; le test KS mesure la distance maximale entre deux fonctions de répartition cumulées et convient bien aux features continues, en étant sensible aux décalages dans les queues de distribution ; le test du Chi carré de Pearson gère les features catégorielles. Mélanger ces métriques sans discernement — appliquer un PSI à une variable catégorielle à forte cardinalité, par exemple — est une source classique de faux positifs.
Un modèle de scoring crédit stable sur plusieurs mois n'a pas la même dynamique qu'un modèle NLP exposé à des requêtes utilisateurs en évolution constante, ni qu'un modèle de prévision de la demande soumis à une saisonnalité forte. La fréquence de surveillance dépend du taux de changement attendu — plus élevé pour les environnements volatils — et de la criticité du modèle, une surveillance plus fréquente étant nécessaire lorsque de mauvaises prédictions ont un impact fort, comme en détection de fraude.
Pour un modèle de scoring en secteur bancaire ou assurance, un PSI supérieur à 0,25 sur une feature réglementaire clé justifie une alerte rapide, car l'historique de calibration est long et le socle de référence stable. À l'inverse, pour un modèle NLP dont les entrées textuelles varient naturellement avec l'actualité ou les campagnes marketing, un seuil identique déclenchera des alertes en continu sans valeur ajoutée : il faut alors élargir la fenêtre de référence ou monter le seuil, quitte à accepter un temps de détection plus long.
Le seuil et la taille du lot ne se choisissent pas indépendamment. Un benchmark récent sur les configurations de détecteurs retient un seuil PSI de 0,2 comme réglage standard de l'industrie, avec un test KS à deux échantillons utilisant un seuil alpha standard de 0,05, corrigé selon Bonferroni à environ 0,007 lorsque quatorze features sont surveillées simultanément. Cette correction est essentielle dès que plusieurs dizaines de features sont testées en parallèle : sans elle, appliquer une correction de Bonferroni réduit les taux de faux positifs, mais souvent au prix d'une sensibilité réduite, ce qui renforce l'arbitrage bien connu entre stabilité et sensibilité en détection de dérive.
Un exemple concret de mauvais paramétrage : une équipe de crédit à la consommation a testé son PSI sur des lots quotidiens de 40 dossiers, sous le seuil de 200 échantillons identifié comme point de stabilisation. Résultat : des pics de PSI supérieurs à 0,3 chaque lundi, liés uniquement à la faible volumétrie du week-end, jamais à une vraie dérive. La correction a consisté à passer à des fenêtres glissantes de sept jours plutôt qu'à des lots journaliers.
Une dérive détectée sur les features n'implique pas automatiquement une dégradation de la performance du modèle. Une étude de cas sur deux déploiements industriels illustre bien ce découplage : une baisse de précision sous 97 % déclenche une alarme, et sur une période donnée la performance chute en coïncidant avec une dérive détectée par le test KS sur une variable de CO2, alors que pour une autre variable, le test KS ne s'aligne pas avec la baisse de précision, bien que des dérives soient notées juste avant et après l'alarme, ce qui suggère un effet indirect plutôt qu'une corrélation directe.
La conséquence opérationnelle est claire : configurer une alerte de dérive isolée, sans la croiser avec un indicateur de performance réel (taux d'erreur, accuracy, revenu impacté), conduit à des investigations coûteuses pour des signaux qui n'affectent jamais la production. Dans les cas où une dérive est détectée mais où la performance du modèle ne se dégrade pas, ces signaux restent utiles pour comprendre la généralisation du modèle à de nouvelles populations — mais ne justifient pas une alerte critique nécessitant une intervention immédiate.
La pratique la plus robuste consiste à distinguer un seuil de veille et un seuil d'action, plutôt qu'un déclenchement unique. Un dispositif de détection de dérive peut proposer un seuil de confiance de dérive en dessous duquel la dérive est déclarée, et un seuil de confiance d'avertissement en dessous duquel un avertissement est émis. Ce double niveau permet de faire remonter un signal faible sans mobiliser d'astreinte, et de réserver l'alerte critique aux cas où plusieurs signaux convergent.
En complément, il est recommandé de ne pas alerter sur l'ensemble des features indistinctement. Si des alertes de dérive inutiles sont observées, il est possible d'ajuster la sensibilité des méthodes de détection ; une bonne règle consiste à tenir compte de l'importance des features et à n'alerter, par exemple, que sur la dérive des features les plus importantes du modèle. Cette hiérarchisation, couplée à des seuils de sensibilité ajustables selon les retours terrain — le seuil de dérive peut être ajusté comme un paramètre de sensibilité en fonction des retours utilisateurs pour réduire les faux positifs, un seuil plus bas rendant le détecteur plus sensible — constitue la base d'un dispositif tenable dans la durée.
Fixer un seuil n'est jamais un exercice purement statistique : c'est un arbitrage entre le coût d'un faux positif (temps d'investigation, perte de confiance dans le système d'alerte) et le coût d'un faux négatif (dérive non détectée qui dégrade la décision métier). Cet arbitrage doit être documenté modèle par modèle, avec une revue périodique des seuils au même titre que la revue de performance. Les équipes qui structurent cette gouvernance dans leur dispositif de conseil en industrialisation IA évitent l'écueil le plus commun : traiter la détection de dérive comme une case à cocher technique plutôt que comme un processus métier à part entière, arbitré conjointement par la data science et les équipes opérationnelles concernées.
Nous utilisons des cookies de mesure d'audience et de suivi publicitaire pour comprendre la fréquentation du site et l'efficacité de nos annonces. Rien n'est déposé sans votre accord. En savoir plus