NannyML est une bibliothèque open source en Python conçue pour le monitoring des modèles de machine learning après leur déploiement, notamment dans les cas où les étiquettes (vérités terrain) sont retardées ou absentes. Elle s’adresse aux data scientists, ingénieurs ML et équipes MLOps qui doivent détecter des défaillances silencieuses, des dérives de données et estimer les performances des modèles en production.

Contrairement aux outils classiques, NannyML permet d’estimer les performances sans disposer des étiquettes, grâce à des méthodes statistiques avancées. Elle est particulièrement adaptée aux domaines où les retours sont différés, comme le scoring de crédit, la détection de fraude ou les systèmes de recommandation.

Avantages clés :

• Estimation des performances sans vérité terrain

• Détection de drift de données et suivi de l’importance des variables

• Génère des rapports visuels intégrables aux workflows ML

Quelles sont les fonctionnalités principales de NannyML ?

Estimation des performances sans étiquettes

Permet de suivre les performances en temps réel, sans avoir besoin des cibles :

• Méthodes : CBPE (estimation de performance par confiance) et DLE (estimation directe de la perte)

• Estimation de métriques comme accuracy, precision, recall ou loss

• Détection de baisses soudaines de performance

• Utile dans les contextes à retour différé

Détection de dérive des données

Analyse les changements dans la distribution des variables :

• Mesure la dérive au niveau des features ou de l’ensemble du dataset

• Métriques : divergence de Jensen-Shannon, PSI, Wasserstein

• Identification des features les plus impactées

• Aide à décider si un retraining est nécessaire

Suivi des performances réalisées avec les étiquettes

Compare les estimations avec les performances réelles, une fois les labels disponibles :

• Alignement des courbes estimées vs. réalisées

• Analyse de la fiabilité des méthodes d’estimation

• Aide à affiner la stratégie de surveillance

Analyse de l’importance des variables et qualité des données

Explore les causes de changement dans le comportement du modèle :

• Évolution de l’importance des features dans le temps

• Identification de données manquantes ou corrompues

• Détection des facteurs de dégradation des prédictions

Rapports et visualisations interactives

Génère des rapports clairs pour diagnostic et revue :

• Intégrable dans notebooks Jupyter ou exportable en HTML

• Dashboards interactifs pour le suivi dans le temps

• Aide à expliquer les anomalies aux équipes techniques

Pourquoi choisir NannyML ?

• Surveillance sans étiquettes : idéal pour les cas à feedback différé

• Méthodes statistiques avancées : au-delà des outils de monitoring classiques

• Open source et agnostique du modèle

• Diagnostics visuels précis pour comprendre les dérives et échecs

• Conçu pour la production : robuste face aux contraintes réelles des systèmes ML