Présentation
Superwise fournit des services d’observation de modèles pour les opérations de machine learning à grande échelle. La solution d’observation de modèles Superwise vous permet de gagner en visibilité et en contexte sur les comportements de vos modèles. Vous pouvez ainsi facilement surveiller les risques des modèles en fonction de différents scénarios. Grâce à Superwise, vos équipes de data science, d’ingénierie ML et d’opérations métier peuvent surveiller des modèles sans recevoir une montagne d’alertes. Cela améliore ainsi la fiabilité de votre gestion de modèles.
L’intégration Superwise qui gère les incidents et les métriques relatifs aux modèles transmet directement à Datadog des métriques clés en main sur les modèles, notamment sur la dérive, les activités et les incidents, ainsi que des métriques custom. Vous pouvez ainsi identifier les modèles dont les prédictions ne correspondent pas aux résultats attendus. Il est possible de filtrer les informations présentées afin d’afficher uniquement les données d’un scénario, d’une logique, d’une segmentation, d’un seuil ou d’une sensibilité précis.
L’intégration Datadog dans Superwise envoie des métriques sur les modèles standard à Datadog. Cela permet aux utilisateurs de consulter des dashboards d’observation des modèles dans Datadog. Vous pouvez configurer la stratégie de votre choix pour les incidents et métriques relatifs aux modèles, et transmettre ces données à Datadog. Vous bénéficiez alors d’une observabilité des modèles adaptée à vos besoins.
Configuration
Accédez au portail Superwise et sélectionnez Integrations.
Cliquez sur Create a new channel et sélectionnez Datadog.
Saisissez vos clés d’application et d’API Datadog, puis cliquez sur Test. Un test de requête est envoyé à votre compte Datadog pour valider l’intégration. Si l’envoi de la requête a fonctionné, un message indique dans Superwise que le test a bien été effectué. Pour finir la configuration, cliquez sur Create channel.
Une fois la configuration terminée, le nouveau widget d’intégration Datadog est disponible :
Validation
Dans Datadog, accédez au Metrics Explorer et recherchez la métrique superwise.integration.test pour vérifier que l’intégration Datadog/Superwise fonctionne.
Données collectées
Métriques
superwise.metric.overall.data_drift
(gauge) | Average distribution shifts across all features.
Shown as day |
superwise.metric.overall.weighted_data_drift
(gauge) | Average distribution shifts across all features weighted by importance.
Shown as day |
superwise.metric.overall.quantity
(gauge) | Number of records sent.
Shown as day |
Événements
L’intégration Superwise n’inclut aucun événement.
Checks de service
L’intégration Superwise n’inclut aucun check de service.
Dépannage
Besoin d’aide ? Consultez la documentation Superwise (en anglais).
