Modellmonitoring – Übersicht
Durch das Monitoring von ML-Modellen für maschinelles Lernen in BigQuery ML können Sie die Daten bewerten und vergleichen, die Ihre Modelle für Vorhersagen verwenden. Dazu gehört der Vergleich der Bereitstellungsdaten eines Modells mit seinen Trainingsdaten und der Vergleich neuer Bereitstellungsdaten mit zuvor verwendeten Bereitstellungsdaten.
Das Verständnis der von Ihren Modellen verwendeten Daten ist ein wichtiger Aspekt des ML, da diese Daten die Modellleistung beeinflussen. Es ist besonders wichtig, Abweichungen zwischen Ihren Trainings- und Bereitstellungsdaten zu verstehen, damit Ihre Modelle im Laufe der Zeit genau bleiben. Ein Modell funktioniert am besten mit Bereitstellungsdaten, die den Trainingsdaten ähneln. Wenn die Bereitstellungsdaten von den Daten abweichen, die zum Trainieren des Modells verwendet wurden, kann sich die Leistung des Modells verschlechtern, auch wenn sich das Modell selbst nicht geändert hat.
BigQuery ML bietet Funktionen, mit denen Sie Ihre Trainings- und Bereitstellungsdaten auf Datenverzerrung und Datendrift analysieren können:
- Eine Datenverzerrung tritt auf, wenn die Verteilung von Featurewerten für Trainingsdaten erheblich von den Bereitstellungsdaten in der Produktion abweicht. Die Trainingsstatistiken für das Modell werden während des Modelltrainings gespeichert. Sie benötigen also nicht die ursprünglichen Trainingsdaten, um die Abweichungserkennung zu verwenden.
- Ein Daten-Drift tritt auf, wenn sich die Verteilung der Featuredaten in der Produktion im Laufe der Zeit erheblich verändert Die Drifterkennung wird für aufeinanderfolgende Datenbereiche unterstützt, z. B. zwischen verschiedenen Tagen mit Bereitstellungsdaten. So werden Sie benachrichtigt, wenn sich die Bereitstellungsdaten im Laufe der Zeit ändern, bevor die Datasets zu stark voneinander abweichen, um das Modell neu zu trainieren.
Verwenden Sie die folgenden Funktionen, um Modelle in BigQuery ML zu überwachen:
ML.DESCRIBE_DATA: Berechnet deskriptive Statistiken für einen Satz von Trainings- oder Bereitstellungsdaten.ML.VALIDATE_DATA_SKEW: Berechnen Sie die Statistiken für eine Reihe von Bereitstellungsdaten und vergleichen Sie sie dann mit den Trainingsdatenstatistiken, die beim Trainieren eines BigQuery ML-Modells berechnet wurden, um ungewöhnliche Unterschiede zwischen den beiden Datensätzen zu identifizieren. Statistiken werden nur für Featurespalten in den Bereitstellungsdaten berechnet, die mit Featurespalten in den Trainingsdaten übereinstimmen, um eine bessere Leistung und niedrigere Kosten zu erzielen.ML.VALIDATE_DATA_DRIFT: Berechnen und vergleichen Sie die Statistiken für zwei Sätze von Bereitstellungsdaten, um ungewöhnliche Unterschiede zwischen den beiden Datensätzen zu identifizieren.ML.TFDV_DESCRIBE: Berechnen Sie detaillierte deskriptive Statistiken für eine Reihe von Trainings- oder Bereitstellungsdaten. Diese Funktion bietet dasselbe Verhalten wie die TensorFlowtfdv.generate_statistics_from_csvAPI.ML.TFDV_VALIDATE: Vergleichen Sie die Statistiken für Trainings- und Bereitstellungsdaten oder zwei Sätze von Bereitstellungsdatenstatistiken, um ungewöhnliche Unterschiede zwischen den beiden Datensätzen zu identifizieren. Diese Funktion bietet dasselbe Verhalten wie die TensorFlowvalidate_statisticsAPI.
Monitoring-Anwendungsfälle
In diesem Abschnitt wird beschrieben, wie Sie die BigQuery ML-Modellmonitoringfunktionen in gängigen Monitoring-Anwendungsfällen verwenden.
Grundlegendes Monitoring von Datenverzerrungen
Dieser Anwendungsfall ist geeignet, wenn Sie ein Modell schnell entwickeln und auf Datenverzerrung überwachen möchten und keine detaillierten Statistiken zur Datenverzerrung benötigen, die in eine vorhandene Monitoringlösung integriert werden können.
Typische Schritte für diesen Anwendungsfall:
- Führen Sie die Funktion
ML.DESCRIBE_DATAfür Ihre Trainings- und Bereitstellungsdaten aus, um sicherzustellen, dass beide Datasets angemessen miteinander verglichen werden und innerhalb der erwarteten Parameter liegen. - Erstellen Sie ein BigQuery ML-Modell und trainieren Sie es mit den Trainingsdaten.
- Führen Sie die Funktion
ML.VALIDATE_DATA_SKEWaus, um die Statistiken der Bereitstellungsdaten mit den Statistiken der Trainingsdaten zu vergleichen, die während der Modellerstellung berechnet wurden. So können Sie feststellen, ob eine Datenverzerrung vorliegt. - Wenn es eine Datenverzerrung gibt, untersuchen Sie die Ursache, passen Sie die Trainingsdaten entsprechend an und trainieren Sie dann das Modell neu.
Grundlegendes Monitoring von Datendrifts
Dieser Anwendungsfall ist geeignet, wenn Sie ein Modell schnell entwickeln und auf Datendrift überwachen möchten und keine detaillierten Driftstatistiken benötigen, die in eine vorhandene Monitoringlösung integriert werden können.
Typische Schritte für diesen Anwendungsfall:
- Führen Sie die Funktion
ML.DESCRIBE_DATAfür Ihre Trainings- und Bereitstellungsdaten aus, um sicherzustellen, dass beide Datasets angemessen miteinander verglichen werden und innerhalb der erwarteten Parameter liegen. - Erstellen Sie ein BigQuery ML-Modell und trainieren Sie es mit den Trainingsdaten.
- Führen Sie die Funktion
ML.VALIDATE_DATA_DRIFTaus, um die Statistiken für zwei verschiedene Bereitstellungs-Datasets zu vergleichen und festzustellen, ob Datendrifts auftreten. Sie können beispielsweise die aktuellen Bereitstellungsdaten mit historischen Bereitstellungsdaten aus einem Tabellen-Snapshot oder mit der Bereitstellung von Features vergleichen, die zu einem bestimmten Zeitpunkt bereitgestellt werden, die Sie mit der FunktionML.FEATURES_AT_TIMEabrufen können. - Wenn es Datendrifts gibt, untersuchen Sie die Ursache, passen Sie die Trainingsdaten entsprechend an und trainieren Sie dann das Modell neu.
Erweitertes Monitoring von Datenabweichungen oder -drifts
Dieser Anwendungsfall ist geeignet, wenn Sie detaillierte Abweichungs- oder Driftstatistiken benötigen, die in eine vorhandene Monitoringlösung integriert werden können, oder für andere Zwecke.
Typische Schritte für diesen Anwendungsfall:
- Führen Sie die Funktion
ML.TFDV_DESCRIBEfür Ihre Trainings- und Bereitstellungsdaten in Intervallen aus, die für Ihre Monitoring-Lösung geeignet sind, und speichern Sie die Abfrageergebnisse. In diesem Schritt können Sie zukünftige Bereitstellungsdaten mit Trainings- und Bereitstellungsdaten aus der Vergangenheit vergleichen. Führen Sie die Funktion
ML.TFDV_VALIDATEfür Ihre Trainings- und Bereitstellungsdatenstatistiken oder für zwei Sätze von Bereitstellungsdatenstatistiken aus, um eine Datenverzerrung bzw. eine Feature-Drift zu bewerten. Die Trainings- und Bereitstellungsdaten müssen als TensorFlow-DatasetFeatureStatisticsList-Protokollzwischenspeicher im JSON-Format bereitgestellt werden. Sie können einen Protokollzwischenspeicher im richtigen Format generieren, indem Sie die FunktionML.TFDV_DESCRIBEausführen, oder Sie können ihn von außerhalb von BigQuery laden. Das folgende Beispiel zeigt, wie Sie die Featureabweichung bewerten:DECLARE stats1 JSON; DECLARE stats2 JSON; SET stats1 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.training`) ); SET stats2 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.serving`) ); SELECT ML.TFDV_VALIDATE(stats1, stats2, 'SKEW'); INSERT `myproject.mydataset.serve_stats` (t, dataset_feature_statistics_list) SELECT CURRENT_TIMESTAMP() AS t, stats1;
Bei Datenverzerrungen oder -drifts untersuchen Sie die Ursache, passen die Trainingsdaten entsprechend an und trainieren dann das Modell neu.
Monitoring-Visualisierung
Einige Monitoring-Funktionen bieten eine Integration in das Modellmonitoring der Gemini Enterprise Agent Platform, sodass Sie Diagramme und Grafiken verwenden können, um die Ausgabe der Modellmonitoring-Funktion zu analysieren.
Die Verwendung von Agent Platform-Visualisierungen bietet folgende Vorteile:
- Interaktive Visualisierungen: Sie können Datenverteilungen, Schiefe-Messwerte und Drift-Messwerte mithilfe von Diagrammen und Grafiken in der Agent Platform-Konsole untersuchen.
- Verlaufsanalyse: Verfolgen Sie die Ergebnisse des Modellmonitorings im Zeitverlauf mithilfe von Visualisierungen auf der Agent Platform. So können Sie Trends und Muster bei Datenänderungen erkennen und Modelle proaktiv aktualisieren und verwalten.
- Zentrale Verwaltung: Verwalten Sie das Monitoring für alle BigQuery ML- und Agent Platform-Modelle im einheitlichen Agent Platform-Dashboard.
Sie können die Visualisierung der Ausgabe der Funktion ML.VALIDATE_DATA_DRIFT mit dem Argument MODEL dieser Funktion aktivieren. Sie können die Visualisierung der Ausgabe der Funktion ML.VALIDATE_DATA_SKEW mit dem Argument enable_visualization_link dieser Funktion aktivieren.
Sie können die Monitoring-Visualisierung nur mit Modellen verwenden, die bei der Agent Platform registriert sind. Sie können ein vorhandenes Modell mit der Anweisung ALTER MODEL registrieren.
Monitoring automatisieren
Sie können das Monitoring automatisieren, indem Sie eine geplante Abfrage verwenden, um die Monitoringfunktion auszuführen, die Ausgabe zu bewerten und das Modell neu zu trainieren, wenn Anomalien erkannt werden. Sie müssen E-Mail-Benachrichtigungen im Rahmen der Einrichtung der geplanten Abfrage aktivieren.
Ein Beispiel für die Automatisierung der Funktion ML.VALIDATE_DATA_SKEW finden Sie unter Verzerrungserkennung automatisieren.
Nächste Schritte
Weitere Informationen zu den unterstützten SQL-Anweisungen und -Funktionen für ML-Modelle finden Sie unter End-to-End-Nutzerpfad für ML-Modelle.