Die Gemini Enterprise Agent Platform exportiert Messwerte nach Cloud Monitoring. Die Agent Platform zeigt auch einige dieser Messwerte in der Google Cloud Console der Agent Platform an. Sie können Cloud Monitoring verwenden, um Dashboards zu erstellen oder Benachrichtigungen anhand der Messwerte zu konfigurieren. Sie können beispielsweise Benachrichtigungen erhalten, wenn die Vorhersagelatenz eines Modells in der Agent Platform zu hoch wird.
In den folgenden Abschnitten werden die in der Agent Platform Google Cloud -Console bereitgestellten Messwerte beschrieben. Diese können direkte oder berechnete Messwerte sein, die die Agent Platform an Cloud Monitoring sendet.
Eine Liste der meisten Messwerte, die die Agent Platform in Cloud Monitoring exportiert, finden Sie unter aiplatform. Informationen zu benutzerdefinierten Trainingsmesswerten finden Sie im Abschnitt ml unter den Messwerttypen, die mit training beginnen.
Monitoring-Messwerte des benutzerdefinierte Trainings
Wenn Sie ein benutzerdefiniertes Training durchführen, können Sie die folgenden Arten von Ressourcennutzung für jeden Trainingsknoten überwachen:
- CPU- oder GPU-Auslastung jedes Trainingsknotens
- Arbeitsspeicherauslastung der einzelnen Trainingsknoten
- Netzwerknutzung (Byte gesendet pro Sekunde und empfangene Byte pro Sekunde)
Wenn Sie die Hyperparameter-Abstimmung verwenden, können Sie die Messwerte für jeden Test anzeigen.
So können Sie sich diese Messwerte ansehen, nachdem Sie das benutzerdefinierte Training gestartet haben:
Rufen Sie in der Google Cloud Console eine der folgenden Seiten auf, je nachdem, ob Sie die Hyperparameter-Abstimmung verwenden:
Wenn Sie die Hyperparameter-Abstimmung nicht verwenden, rufen Sie die Seite Benutzerdefinierte Jobs auf.
Wenn Sie die Hyperparameter-Abstimmung verwenden, rufen Sie die Seite Hyperparameter-Abstimmungsjobs auf.
Klicken Sie auf den Namen Ihrer benutzerdefinierten Trainingsressource.
Wenn Sie eine benutzerdefinierte
TrainingPipeline-Ressource erstellt haben, klicken Sie auf den Namen des Jobs, der vonTrainingPipelineerstellt wurde. Beispiel:TRAINING_PIPELINE_NAME-custom-joboderTRAINING_PIPELINE_NAME-hyperparameter-tuning-job.Klicken Sie auf den Tab CPU, GPU oder Netzwerk, um Auslastungsdiagramme für den Messwert anzuzeigen, an dem Sie interessiert sind.
Wenn Sie die Hyperparameter-Abstimmung verwenden, können Sie auf eine Zeile in der Tabelle Hyperparameter-Abstimmungstests klicken, um sich Messwerte für einen bestimmten Test anzusehen.
Verwenden Sie Monitoring, um sich ältere Messwerte anzusehen oder die Anzeige von Messwerten anzupassen. Die Agent Platform exportiert benutzerdefinierte Trainingsmesswerte als Messwerttypen mit dem Präfix ml.googleapis.com/training nach Monitoring. Der Typ der überwachten Ressource ist cloudml_job.
AI Platform Training exportiert Messwerte mit denselben Messwerttypen und demselben Ressourcentyp in Monitoring.
Endpunkt-Monitoring-Messwerte
Nachdem Sie ein Modell auf einem Endpunkt bereitgestellt haben, können Sie den Endpunkt überwachen, um die Leistung und die Ressourcennutzung Ihres Modells zu verstehen. Sie können Messwerte wie Trafficmuster, Fehlerraten, Latenz und Ressourcenauslastung verfolgen, um sicherzustellen, dass Ihr Modell konsistent auf Anfragen reagiert und vorhersehbar vorhersagt. Sie können Ihr Modell beispielsweise mit einem anderen Maschinentyp noch einmal bereitstellen, um die Kosten zu optimieren. Nachdem Sie die Änderung vorgenommen haben, können Sie das Modell überwachen, um zu prüfen, ob Ihre Änderungen die Leistung negativ beeinflusst haben.
In Cloud Monitoring ist der Typ der überwachten Ressource für bereitgestellte Modelle aiplatform.googleapis.com/Endpoint.
Leistungsmesswerte
Mit den Leistungsmesswerten finden Sie Informationen zu Trafficmustern, Fehlern und Latenz des Modells. Sie können die folgenden Leistungsmesswerte in der Google Cloud Console aufrufen.
- Vorhersagen pro Sekunde: Die Anzahl der Vorhersagen pro Sekunde für Online- und Batchvorhersagen. Wenn Sie mehr als eine Instanz pro Anfrage haben, wird jede Instanz in diesem Diagramm gezählt.
- Vorhersagefehlerprozentsatz: Die Fehlerrate, die Ihr Modell erzeugt. Eine hohe Fehlerrate weist auf ein Problem mit dem Modell oder den Anfragen an das Modell hin. Sehen Sie sich das Diagramm mit den Antwortcodes an, um festzustellen, welche Fehler auftreten.
- Modelllatenz (nur für tabellarische und benutzerdefinierte Modelle): Die für die Berechnung benötigte Zeit.
- Overhead-Latenz (nur für tabellarische und benutzerdefinierte Modelle): Die Gesamtzeit, die für die Verarbeitung einer Anfrage ausgenommen der Berechnung aufgewendet wurde.
- Gesamtlatenzdauer: Die Gesamtzeit, die eine Anfrage im Dienst verbringt. Dies ist die Modelllatenz plus die Overhead-Latenz.
Ressourcennutzung
Mithilfe von Messwerten zur Ressourcennutzung können Sie die CPU-, Speicher- und Netzwerknutzung Ihres Modells verfolgen. Sie können die folgenden Nutzungsmesswerte in derGoogle Cloud Console aufrufen.
- Replikatanzahl: Die Anzahl der aktiven Replikate, die vom bereitgestellten Modell verwendet werden.
- Replikatziel: Die Anzahl der aktiven Replikate, die für das bereitgestellte Modell erforderlich sind.
- CPU-Nutzung: Aktuelle CPU-Kernnutzungsrate des bereitgestellten Modellreplikats. 100 % steht für einen vollständig ausgelasteten CPU-Kern. Ein Replikat kann also eine Auslastung von mehr als 100 % erreichen, wenn der Maschinentyp mehrere Kerne hat.
- Speichernutzung: Die Arbeitsspeicherzuweisung durch das bereitgestellte Modellreplikat und die derzeitige Nutzung.
- Vom Netzwerk gesendete Byte: Die Anzahl der Byte, die vom bereitgestellten Modellreplikat über das Netzwerk gesendet wurden.
- Vom Netzwerk empfangene Byte: Die Anzahl der Byte, die vom bereitgestellten Modellreplikat über das Netzwerk empfangen wurden.
- Durchschnittlicher Accelerator-Arbeitszyklus: Der durchschnittliche Anteil der Zeit während des letzten Beispielzeitraums, in dem ein oder mehrere Accelerator aktiv verarbeitet wurden.
- Accelerator-Speichernutzung: Die Arbeitsspeicherzuweisung durch das bereitgestellte Modellreplikat.
Messwertdiagramme für das Monitoring von Endpunkten aufrufen
Rufen Sie in derGoogle Cloud Console die Seite Endpunkte der Agent Platform auf.
Klicken Sie auf den Namen eines Endpunkts, um dessen Messwerte aufzurufen.
Klicken Sie unter den Diagrammintervallen auf Leistung oder Ressourcennutzung, um die Messwerte zur Leistungs- oder Ressourcennutzung aufzurufen.
Sie können verschiedene Diagrammintervalle auswählen, um Messwerte über einen bestimmten Zeitraum aufzurufen, z. B. 1 Stunde, 12 Stunden oder 14 Tage.
Wenn Sie mehrere Modelle für den Endpunkt bereitgestellt haben, können Sie Modelle auswählen oder die Auswahl aufheben, um Messwerte für bestimmte Modelle ein- oder auszublenden. Wenn Sie mehrere Modelle auswählen, gruppiert die Konsole einige Modellmesswerte in einem einzigen Diagramm. Wenn ein Messwert beispielsweise nur einen Wert pro Modell bereitstellt, gruppiert die Konsole die Modellmesswerte in einem einzigen Diagramm, z. B. für die CPU-Nutzung. Für Messwerte, die mehrere Werte pro Modell haben können, enthält die Konsole für jedes Modell ein Diagramm. Beispielsweise zeigt die Konsole für jedes Modell ein Diagramm mit Antwortcodes.
Vertex AI Feature Store-Monitoringmesswerte (Legacy)
Nachdem Sie einen Feature Store mit Vertex AI Feature Store (Legacy) erstellt haben, können Sie dessen Leistung und Ressourcenauslastung überwachen, z. B. die Latenzen bei der Online-Speicherbereitstellung oder die Anzahl der Online-Speicherknoten. Sie können beispielsweise die Änderungen an den Messwerten für die Onlinespeicherbereitstellung überwachen, nachdem Sie die Anzahl der Onlinespeicherknoten eines Feature Stores aktualisiert haben.
In Cloud Monitoring ist der überwachte Ressourcentyp für einen Feature Store aiplatform.googleapis.com/Featurestore.
Messwerte
- Anfragegröße: Die Anfragegröße nach Entitätstyp in Ihrem Feature Store.
- Offlinespeicher-Schreibvorgang für Streaming-Schreibvorgang: Die Anzahl der für den Offlinespeicher verarbeiteten Streaming-Schreibanfragen.
- Verzögerung der Streaming-Schreibvorgänge im Offlinespeicher: Die verstrichene Zeit (in Sekunden) zwischen dem Aufruf der Schreib-API und dem Schreiben in den Offlinespeicher.
- Knotenzahl: Die Anzahl von Onlinebereitstellungsknoten für Ihren Feature Store.
- Latenz: Die Gesamtzeit, die eine Anfrage für eine Onlinebereitstellung oder Streamingaufnahme im Dienst verbringt.
- Abfragen pro Sekunde: Die Anzahl der Onlinebereitstellungs- oder Streamingaufnahmeabfragen, die Ihr Feature Store verarbeitet.
- Fehlerprozentsatz: Der Prozentsatz der Fehler, die Ihr Feature Store erzeugt, wenn er Anfragen für die Onlinebereitstellung oder Streamingaufnahme verarbeitet.
- CPU-Nutzung: Der Anteil an CPU, der vom Feature Store zugewiesen wurde und derzeit vom Onlinespeicher verwendet wird. Diese Zahl kann 100 % überschreiten, wenn der Onlinebereitstellungs-Speicher überlastet ist. Sie sollten die Anzahl der Online-Bereitstellungsknoten im Feature Store erhöhen, um die CPU-Nutzung zu reduzieren.
- CPU-Auslastung – am stärksten genutzter Knoten: Die CPU-Last des am stärksten genutzten Knotens im Onlinespeicher des Feature Stores.
- Offlinespeicher insgesamt: Menge der im Offlinespeicher des Feature Stores gespeicherten Daten.
- Onlinespeicher insgesamt: Datenmenge, die im Onlinespeicher des Feature Store gespeichert ist.
- Durchsatz der Onlinebereitstellung: Der Durchsatz für Onlinebereitstellungsanfragen in MB/s.
Diagramme zu Feature Store-Monitoring-Messwerten aufrufen
Rufen Sie in derGoogle Cloud -Console die Seite Features der Agent Platform auf.
Klicken Sie in der Spalte Feature Store auf den Namen eines Feature Stores, um sich dessen Messwerte anzeigen zu lassen.
Sie können verschiedene Diagrammintervalle auswählen, um Messwerte für einen bestimmten Zeitraum aufzurufen, z. B. 1 Stunde, 1 Tag oder 1 Woche.
Bei einigen Messwerten für Onlinebereitstellungen können Sie Messwerte für eine bestimmte Methode aufrufen, wodurch die Messwerte weiter nach Entitätstyp aufgeschlüsselt werden. Sie können sich beispielsweise die Latenz für die Methode
ReadFeatureValuesoder die MethodeStreamingReadFeatureValuesansehen.
Monitoring-Messwerte für Vertex AI Feature Store
Nachdem Sie die Onlinebereitstellung mit Vertex AI Feature Store eingerichtet haben, können Sie die Leistung und Ressourcennutzung überwachen. Sie können beispielsweise die CPU-Auslastung, die Anzahl der Knoten für die optimierte Onlinebereitstellung und die Anzahl der Bereitstellungsanfragen überwachen.
In Cloud Monitoring ist der überwachte Ressourcentyp für eine Onlineshop-Instanz aiplatform.googleapis.com/FeatureOnlineStore.
Messwerte
Gespeicherte Byte: Die Datenmenge in Byte in der Onlineshop-Instanz.
CPU-Last: Die durchschnittliche CPU-Last der Knoten in der Onlineshop-Instanz.
CPU-Last (am stärksten genutzter Knoten): Die CPU-Last des am stärksten genutzten Knotens in der Onlineshop-Instanz.
Knotenanzahl: Die Anzahl der Onlinebereitstellungsknoten für eine Onlineshop-Instanz, die für die Onlinebereitstellung von Bigtable konfiguriert ist.
Optimierte Knotenzahl: Die Anzahl der Onlinebereitstellungsknoten für eine Onlineshop-Instanz, die für die optimierte Onlinebereitstellung konfiguriert ist.
Anzahl der Anfragen: Die Anzahl der Anfragen, die von der Onlineshop-Instanz empfangen wurden.
Anfragelatenz: Die serverseitige Anfragelatenz der Onlineshop-Instanz.
Anzahl der Antwortbyte: Die Datenmenge in Byte, die in Onlinebereitstellungsantworten gesendet wird.
Alter von Bereitstellungsdaten: Das Alter der Bereitstellungsdaten in Sekunden, gemessen als Differenz zwischen der aktuellen Zeit und der Zeit der letzten Synchronisierung.
Laufende Synchronisierungen: Die Anzahl der laufenden Synchronisierungen zu einem bestimmten Zeitpunkt.
Bereitstellungsdaten nach Synchronisierungszeit: Aufschlüsselung der Daten in der Onlinespeicher-Instanz nach dem Synchronisierungszeitstempel.