Modelle überwachen

In diesem Dokument wird beschrieben, wie Sie das Verhalten, den Zustand und die Leistung Ihrer vollständig verwalteten Modelle in der Gemini Enterprise Agent Platform überwachen. Darin wird beschrieben, wie Sie das vordefinierte Dashboard zur Modellbeobachtbarkeit verwenden, um Einblicke in die Modellnutzung zu erhalten, Latenzprobleme zu identifizieren und Fehler zu beheben.

Sie lernen, wie Sie Folgendes tun:

  • Auf das Dashboard zur Modellbeobachtbarkeit zugreifen und es interpretieren
  • Verfügbare Monitoring-Messwerte ansehen
  • Modellendpunkt-Traffic mit Metrics Explorer überwachen

Auf das Dashboard zur Beobachtbarkeit von Modellen zugreifen und es interpretieren

Generative KI auf der Gemini Enterprise Agent Platform bietet ein vorgefertigtes Dashboard zur Modellbeobachtbarkeit, mit dem Sie das Verhalten, den Zustand und die Leistung vollständig verwalteter Modelle ansehen können. Vollständig verwaltete Modelle, auch als Model as a Service (MaaS) bezeichnet, werden von Google bereitgestellt und umfassen die Gemini-Modelle von Google und Partnermodelle mit verwalteten Endpunkten. Messwerte aus selbst gehosteten Modellen sind nicht im Dashboard enthalten.

Die generative KI auf der Gemini Enterprise Agent Platform erfasst und meldet automatisch Aktivitäten von MaaS-Modellen, damit Sie Latenzprobleme schnell beheben und die Kapazität überwachen können.

Beispiel für ein Dashboard zur Modellbeobachtbarkeit in der Cloud Console
Beispiel für ein Dashboard zur Modellbeobachtbarkeit

Anwendungsfall

Als Anwendungsentwickler können Sie sehen, wie Ihre Nutzer mit den von Ihnen bereitgestellten Modellen interagieren. So können Sie beispielsweise sehen, wie sich die Modellnutzung (Modellanfragen pro Sekunde) und die Rechenintensität von Nutzer-Prompts (Latenzen für den Modellaufruf) im Zeitverlauf entwickeln. Da diese Messwerte mit der Modellnutzung zusammenhängen, können Sie auch die Kosten für die Ausführung der einzelnen Modelle schätzen.

Wenn ein Problem auftritt, können Sie es schnell über das Dashboard beheben. Sie können prüfen, ob Modelle zuverlässig und zeitnah reagieren, indem Sie API-Fehlerraten, Latenzen für das erste Token und Token-Durchsatz ansehen.

Verfügbare Monitoring-Messwerte

Im Dashboard zur Modellbeobachtbarkeit wird eine Teilmenge der Messwerte angezeigt, die von Cloud Monitoring erfasst werden, z. B. Modellanfragen pro Sekunde (QPS), Token-Durchsatz und Latenzen für das erste Token. Dashboard ansehen

Beschränkungen

Die Agent Platform erfasst Dashboard-Messwerte nur für API-Aufrufe an den Endpunkt eines Modells. Google Cloud Die Konsolennutzung, z. B. Messwerte aus Vertex AI Studio, wird dem Dashboard nicht hinzugefügt.

Dashboard aufrufen

  1. Rufen Sie in der Google Cloud Console im Bereich „Agent Platform“ die Seite Dashboard auf.

Zur Agent-Plattform 1. Klicken Sie im Dashboard unter „Modellbeobachtbarkeit“ auf Alle Messwerte anzeigen, um das Dashboard zur Modellbeobachtbarkeit in der Google Cloud Observability Console aufzurufen.

  1. Wenn Sie Messwerte für ein bestimmtes Modell oder an einem bestimmten Standort aufrufen möchten, legen Sie oben auf der Dashboardseite einen oder mehrere Filter fest.

    Beschreibungen der einzelnen Messwerte finden Sie auf der Seite Google Cloud -Messwerte im Abschnitt „aiplatform“.

Traffic von Modellendpunkten überwachen

Folgen Sie der Anleitung unten, um den Traffic zu Ihrem Endpunkt im Metrics Explorer zu überwachen.

  1. Wechseln Sie in der Google Cloud Console zur Seite Metrics Explorer.

    Metrics Explorer aufrufen

  2. Wählen Sie das Projekt aus, für das Sie Messwerte aufrufen möchten.

  3. Klicken Sie im Drop-down-Menü Messwert auf Messwert auswählen.

  4. Geben Sie in der Suchleiste Nach Ressourcen- oder Messwertname filtern den Wert Gemini Enterprise Agent Platform Endpoint ein.

  5. Wählen Sie die Messwertkategorie Agent Platform Endpoint > Prediction aus. Wählen Sie unter Aktive Messwerte einen der folgenden Messwerte aus:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klicken Sie auf Übernehmen. Wenn Sie mehrere Messwerte hinzufügen möchten, klicken Sie auf Abfrage hinzufügen.

    Sie können Ihre Messwerte mit den folgenden Drop-down-Menüs filtern oder zusammenfassen:

    • Wenn Sie eine Teilmenge Ihrer Daten anhand bestimmter Kriterien auswählen und ansehen möchten, verwenden Sie das Drop-down-Menü Filter. Wenn Sie beispielsweise nach dem Modell gemini-2.0-flash-001 filtern möchten, verwenden Sie endpoint_id = gemini-2p0-flash-001. Beachten Sie, dass die . in der Modellversion durch ein p ersetzt wird.

    • Wenn Sie mehrere Datenpunkte zu einem einzigen Wert zusammenfassen und eine zusammengefasste Ansicht Ihrer Messwerte aufrufen möchten, verwenden Sie das Drop-down-Menü Aggregation. Sie können beispielsweise die Summe von response_code aggregieren.

  6. Optional können Sie Benachrichtigungen für Ihren Endpunkt einrichten. Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien verwalten.

Informationen zum Ansehen der Messwerte, die Sie Ihrem Projekt über ein Dashboard hinzufügen, finden Sie unter Dashboards – Übersicht.

Nächste Schritte