Dieses Dokument enthält die Best Practices und Richtlinien für Pub/Sub beim Ausführen generativer KI-Arbeitslasten auf Google Cloud. Verwenden Sie Pub/Sub mit Vertex AI, um eine effiziente Kommunikation und Automatisierung in Ihren Machine-Learning-Workflows zu ermöglichen.
Im Folgenden finden Sie Anwendungsfälle für Pub/Sub mit Vertex AI:
- Asynchrone ereignisgesteuerte Architektur: Pub/Sub ermöglicht eine ereignisgesteuerte Kommunikation, sodass Sie Vertex AI-Pipelines basierend auf Ereignissen auslösen können, die in Pub/Sub-Themen veröffentlicht werden. Diese Ereignisse können neue Daten und Modellaktualisierungen umfassen.
- Skalierbarkeit und Zuverlässigkeit: Pub/Sub ist hochgradig skalierbar und ermöglicht die Verarbeitung zahlreicher Ereignisse ohne Leistungseinbußen. Skalierbarkeit ist entscheidend für die Verarbeitung großer Datasets oder die Ausführung mehrerer gleichzeitiger ML-Jobs. Pub/Sub bietet auch eine zuverlässige Nachrichtenzustellung und -reihenfolge innerhalb eines Themas, wodurch die Verarbeitung auch bei hoher Arbeitslast konsistent bleibt.
- Flexibilität: Sie können Vertex AI über Pub/Sub in andere Dienste wie Cloud Run Functions oder Dataflow einbinden und so flexible und dynamische ML-Pipelines erstellen.
- Echtzeit-Monitoring und ‑Benachrichtigungen: Mit Pub/Sub können Sie bestimmte Themen abonnieren, um Echtzeitbenachrichtigungen zu Ereignissen in Ihren Vertex AI-Pipelines zu erhalten. Mit der Echtzeitüberwachung können Sie den Fortschritt des Modelltrainings, die Ergebnisse der Datenvorverarbeitung und die Vorhersageausgabe im Blick behalten. Sie können Benachrichtigungen basierend auf bestimmten Ereignissen konfigurieren, z. B. fehlgeschlagenen Jobs oder Anomalien, die während der Vorhersage erkannt wurden. Benachrichtigungen ermöglichen proaktive Maßnahmen und eine zeitnahe Fehlerbehebung.
Sie können Pub/Sub beispielsweise für die folgenden Aktivitäten verwenden:
- Modelltraining auslösen, wenn neue Daten in einem Cloud Storage-Bucket eingehen.
- Echtzeitvorhersagen aus einem bereitgestellten Modell zur Weiterverarbeitung an nachgelagerte Systeme senden
- Änderungen bei den Messwerten zur Modellleistung beobachten und darauf reagieren.
- Benachrichtigungen für kritische Ereignisse wie fehlgeschlagene Vorhersagen oder Probleme mit der Datenqualität auslösen
Empfohlene Pub/Sub-Steuerelemente
Je nach Ihren Anwendungsfällen für generative KI empfehlen wir zusätzliche Kontrollen. Dazu gehören Einstellungen zur Datenaufbewahrung und andere richtlinienbasierte Einstellungen, die auf Ihren Unternehmensrichtlinien basieren.
CMEK für Pub/Sub-Nachrichten verwenden
| Google-Einstellungs-ID | PS-CO-6.1 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Wenn Sie kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) für Pub/Sub aktivieren, haben Sie mehr Kontrolle über die Verschlüsselungsschlüssel, die Pub/Sub zum Schutz Ihrer Nachrichten verwendet. Auf der Anwendungsebene verschlüsselt Pub/Sub eingehende Nachrichten einzeln, sobald sie empfangen werden. Bevor Pub/Sub Nachrichten für ein Abo veröffentlicht, werden sie mit dem neuesten Datenverschlüsselungsschlüssel (Data Encryption Key, DEK) verschlüsselt, der für das Thema generiert wurde. Pub/Sub entschlüsselt die Nachrichten kurz vor der Zustellung an Abonnenten.
Pub/Sub verwendet ein Google Cloud -Dienstkonto für den Zugriff auf Cloud Key Management Service. Das Dienstkonto wird für jedes Projekt intern von Pub/Sub verwaltet und ist in Ihrer Liste der Dienstkonten nicht sichtbar. |
| Entsprechende Produkte |
|
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Optionale Pub/Sub-Steuerelemente
Diese Steuerelemente sind optional. Erwägen Sie, sie durchzusetzen, wenn sie auf Ihre spezifischen Anwendungsfälle zutreffen.
Richtlinien für den Nachrichtenspeicher konfigurieren
| Google-Einstellungs-ID | PS-CO-4.1 |
|---|---|
| Kategorie | Optional |
| Beschreibung | Wenn Sie Nachrichten im globalen Pub/Sub-Endpunkt veröffentlichen, speichert Pub/Sub die Nachrichten automatisch in der nächstgelegenen Google Cloud -Region. Wenn Sie steuern möchten, in welchen Regionen Ihre Nachrichten gespeichert werden, konfigurieren Sie eine Richtlinie für die Speicherung von Nachrichten in Ihrem Thema.
Sie haben folgende Möglichkeiten, Richtlinien für die Speicherung von Nachrichten für Themen zu konfigurieren:
|
| Entsprechende Produkte |
|
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |