Dieses Dokument enthält die Best Practices und Richtlinien für Cloud Storage bei der Ausführung von generativen KI-Arbeitslasten, die Google Cloudverwenden. Verwenden Sie Cloud Storage mit Vertex AI, um Trainingsdaten, Modellartefakte und Produktionsdaten zu speichern.
Sehen Sie sich zum Beispiel folgende Anwendungsfälle für Cloud Storage mit Vertex AI an:
- Trainingsdaten speichern: Mit Vertex AI können Sie Ihre Trainingsdatasets in Cloud Storage-Buckets speichern. Die Verwendung von Cloud Storage bietet mehrere Vorteile:
- Cloud Storage kann Datasets jeder Größe verarbeiten. So können Sie Modelle mit riesigen Datenmengen trainieren, ohne dass Speicherbeschränkungen gelten.
- Sie können detaillierte Zugriffssteuerungen und Verschlüsselung für Ihre Cloud Storage-Buckets festlegen, um Ihre vertraulichen Trainingsdaten zu schützen.
- Mit Cloud Storage können Sie Änderungen nachverfolgen und zu früheren Versionen Ihrer Daten zurückkehren. So erhalten Sie wertvolle Prüfpfade und können reproduzierbare Trainingsläufe durchführen.
- Vertex AI lässt sich nahtlos in Cloud Storage einbinden, sodass Sie innerhalb der Plattform auf Ihre Trainingsdaten zugreifen können.
- Modellartefakte speichern: Sie können trainierte Modellartefakte wie Modelldateien, Hyperparameterkonfigurationen und Trainingslogs in Cloud Storage-Buckets speichern. Mit Cloud Storage haben Sie folgende Möglichkeiten:
- Bewahren Sie alle Ihre Modellartefakte in Cloud Storage als zentrales Repository auf, um bequem darauf zuzugreifen und sie zu verwalten.
- Sie können verschiedene Versionen Ihrer Modelle verfolgen und verwalten, um bei Bedarf Vergleiche und Rollbacks zu ermöglichen.
- Gewähren Sie Teammitgliedern und Mitwirkenden Zugriff auf bestimmte Cloud Storage-Buckets, um Modelle effizient freizugeben.
- Produktionsdaten speichern: Für Modelle, die in der Produktion verwendet werden, können in Cloud Storage die Daten gespeichert werden, die dem Modell für die Vorhersage zugeführt werden. Mit Cloud Storage haben Sie beispielsweise folgende Möglichkeiten:
- Nutzerdaten und ‑interaktionen für personalisierte Empfehlungen in Echtzeit speichern
- Bilder für die On-Demand-Verarbeitung und ‑Klassifizierung mit Ihren Modellen aufbewahren
- Transaktionsdaten für die Betrugserkennung in Echtzeit mit Ihren Modellen verwalten.
- Integration mit anderen Diensten: Cloud Storage lässt sich nahtlos in andere Google Cloud -Dienste einbinden, die in Vertex AI-Arbeitsabläufen verwendet werden, z. B.:
- Dataflow für die Optimierung von Pipelines für die Datenvorverarbeitung und ‑transformation.
- BigQuery für den Zugriff auf große Datasets, die in BigQuery für das Modelltraining und die Inferenz gespeichert sind.
- Cloud Run-Funktionen für Aktionen, die auf Modellvorhersagen oder Datenänderungen in Cloud Storage-Buckets basieren.
- Kosten verwalten: Cloud Storage bietet ein „Pay as you go“-Preismodell. Das bedeutet, dass Sie nur für den Speicherplatz bezahlen, den Sie nutzen. Das ist kostengünstiger, insbesondere bei großen Datasets.
- Hohe Verfügbarkeit und Langlebigkeit aktivieren: Cloud Storage sorgt dafür, dass Ihre Daten hochverfügbar sind und vor Ausfällen geschützt werden. So wird ein zuverlässiger und robuster Zugriff auf Ihre ML-Assets gewährleistet.
- Unterstützung für mehrere Regionen aktivieren: Speichern Sie Ihre Daten in mehreren Cloud Storage-Regionen, die geografisch näher an Ihren Nutzern oder Anwendungen liegen. So können Sie die Leistung verbessern und die Latenz für den Datenzugriff und die Modellvorhersagen reduzieren.
Erforderliche Cloud Storage-Kontrollen
Die folgenden Kontrollen werden bei der Verwendung von Cloud Storage dringend empfohlen.
Öffentlichen Zugriff auf Cloud Storage-Buckets blockieren
| Google-Einstellungs-ID | GCS-CO-4.1 |
|---|---|
| Kategorie | Erforderlich |
| Beschreibung | Die boolesche Einschränkung |
| Entsprechende Produkte |
|
| Pfad | constraints/storage.publicAccessPrevention |
| Operator | == |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Einheitlichen Zugriff auf Bucket-Ebene verwenden
| Google-Einstellungs-ID | GCS-CO-4.2 |
|---|---|
| Kategorie | Erforderlich |
| Beschreibung | Die boolesche Einschränkung |
| Entsprechende Produkte |
|
| Pfad | constraints/storage.uniformBucketLevelAccess |
| Operator | == |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
HMAC-Schlüssel für Dienstkonten schützen
| Google-Einstellungs-ID | GCS-CO-6.9 |
|---|---|
| Kategorie | Erforderlich |
| Beschreibung | Ein HMAC-Schlüssel ist eine langlebige Art von Anmeldedaten, die mit einem Dienstkonto oder einem Nutzerkonto in Cloud Storage verknüpft ist. Mit einem HMAC-Schlüssel können Sie Signaturen erstellen, die in Anfragen an Cloud Storage aufgenommen werden. Eine Signatur beweist, dass ein Nutzer oder Dienstkonto eine Anfrage autorisiert hat. Im Gegensatz zu kurzlebigen Anmeldedaten (z. B. OAuth 2.0-Tokens) laufen HMAC-Schlüssel nicht automatisch ab und bleiben gültig, bis sie manuell widerrufen werden. HMAC-Schlüssel sind Anmeldedaten mit hohem Risiko: Wenn sie manipuliert werden, ermöglichen sie dauerhaften Zugriff auf Ihre Ressourcen. Sie müssen für geeignete Mechanismen sorgen, um sie zu schützen. |
| Entsprechende Produkte |
|
| Pfad | storage.projects.hmacKeys/id |
| Operator | Exists |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Aufzählen von Cloud Storage-Buckets durch Dienstkonten erkennen
| Google-Einstellungs-ID | GCS-CO-7.2 |
|---|---|
| Kategorie | Erforderlich |
| Beschreibung | Dienstkonten sind nicht menschliche Identitäten, die für Anwendungen entwickelt wurden. Ihr Verhalten ist vorhersehbar und automatisiert. Normalerweise müssen für Dienstkonten keine Buckets aufgeschlüsselt werden, da sie bereits zugeordnet sind. Wenn Sie also feststellen, dass ein Dienstkonto versucht, eine Liste aller Cloud Storage-Buckets abzurufen, sollten Sie dies sofort untersuchen. Die Aufzählung zur Informationsbeschaffung wird häufig von einem böswilligen Akteur verwendet, der Zugriff auf das Dienstkonto erhalten hat. |
| Entsprechende Produkte |
|
| Operator | == |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Änderungen an IAM-Richtlinien (Identity and Access Management) von Cloud Storage-Buckets durch Dienstkonten erkennen
| Google-Einstellungs-ID | GCS-CO-7.3 |
|---|---|
| Kategorie | Erforderlich |
| Beschreibung | Konfigurieren Sie eine Benachrichtigung, die erkennt, wenn die IAM-Richtlinie eines Cloud Storage-Bucket so geändert wird, dass öffentlicher Zugriff gewährt wird. Diese Benachrichtigung wird ausgelöst, wenn die Hauptkonten Legen Sie in der Benachrichtigung das JSON-Attribut |
| Entsprechende Produkte |
|
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Empfohlene Einstellungen basierend auf dem Anwendungsfall für generative KI
Je nach Ihren Anwendungsfällen für generative KI empfehlen wir, zusätzliche Kontrollen zu verwenden. Dazu gehören Einstellungen zur Datenaufbewahrung und andere richtlinienbasierte Einstellungen, die auf Ihren Unternehmensrichtlinien basieren.
Achten Sie darauf, dass die Aufbewahrungsrichtlinie für Cloud Storage-Bucket die Bucket-Sperre verwendet
| Google-Einstellungs-ID | GCS-CO-6.1 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Je nach Ihren behördlichen Anforderungen müssen Sie dafür sorgen, dass die Aufbewahrungsrichtlinie für jeden Cloud Storage-Bucket gesperrt ist. Legen Sie den Aufbewahrungszeitraum auf einen Zeitraum fest, der Ihren Anforderungen entspricht. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/retentionPolicy.isLocked |
| Operator | != |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Lebenszyklusregeln für die Aktion „SetStorageClass“ festlegen
| Google-Einstellungs-ID | GCS-CO-6.11 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Wenden Sie Lebenszyklusregeln auf jeden Cloud Storage-Bucket mit dem Aktionstyp |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle.rule.action.type |
| Operator | == |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Zulässige Regionen für Speicherklassen festlegen
| Google-Einstellungs-ID | GCS-CO-6.12 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass die Speicherklassen für die Lebenszykluskonfiguration nicht innerhalb der zulässigen regionalen Klassifizierungen liegen. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle.rule.action.storageClass |
| Operator | nin |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Lebenszyklusverwaltung für Cloud Storage-Buckets aktivieren
| Google-Einstellungs-ID | GCS-CO-6.13 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass die Lebenszyklusverwaltung von Cloud Storage aktiviert und konfiguriert ist. Die Lebenszyklussteuerung enthält die Konfiguration für den Speicherlebenszyklus. Prüfen Sie, ob die Richtlinien in dieser Einstellung Ihren Anforderungen entsprechen. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle |
| Operator | Exists |
| Wert |
|
| Typ | Objekt |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Regeln für das Lebenszyklusmanagement für Cloud Storage-Buckets aktivieren
| Google-Einstellungs-ID | GCS-CO-6.14 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass Regeln für die Lebenszyklusverwaltung für Cloud Storage aktiviert und konfiguriert sind. Die Regelsteuerung enthält die Konfiguration für den Speicherlebenszyklus. Prüfen Sie, ob die Richtlinien in dieser Einstellung Ihren Anforderungen entsprechen. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle.rule |
| Operator | Empty |
| Wert |
|
| Typ | Array |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Temporäre Holds für aktive Objekte prüfen und bewerten
| Google-Einstellungs-ID | GCS-CO-6.16 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Identifizieren Sie alle Objekte, für die „temporaryHold“ auf „TRUE“ gesetzt ist, und starten Sie einen Untersuchungs- und Validierungsprozess. Diese Bewertung eignet sich für die folgenden Anwendungsfälle:
|
| Entsprechende Produkte |
|
| Pfad | storage.objects/temporaryHold |
| Operator | == |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Aufbewahrungsrichtlinien für Cloud Storage-Buckets erzwingen
| Google-Einstellungs-ID | GCS-CO-6.17 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass alle Cloud Storage-Buckets eine Aufbewahrungsrichtlinie haben. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/retentionPolicy.retentionPeriod |
| Operator | agesmaller |
| Wert |
|
| Typ | int64 |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Klassifizierungstags für Cloud Storage-Buckets erzwingen
| Google-Einstellungs-ID | GCS-CO-6.18 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Die Datenklassifizierung ist ein grundlegender Bestandteil jedes Programms für Data Governance und Sicherheit. Es ist wichtig, jedem Bucket ein Klassifizierungslabel mit Werten wie „Öffentlich“, „Intern“, „Vertraulich“ oder „Eingeschränkt“ zuzuweisen. Prüfen Sie, ob |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/labels.classification |
| Operator | notexists |
| Wert |
|
| Typ | Erweitert |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Log-Buckets für Cloud Storage-Buckets erzwingen
| Google-Einstellungs-ID | GCS-CO-6.3 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass jeder Cloud Storage-Bucket einen Log-Bucket enthält. |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/logging.logBucket |
| Operator | notexists |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Löschregeln für Cloud Storage-Buckets konfigurieren
| Google-Einstellungs-ID | GCS-CO-6.5 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | In Cloud Storage bezieht sich Konfigurieren Sie |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle.rule.action.type |
| Operator | == |
| Wert |
|
| Typ | String |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Achten Sie darauf, dass die Bedingung „isLive“ für Löschregeln auf „False“ gesetzt ist.
| Google-Einstellungs-ID | GCS-CO-6.6 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie bei Löschregeln darauf, dass die In Cloud Storage ist Anwendungsfälle:
|
| Entsprechende Produkte |
|
| Pfad | storage.buckets/lifecycle.rule.condition.isLive |
| Operator | == |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Versionsverwaltung für Cloud Storage-Buckets erzwingen
| Google-Einstellungs-ID | GCS-CO-6.7 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass für alle Cloud Storage-Buckets die Versionsverwaltung aktiviert ist. Anwendungsfälle:
|
| Entsprechende Produkte |
|
| Pfad | storage.buckets/versioning.enabled |
| Operator | != |
| Wert |
|
| Typ | Boolesch |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Inhaber für Cloud Storage-Buckets erzwingen
| Google-Einstellungs-ID | GCS-CO-6.8 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Achten Sie darauf, dass |
| Entsprechende Produkte |
|
| Pfad | storage.buckets/labels.owner |
| Operator | notexists |
| Wert |
|
| Typ | Erweitert |
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |
Logging wichtiger Cloud Storage-Aktivitäten aktivieren
| Google-Einstellungs-ID | GCS-CO-7.4 |
|---|---|
| Kategorie | Empfohlen |
| Beschreibung | Zusätzliches Logging für bestimmte Speicherobjekte basierend auf ihrem Anwendungsfall aktivieren. Protokollieren Sie beispielsweise den Zugriff auf Buckets mit sensiblen Daten, damit Sie nachvollziehen können, wer wann Zugriff erhalten hat. Berücksichtigen Sie beim Aktivieren zusätzlicher Protokollierung das Volumen der Protokolle, die Sie möglicherweise generieren. |
| Entsprechende Produkte |
|
| Zugehörige NIST-800-53-Kontrollen |
|
| Zugehörige CRI-Profileinstellungen |
|
| Weitere Informationen |