Storage Insights-Dataset-Konfigurationen verwalten

Auf dieser Seite erfahren Sie, wie Sie Konfigurationen für Storage Insights-Datasets verwalten, um die Quelle, den Umfang und die Aufbewahrung Ihrer Daten zu steuern. Sie erfahren, wie Sie Konfigurationen aufrufen, auflisten, aktualisieren und löschen sowie verknüpfte Datasets aufrufen, abfragen und die Verknüpfung aufheben.

Erforderliche Rollen abrufen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Quellprojekte zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Dataset-Konfigurationen benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Dataset-Konfigurationen erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Dataset-Konfigurationen zu verwalten:

  • Dataset-Konfiguration ansehen und auflisten:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • Dataset-Konfiguration aktualisieren und löschen:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • Verknüpfung zum BigQuery-Dataset aufheben: storageinsights.datasetConfigs.unlinkDataset
  • Mit BigQuery verknüpfte Datasets abfragen: bigquery.jobs.create or bigquery.jobs.*

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Verknüpfte Datasets ansehen und abfragen

So rufen Sie verknüpfte Datasets auf und fragen sie ab:

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

    In Ihrem Projekt wird eine Liste der erstellten Dataset-Konfigurationen angezeigt.

  2. Klicken Sie auf das verknüpfte BigQuery-Dataset für die Dataset-Konfiguration, die Sie aufrufen möchten.

    In der Google Cloud Konsole wird das mit BigQuery verknüpfte Dataset angezeigt. Informationen zum Dataset-Schema der Metadaten finden Sie unter Dataset-Schema der Metadaten.

  3. Sie können Tabellen und Ansichten in Ihren verknüpften Datasets genauso wie alle anderen BigQuery-Tabellen abfragen.

Wenn Sie verhindern möchten, dass die Dataset-Konfiguration im BigQuery-Dataset veröffentlicht wird, heben Sie die Verknüpfung des Datasets auf. So heben Sie die Verknüpfung eines Datasets auf:

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

  3. Klicken Sie im Bereich Mit BigQuery verknüpftes Dataset auf Verknüpfung des Datasets aufheben.

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete-link aus, um die Verknüpfung des Datasets aufzuheben:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    Ersetzen Sie:

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Speicherort Ihres Datasets und die Dataset-Konfiguration. Beispiel: us-central1

    Sie können auch einen vollständigen Pfad für die Dataset-Konfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • Ersetzen Sie DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Erstellen Sie eine JSON-Datei, die folgende Informationen enthält:

    {
  "name": "DATASET_NAME"
}

    Ersetzen Sie:

    DATASET_NAME durch den Namen des Datasets, dessen Verknüpfung Sie aufheben möchten. Beispiel: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2

  3. Verwenden Sie cURL, um die JSON API mit einer unlinkDataset-DatasetConfig-Anfrage aufzurufen:

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • Ersetzen Sie DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, mit der das Dataset generiert wurde, dessen Verknüpfung Sie aufheben möchten.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project.iam.gserviceaccount.com.

Dataset-Konfiguration ansehen

So rufen Sie die Konfiguration eines Datasets auf:

Console

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie aufrufen möchten.

    Die Details der Dataset-Konfiguration werden angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs describe aus, um eine Dataset-Konfiguration zu beschreiben:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und die Dataset-Konfiguration.

    Sie können auch einen vollständigen Pfad für die Dataset-Konfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    Ersetzen Sie:

    • Ersetzen Sie DESTINATION_PROJECT_ID durch die ID des Projekts, das die Dataset-Konfiguration enthält. Weitere Informationen zu Projekt-IDs finden Sie unter Projekte erstellen und verwalten.

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration, mit der das Dataset generiert wurde, das Sie aufrufen möchten.

    • Ersetzen Sie LOCATION durch den Speicherort Ihres Datasets und der Dataset-Konfiguration. Beispiel: us-central1

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project..

Dataset-Konfigurationen auflisten

So listen Sie die Dataset-Konfigurationen in einem Projekt auf:

Console

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

    Die Liste der Dataset-Konfigurationen wird angezeigt.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs list aus, um die Dataset-Konfigurationen in einem Projekt aufzulisten:

    gcloud storage insights dataset-configs list --location=LOCATION

    Ersetzen Sie:

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Mit den folgenden optionalen Flags können Sie das Verhalten des Auflistungsaufrufs angeben:

    • Mit --page-size können Sie die maximale Anzahl der Ergebnisse angeben, die pro Seite zurückgegeben werden sollen.

    • Verwenden Sie --filter=FILTER, um die Ergebnisse zu filtern. Weitere Informationen zur Verwendung des Flags --filter erhalten Sie, wenn Sie gcloud topic filters ausführen und die Dokumentation lesen.

    • Mit --sort-by=SORT_BY_VALUE können Sie eine durch Kommas getrennte Liste von Schlüsselnamen für Ressourcenfelder angeben, nach denen sortiert werden soll. Beispiel: --sort-by=DATASET_CONFIG_ID.

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Get-DatasetConfig-Anfrage aufzurufen:

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project.iam.gserviceaccount.com.

Dataset-Konfiguration aktualisieren

So aktualisieren Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Dataset-Konfiguration, die Sie aktualisieren möchten.

  3. Klicken Sie auf dem Tab Dataset-Konfiguration auf Bearbeiten , um die Felder zu aktualisieren.

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs update aus, um eine Dataset-Konfiguration zu aktualisieren:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration.

    • LOCATION mit dem Speicherort des Datasets und der Dataset-Konfiguration.

    Mit den folgenden Flags können Sie die Attribute der Dataset-Konfiguration aktualisieren:

    • Verwenden Sie --skip-verification, um Prüfungen und Fehler aus dem Bestätigungsprozess zu überspringen. Dazu gehören auch Prüfungen auf erforderliche IAM-Berechtigungen. Wenn sie verwendet werden, werden einige oder alle Buckets möglicherweise aus dem Dataset ausgeschlossen.

    • Mit --retention-period-days=DAYS geben Sie die Anzahl der Tage an, die im Dataset-Snapshot berücksichtigt werden sollen. Beispiel: 90.

    • Verwenden Sie --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS, um die Aufbewahrungsdauer für die Aktivitätsdaten im Dataset anzugeben. Aktivitätsdaten sind standardmäßig im Dataset enthalten und übernehmen die Aufbewahrungsdauer des Datasets. Wenn Sie die Aufbewahrungsdauer für das Dataset überschreiben möchten, geben Sie die Anzahl der Tage an, für die Aktivitätsdaten aufbewahrt werden sollen. Wenn Sie Aktivitätsdaten ausschließen möchten, setzen Sie ACTIVITY_RETENTION_PERIOD_DAYS auf 0.

    • Verwenden Sie --description=DESCRIPTION, um eine Beschreibung für die Dataset-Konfiguration zu schreiben.

    • Verwenden Sie --organization=ORGANIZATION_ID, um die Organisations-ID des Quellprojekts anzugeben. Wenn nicht angegeben, wird standardmäßig die Organisations-ID des Quellprojekts verwendet.

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Erstellen Sie eine JSON-Datei, die die folgenden optionalen Informationen enthält:

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    Ersetzen Sie:

    • Ersetzen Sie ORGANIZATION_ID durch die Ressourcen-ID der Organisation, zu der die Quellprojekte gehören. Wenn nicht angegeben, wird standardmäßig die Organisations-ID des Quellprojekts verwendet.

    • Ersetzen Sie PROJECT_NUMBERS durch die Projektnummern, die im Dataset enthalten sein sollen. Sie können ein oder mehrere Projekte in einem Listenformat angeben.

    • RETENTION_PERIOD mit der gleitenden Anzahl von Tagen an Daten, die im Dataset-Snapshot erfasst werden sollen. Beispiel: 90.

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS mit der Anzahl der Tage an Aktivitätsdaten, die im Dataset-Snapshot erfasst werden sollen. Standardmäßig sind Aktivitätsdaten im Dataset enthalten und übernehmen die Aufbewahrungsdauer des Datasets. Wenn Sie die Aufbewahrungsdauer für das Dataset überschreiben möchten, geben Sie die Anzahl der Tage an, für die Aktivitätsdaten aufbewahrt werden sollen. Wenn Sie Aktivitätsdaten ausschließen möchten, setzen Sie ACTIVITY_RETENTION_PERIOD_DAYS auf 0.

  3. Um die Dataset-Konfiguration zu aktualisieren, verwenden Sie cURL, um die JSON API mit einer Patch-DatasetConfig-Anfrage aufzurufen:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    Ersetzen Sie:

    • JSON_FILE_NAME durch den Pfad zur JSON-Datei, die Sie im vorherigen Schritt erstellt haben.

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Datasetkonfiguration, die Sie aktualisieren möchten.

    • UPDATE_MASK ist die durch Kommas getrennte Liste der Feldnamen, die in dieser Anfrage aktualisiert werden sollen. Die Felder verwenden das fieldMask-Format und sind Teil der Ressource DatasetConfig.

    • SERVICE_ACCOUNT durch das Dienstkonto. Zum Beispiel test-service-account@test-project.iam.gserviceaccount.com.

Dataset-Konfiguration löschen

So löschen Sie eine Dataset-Konfiguration:

Console

  1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Storage Insights.

    Zu Storage Insights

  2. Klicken Sie auf den Namen der Datasetkonfiguration, die Sie löschen möchten.

  3. Klicken Sie auf Löschen .

Befehlszeile

  1. Führen Sie den Befehl gcloud storage insights dataset-configs delete aus, um eine Dataset-Konfiguration zu löschen:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    Ersetzen Sie:

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    Verwenden Sie die folgenden Flags, um eine Dataset-Konfiguration zu löschen:

    • Verwenden Sie --auto-delete-link, um die Verknüpfung des Datasets aufzuheben, das aus der Dataset-Konfiguration generiert wurde, die Sie löschen möchten. Sie müssen die Verknüpfung eines Datasets aufheben, bevor Sie die Dataset-Konfiguration löschen können, mit der das Dataset erstellt wurde.

    Sie können auch einen vollständigen Pfad für die Dataset-Konfiguration angeben. Beispiel:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

  1. Installieren und initialisieren Sie die gcloud CLI, um ein Zugriffstoken für den Authorization-Header zu generieren.

  2. Verwenden Sie cURL, um die JSON API mit einer Delete-DatasetConfig-Anfrage aufzurufen:

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    Ersetzen Sie:

    • PROJECT_ID durch die ID des Projekts, zu dem die Dataset-Konfiguration gehört.

    • Ersetzen Sie LOCATION durch den Speicherort des Datasets und der Dataset-Konfiguration. Beispiel: us-central1

    • DATASET_CONFIG_ID durch den Namen der Dataset-Konfiguration, die Sie löschen möchten.

    • SERVICE_ACCOUNT durch das Dienstkonto. Beispiel: test-service-account@test-project.iam.gserviceaccount.com.

Nächste Schritte