Storage Insights-Datasets

In diesem Dokument wird erläutert, wie Sie mit Storage Insights-Datasets Ihre Cloud Storage-Umgebung verwalten können, indem Sie Einblicke in Ihre Daten erhalten.

Die Storage Insights-Datasets erstellen einen abfragbaren Index von Metadaten und Aktivitäten für Ihre Cloud Storage-Buckets und -Objekte in Ihrer Organisation, Ihren Ordnern, Projekten oder bestimmten Buckets. Um den Index für Metadaten und Aktivitäten abzufragen, müssen Sie das Dataset mit BigQuery verknüpfen. Anschließend können Sie das verknüpfte BigQuery-Dataset verwenden, um Ihre Daten zu analysieren, abzufragen und zu visualisieren. Verknüpfen Sie das Dataset mit BigQuery, um den Index für Metadaten und Aktivitäten abzufragen.

Das Storage Insights-Dataset ist eine exklusive Funktion, die mit dem Storage Intelligence-Abo verfügbar ist. Google Cloud bietet einen 30‑tägigen Testzeitraum zur Einführung in Storage Intelligence. Sie können den Testzeitraum aktivieren, um Einblicke in Ihre Cloud Storage-Nutzung zu erhalten und Maßnahmen zu ergreifen. Weitere Informationen zum Testzeitraum finden Sie unter 30‑tägiger Testzeitraum zur Einführung in Storage Intelligence.

Übersicht

Ein Storage Insights-Dataset bietet einen fortlaufenden Snapshot von Metadaten, Aktivitätsdaten, Fehlern und Ereignissen für alle Projekte, Buckets und Objekte im definierten Bereich. Das Dataset erfasst und indexiert Informationen, um eine Ansicht Ihrer Daten zu erstellen. Mit dieser Ansicht können Sie Ihre Cloud Storage-Ressourcen überwachen und Ihre Speicherressourcen verwalten.

Das Dataset ist als verknüpftes BigQuery-Dataset mit einer Reihe von Tabellen verfügbar, die die folgenden Schemas haben:

  • Metadaten: Ein Snapshot der Metadaten für Projekte, Buckets und Objekte. Weitere Informationen zum Metadatenschema finden Sie unter Dataset-Schema von Metadaten.

  • Aktivitätsdaten: Mutations- und Fehlerdatensätze für Objekte und aggregierte Aktivitätsstatistiken für Ihre Buckets und Projekte. Weitere Informationen zum Schema der Aktivitätsdaten finden Sie unter Dataset-Schema von Aktivitätsdaten.

  • Fehler und Ereignisse: Informationen zu Ereignissen und Fehlern bei der Snapshot-Verarbeitung. Weitere Informationen zum Schema für Fehler und Ereignisse finden Sie unter Dataset-Schema von Ereignissen und Fehlern.

Anwendungsfälle für Storage Insights-Datasets

Storage Insights-Datasets bieten Ansichten, mit denen Sie unternehmensweite und detaillierte Einblicke in Ihre Daten erhalten. In den folgenden Abschnitten werden Anwendungsfälle für Datasets beschrieben.

Überblick über Ihre Speicherressourcen

Sie können Einblicke in Ihre Daten erhalten, indem Sie Projekt-, Bucket- und Objektmetadaten ansehen. Die Metadatenansichten helfen Ihnen bei den folgenden Aufgaben:

  • Anomalien erkennen, z. B. Daten in einer unerwarteten Region.
  • Optimierungsmöglichkeiten ermitteln, z. B. temporäre oder doppelte Dateien finden.
  • Bestimmte Statistiken abfragen, z. B. Objekte, die in den letzten 24 Stunden erstellt wurden, oder die Gesamtzahl der PDF-Dateien.
  • Detaillierte Informationen zu Objekten abrufen, für die Sie Maßnahmen ergreifen möchten, indem Sie eine Präfixliste einer Reihe von Objekten basierend auf den Abfrageergebnissen extrahieren.

Batchvorgänge mit Dataset-Filtern ausführen

Durch die Integration von Storage Insights-Datasets in Batchvorgänge für Speicher können Sie umfangreiche Aktionen für Objekte ausführen, die in Ihren Datasets identifiziert wurden. Mit dieser Integration können Sie bestimmte Teilmengen von Daten projektübergreifend in mehreren Buckets auswählen und Transformationen basierend auf Feldern in Ihrem Dataset anwenden. Dieser Ansatz macht manuelle Manifestdateien überflüssig.

Direkte Objektauswahl

Verwenden Sie Filter-Flags für die Common Expression Language (CEL) (--bucket-filters und --object-filters) direkt im Google Cloud CLI, um Objekte im großen Maßstab auszuwählen und zu verarbeiten. Mit dieser direkten Auswahl können Sie Dataset-Felder auswerten und Batchvorgänge projektübergreifend ausführen. Mit dieser Methode müssen Sie keine manuellen CSV-Manifestdateien erstellen. Sie müssen Ihr Dataset nicht in BigQuery abfragen, Suchergebnisse exportieren und Manifeste in Ihre Buckets hochladen. Mit diesem projektweiten Bereich können Sie einen einzelnen Batchjob für bis zu 1.000 Buckets ausführen.

Sie können Filterkriterien beispielsweise direkt im Google Cloud CLI angeben:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Informationen zu den verfügbaren Feldern und Operatoren, die Sie in diesen Filtern verwenden können, finden Sie in der Referenz zu CEL-Filtern.

Aktivitätsmuster analysieren

Mit der Ansicht für Bucket-Aktivitäten, der Ansicht für Projektaktivitäten und der Ansicht für Objektaktivitäten können Sie Folgendes tun:

  • Betriebsmuster analysieren und inaktive Buckets identifizieren.

  • Vorgänge für Ihre Objekte überwachen, um zu sehen, wie sich Ihre Speicherressourcen im Laufe der Zeit verändern.

  • Ihre aktivsten Projekte, Buckets und Präfixe zuordnen.

Regionale Bucket-Aktivitäten analysieren

In der Ansicht für regionale Bucket-Aktivitäten werden Felder wie Anfragen- und Antwortbytes angezeigt, die die Regionen zeigen, die häufig mit Ihrem Bucket interagieren. Analysieren Sie die regionale Bucket-Aktivität, um festzustellen, ob ein Verschieben des Buckets erforderlich ist:

  • Sehen Sie sich den gesamten ausgehenden und eingehenden Traffic für einen Bucket in einer Region an, um Buckets zu identifizieren, die besser für eine regionale als für eine multiregionale Klasse geeignet sind.

  • Gesamten Datentraffic innerhalb und zwischen allen Regionen bewerten.

Sicherheitsstatus bewerten

Sie können Bucket- und Objektmetadaten verwenden, um öffentlich zugängliche Objekte, aktive Verschlüsselungstypen und Ablaufzeiten für die Datenaufbewahrung zu identifizieren. In den folgenden Abschnitten wird beschrieben, wie Sie mit Storage Insights-Datasets potenzielle Sicherheitslücken bewerten können.

Öffentlich zugängliche Objekte identifizieren

Mit Storage Insights-Datasets können Sie Objekte identifizieren, die öffentlich zugänglich sind. Mit dem Status des öffentlichen Zugriffs auf Ihre Objekte können Sie Ihre Speicherdaten verwalten und Risiken der Datenexfiltration minimieren, indem Sie die Objekte identifizieren, die dem öffentlichen Internet ausgesetzt sind.

Das Schema für Objektmetadaten enthält den Status des öffentlichen Zugriffs, eine berechnete Messung, die die Sicherheitsanalyse vereinfacht. Um den Status des öffentlichen Zugriffs eines Objekts zu ermitteln, werden in Storage Insights-Datasets alle folgenden Konfigurationen validiert:

Damit Sie die spezifische Konfiguration identifizieren können, die öffentlichen Zugriff gewährt, enthalten Storage Insights-Datasets Informationen dazu, ob ein Objekt öffentlich lesbar oder beschreibbar ist. Bei öffentlich lesbaren Objekten wird angegeben, ob die Berechtigung auf Objekt-, Bucket- oder verwalteter Ordnerebene erteilt wurde. Bei öffentlich beschreibbaren Objekten wird angegeben, ob der Zugriff durch eine Objekt-ACL, eine Bucket-ACL oder eine IAM-Richtlinie gewährt wird.

Sie können den Status des öffentlichen Zugriffs auf Objekte mit BigQuery abfragen und diese Objekte dann mit Looker-Dashboards überwachen, um alle öffentlich lesbaren oder beschreibbaren Objekte aufzulisten. Weitere Informationen zu den Feldern für den öffentlichen Zugriffsstatus finden Sie unter securityInsights im Schema für Objektmetadaten.

Verschlüsselungskonfigurationen prüfen

Sie können Bucket- und Objektmetadatenansichten verwenden, um Verschlüsselungskonfigurationen zu prüfen. Diese Ansichten enthalten Verschlüsselungsinformationen auf Bucket- und Objektebene, mit Feldern wie encryption in Bucket-Metadaten und encryptionType in Objektmetadaten. Mit diesen Informationen können Sie Folgendes tun:

  • Prüfen Sie, ob die Standardverschlüsselung für Buckets konfiguriert ist, indem Sie encryption.defaultEncryptionType und encryption.defaultKmsKeyName prüfen.
  • Prüfen Sie die Einhaltung von Richtlinien zur Verschlüsselungserzwingung, indem Sie encryptionType prüfen, um zu sehen, ob Objekte von Google verwaltete, vom Kunden verwaltete oder vom Kunden bereitgestellte Verschlüsselungsschlüssel verwenden.
  • Alle Objekte identifizieren, die mit einem bestimmten Cloud Key Management Service-Schlüssel oder vom Kunden bereitgestellten Verschlüsselungsschlüsseln verschlüsselt wurden.

Richtlinien zur Datenaufbewahrung überwachen

Sie können Bucket- und Objektmetadatenansichten verwenden, um Richtlinien zur Datenaufbewahrung zu überwachen. Diese Ansichten enthalten Felder wie retentionExpirationTime in Objektmetadaten und softDeletePolicy in Bucket-Metadaten. Mit diesen Feldern können Sie Folgendes tun:

  • Objekte verfolgen, deren Aufbewahrungsdauer bald abläuft.
  • Buckets mit aktiviertem vorläufigem Löschen identifizieren und die Aufbewahrungsdauer überwachen.
  • Objekte im Status „vorläufig gelöscht“ identifizieren, indem Sie softDeleteTime prüfen.

Fehlerbehebung beschleunigen

Die Ansicht object_events_view enthält Fehlerinformationen, die bei der Fehlerbehebung hilfreich sein können. Mit dieser Ansicht können Sie Vorgänge prüfen, die zu Fehlern geführt haben, Fehlerursachen identifizieren und Projekte und Buckets mit hohen Fehlerraten erkennen. Sie können beispielsweise 429-Fehler beheben, indem Sie den betroffenen Bucket, das betroffene Projekt und die Ursache ermitteln, z. B. Ressourcenkontingente oder Bandbreitenlimits.

Objektdaten und -metadaten mit BigQuery analysieren

Sie können die Daten in Ihren Storage Insights-Datasets mit BigQuery-Funktionen vom Typ ObjectRef analysieren. Sie können beispielsweise Abfragen erstellen, um sensible Informationen in Dokumenten zu erkennen oder Bildbeschreibungen zu generieren.

Verwenden Sie zum Analysieren von Objektinhalten die ref Spalte aus den Tabellen mit Objektmetadaten mit ObjectRef Funktionen. Weitere Informationen finden Sie unter Objektdaten und -metadaten mit BigQuery analysieren.

Vorteile von Storage Insights-Datasets

Storage Insights-Datasets enthalten Metadaten und Aktivitätsinformationen zu Ihren Speicherressourcen in einem abfragbaren Format in BigQuery. Die Verwendung von Storage Insights-Datasets bietet folgende Vorteile:

  • Analysieren Sie Ihre Speicherressourcen in einem anpassbaren Bereich, um unternehmensweite Statistiken zu erhalten, oder geben Sie Ordner, Projekte oder Buckets für die Analyse an.

  • Da Daten in BigQuery verfügbar sind, können Sie SQL- und Abfragen in natürlicher Sprache mit Gemini verwenden, um Ihre Daten zu analysieren. Weitere Informationen finden Sie unter Daten mit Gemini analysieren.

  • Sie können Ihre Daten visualisieren, indem Sie eine Verbindung zu einem Looker-Dashboard herstellen. Sie können das Storage Intelligence-Dashboard als Vorlage verwenden, die ein Beispiel für die Statistiken bietet, die Sie aus Datasets ableiten können. Mit der Vorlage können Sie eine Verbindung zu Ihren Datasets herstellen oder benutzerdefinierte Diagramme hinzufügen. Informationen zur Verwendung der Vorlage finden Sie unter Anleitung zum Herstellen einer Verbindung zum Storage Intelligence-Dashboard.

Funktionsweise von Storage Insights-Datasets

Um Storage Insights-Datasets zu verwenden, konfigurieren Sie zuerst ein Dataset in einem Projekt. Geben Sie die Organisation, die Ordner oder die Projekte an, für die Sie Daten erfassen möchten. Erteilen Sie nach der Erstellung dem Dienst-Agent die erforderlichen Berechtigungen, um das Dataset zu generieren. Anschließend können Sie das Dataset mit BigQuery verknüpfen, um es abzufragen. Nach der Konfiguration erfasst und erfasst der Dienst automatisch tägliche Snapshots von Objektmetadaten, Bucket-Metadaten, Vorgängen und Fehlern in einer BigQuery-Instanz, die Cloud Storage gehört. Die Daten werden gemäß der konfigurierten Aufbewahrungsdauer aufbewahrt und so optimiert gespeichert, dass die Speicher- und Analysekosten minimiert werden.

In der Dataset-Konfiguration definieren Sie, welche Daten erfasst werden, wo sie gespeichert werden und wie sie verwaltet werden.

In der folgenden Tabelle werden die wichtigsten Attribute beschrieben, die Sie beim Konfigurieren eines Datasets definieren müssen:

Attribut Beschreibung Details und Einschränkungen
Dataset-Bereich Gibt die Ressourcen (Organisationen, Projekte oder Ordner) an, die die Buckets und Objekte enthalten, die Sie in das Dataset aufnehmen möchten. Sie können Projekte oder Ordner einzeln oder mit einer CSV Datei angeben. Jede Konfiguration lässt nur einen Dataset-Bereich zu. Sie können bis zu 10,000 Projekte oder Ordner angeben.
Bucket-Filter Filter, mit denen bestimmte Buckets in das Dataset aufgenommen oder daraus ausgeschlossen werden.Sie können nach Bucket-Namen mit regulären Ausdrücken oder nach Bucket-Standort filtern.
Aufbewahrungsdauer für Dataset Die Anzahl der Tage, für die das Dataset Metadaten und Aktivitätsdaten erfasst und aufbewahrt, einschließlich des Erstellungsdatums des Datasets. Für Tabellen mit Aktivitätsdaten können Sie die Aufbewahrungsdauer für Daten mit der Eigenschaft „Aufbewahrungsdauer für Aktivitätsdaten“ überschreiben. Diese Aufbewahrungsdauer ist ein rollierendes Fenster und kann bis zu 90 Tage betragen. Datasets werden alle 24 Stunden mit neuen Metadaten aktualisiert. Daten, die außerhalb des Aufbewahrungszeitraums erfasst wurden, werden automatisch gelöscht. Beispiel: Sie erstellen am 1. Oktober 2023 ein Dataset mit einem Aufbewahrungszeitraum von 30 Tagen. Am 30. Oktober enthält das Dataset die Daten der letzten 30 Tage (1. bis 30. Oktober). Am Oktober 31. enthält das Dataset die Daten vom 2. bis 31. Oktober. Sie können den Aufbewahrungszeitraum jederzeit ändern. Standardmäßig gilt die Aufbewahrungsdauer für die Metadaten Tabellen und auch für die Aktivitäts Datentabellen, wenn die Aufbewahrungsdauer für Aktivitätsdaten nicht angegeben ist.
Aufbewahrungsdauer für Aktivitätsdaten Die Anzahl der Tage, für die das Dataset Aktivitätsdaten erfasst und aufbewahrt. Wenn dieser Wert definiert ist, überschreibt er die Aufbewahrungsdauer für Dataset. Die Aufbewahrungsdauer kann bis zu 365 days betragen. Die Aufbewahrungsdauer für Aktivitätsdaten gilt für Aktivitäts datentabellen.
Standort Der BigQuery-Standort, der zum Speichern des Datasets und der zugehörigen Daten verwendet wird. Muss ein von BigQuery unterstützter Standort sein, z. B. us-central1. Wenn Sie bereits BigQuery-Tabellen haben, empfehlen wir, den Standort Ihrer BigQuery Tabellen auszuwählen.
Dienst-Agent-Typ Bestimmt den Bereich des Dienst-Agents, der Daten für die Dataset-Konfiguration liest und schreibt Dies kann ein konfigurationsbezogener oder ein projektbezogener Dienst-Agent sein. Projektbezogene Dienst-Agents können auf Datasets zugreifen und in diese schreiben für alle Dataset-Konfigurationen im Projekt. Wenn Sie beispielsweise mehrere Dataset-Konfigurationen in einem Projekt haben, müssen Sie dem projektbezogenen Dienst-Agent die erforderlichen Berechtigungen nur einmal erteilen. So kann er Datasets für alle Dataset-Konfigurationen im Projekt lesen und schreiben. Wenn eine Dataset-Konfiguration gelöscht wird, wird der projektbezogene Dienst-Agent nicht gelöscht.

Konfigurationsbezogene Dienst-Agents können nur auf das Dataset zugreifen und in dieses schreiben, das von der jeweiligen Dataset-Konfiguration generiert wurde. Wenn Sie also mehrere Dataset-Konfigurationen haben, müssen Sie jedem konfigurationsbezogenen Dienst-Agent die erforderlichen Berechtigungen erteilen. Wenn eine Dataset-Konfiguration gelöscht wird, wird der konfigurationsbezogene Dienst Agent gelöscht.

Nachdem Sie die Konfigurationseigenschaften angegeben und dem Dienst-Agent die erforderlichen Berechtigungen erteilt haben, verknüpfen Sie das Dataset mit BigQuery, um es abzufragen.

Weitere Informationen zu den Eigenschaften, die Sie beim Erstellen oder Aktualisieren einer Dataset Konfiguration festlegen, finden Sie in der JSON API-Dokumentation unter der DatasetConfigs Ressource.

Nach der Konfiguration erfasst und erfasst der Dienst automatisch Daten in einer BigQuery-Instanz, die Cloud Storage gehört. Der Zeitplan für das Auffüllen von Daten in den Datasets ist wie folgt:

  • Es kann 24 bis 48 Stunden dauern, bis der erste Dataset-Ladevorgang und die Aktivitätsdaten für neu hinzugefügte Buckets oder Objekte als verknüpftes Dataset in BigQuery angezeigt werden.

  • Aktivitätsdaten werden in der Regel innerhalb von vier Stunden nach der Aktivität eingefügt (die Latenz kann gelegentlich höher sein).

  • Metadaten-Snapshots (für Projekte, Buckets und Objekte) werden alle 24 Stunden aktualisiert.

Hinweise

Beachten Sie bei Dataset-Konfigurationen Folgendes:

  • Wenn Sie einen Ordner in einem Bucket mit hierarchischem Namespace aktiviertem Namespace umbenennen, werden die Objektnamen in diesem Bucket aktualisiert. Wenn das verknüpfte Dataset diese Objekt-Snapshots aufnimmt, werden sie als neue Einträge betrachtet.

  • CRC32C-Prüfsummen und MD5-Hashes sind in der object metadata Tabelle für Objekte, die mit vom Kunden verwalteten Verschlüsselung schlüsseln (CMEK) verschlüsselt wurden, nicht verfügbar.

  • Datasets werden nur an den folgenden BigQuery-Standorten unterstützt:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Bei der Ermittlung des Status des öffentlichen Zugriffs für Objekte mit Storage Insights-Datasets gelten die folgenden Einschränkungen:

    • Der Status des öffentlichen Zugriffs ist für Objekte in verwalteten Ordnern nicht verfügbar.

    • Bei der Ermittlung des Status des öffentlichen Zugriffs eines Objekts werden in Storage Insights-Datasets die VPC Service Controls oder IP-Filterung-Konfiguration des Buckets nicht berücksichtigt.

Nächste Schritte