Storage Insights-Datasets

Storage Insights-Datasets helfen Ihnen bei der Verwaltung Ihrer Cloud Storage-Ressourcen, indem sie einen abfragbaren Index von Metadaten und Aktivitäten über Organisationen, Ordner, Projekte oder bestimmte Buckets hinweg generieren. Nachdem Sie das Dataset mit BigQuery verknüpft haben, können Sie Ihre Bucket- und Objektdaten analysieren, abfragen und visualisieren.

Dataset-Inhalte und -Schemas

Ein Storage Insights-Dataset bietet einen rollierenden Snapshot von Metadaten, Aktivitätsdaten, Fehlern und Ereignissen für alle Projekte, Buckets und Objekte innerhalb des definierten Bereichs. Im Dataset werden Informationen erfasst und indexiert, um eine Ansicht Ihrer Daten zu erstellen. In dieser Ansicht können Sie Ihre Cloud Storage-Ressourcen überwachen und Ihren Speicher verwalten.

Das Dataset ist als mit BigQuery verknüpftes Dataset mit einer Reihe von Tabellen mit den folgenden Schemas verfügbar:

  • Metadaten: Ein Snapshot der Metadaten für Projekte, Buckets und Objekte. Weitere Informationen zum Metadatenschema finden Sie unter Dataset-Schema der Metadaten.

  • Aktivitätsdaten: Mutations- und Fehlerdatensätze für Objekte sowie aggregierte Aktivitätsstatistiken für Ihre Buckets und Projekte. Weitere Informationen zum Schema für Aktivitätsdaten finden Sie unter Dataset-Schema für Aktivitätsdaten.

  • Fehler und Ereignisse: Informationen zu Snapshot-Verarbeitungsereignissen und -fehlern. Weitere Informationen zum Schema für Fehler und Ereignisse finden Sie unter Dataset-Schema für Ereignisse und Fehler.

Anwendungsfälle für Storage Insights-Datasets

Storage Insights-Datasets bieten Ansichten, mit denen Sie unternehmensweite und detaillierte Einblicke in Ihre Daten erhalten. In den folgenden Abschnitten werden Anwendungsfälle für Datasets beschrieben.

Speicherbestand verstehen

Sie können Einblicke in Ihre Daten erhalten, indem Sie Projekt-, Bucket- und Objektmetadaten aufrufen. Die Metadatenansichten helfen Ihnen bei den folgenden Aufgaben:

  • Anomalien erkennen, z. B. Daten in einer unerwarteten Region.
  • Optimierungsmöglichkeiten identifizieren, z. B. temporäre oder doppelte Dateien finden.
  • Fragen Sie bestimmte Statistiken ab, z. B. Objekte, die in den letzten 24 Stunden erstellt wurden, oder die Gesamtzahl der PDF-Dateien.
  • Sie können die Objekte, für die Sie eine Aktion ausführen möchten, genauer untersuchen, indem Sie eine Präfixliste einer Gruppe von Objekten basierend auf Abfrageergebnissen extrahieren.

Batchvorgänge mit Dataset-Filtern ausführen

Wenn Sie Storage Insights-Datasets in Storage-Batchvorgänge einbinden, können Sie umfangreiche Aktionen für Objekte ausführen, die in Ihren Datasets identifiziert wurden. Mit dieser Integration können Sie bestimmte Teilmengen von Daten aus mehreren Buckets im gesamten Projekt auswählen und Transformationen basierend auf Feldern in Ihrem Dataset anwenden. Bei diesem Ansatz sind keine manuellen Manifestdateien erforderlich.

Direkte Objektauswahl

Verwenden Sie CEL-Filter-Flags (Common Expression Language) (--bucket-filters und --object-filters) direkt in der Google Cloud CLI, um Objekte in großem Umfang auszuwählen und zu verarbeiten. Mit dieser direkten Auswahl können Sie Dataset-Felder auswerten und Batchaktionen projektweit ausführen. Bei dieser Methode müssen keine manuellen Manifest-CSV-Dateien erstellt werden. Sie müssen Ihr Dataset nicht in BigQuery abfragen, Suchergebnisse exportieren und Manifeste in Ihre Buckets hochladen. Mit diesem projektweiten Bereich können Sie einen einzelnen Batchjob für bis zu 1.000 Buckets ausführen.

Sie können Filterkriterien beispielsweise direkt in der Google Cloud CLI angeben:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Informationen zu den verfügbaren Feldern und Operatoren, die Sie in diesen Filtern verwenden können, finden Sie in der Referenz zu CEL-Filtern.

Aktivitätsmuster analysieren

In der Ansicht der Bucket-Aktivitäten, der Projektaktivitäten und der Objektereignisse können Sie Folgendes tun:

  • Betriebsmuster analysieren und inaktive Buckets identifizieren.

  • Überwachen Sie Vorgänge für Ihre Objekte, um zu sehen, wie sich Ihr Speicherbestand im Laufe der Zeit ändert.

  • Ordnen Sie Ihre aktivsten Projekte, Buckets und Präfixe zu.

Regionale Bucket-Aktivität verstehen

In der Ansicht der regionalen Bucket-Aktivität werden Felder wie Anfrage- und Antwortbyte angezeigt, die die Regionen zeigen, die häufig mit Ihrem Bucket interagieren. Analysieren Sie die regionale Bucket-Aktivität, um festzustellen, ob ein Verschieben von Buckets erforderlich ist:

  • Sehen Sie sich den gesamten ausgehenden und eingehenden Traffic für einen Bucket in einer Region an, um Buckets zu identifizieren, die möglicherweise besser für eine regionale als für eine multiregionale Klasse geeignet sind.

  • Gesamten Datentraffic innerhalb und zwischen allen Regionen bewerten.

Sicherheitsstatus bewerten

Anhand von Bucket- und Objektmetadaten können Sie öffentlich zugängliche Objekte, aktive Verschlüsselungstypen und Ablaufzeiten für die Datenaufbewahrung ermitteln. In den folgenden Abschnitten wird beschrieben, wie Sie mit Storage Insights-Datasets potenzielle Sicherheitslücken bewerten können.

Öffentlich zugängliche Objekte identifizieren

Mit Storage Insights-Datasets können Sie öffentlich zugängliche Objekte identifizieren. Der Status des öffentlichen Zugriffs auf Ihre Objekte hilft Ihnen, Ihre Speicherdaten zu verwalten und Risiken der Daten-Exfiltration zu minimieren, da Sie die Objekte identifizieren können, die im öffentlichen Internet zugänglich sind.

Das Objektmetadatenschema enthält den Status des öffentlichen Zugriffs, einen berechneten Messwert, der die Sicherheitsanalyse vereinfacht. Um den Status des öffentlichen Zugriffs eines Objekts zu bestimmen, validieren Storage Insights-Datasets alle folgenden Konfigurationen:

Damit Sie die spezifische Konfiguration identifizieren können, die öffentlichen Zugriff gewährt, enthalten Storage Insights-Datasets Informationen dazu, ob ein Objekt öffentlich lesbar oder beschreibbar ist. Bei öffentlich lesbaren Objekten gibt diese Information an, ob die Berechtigung auf Objekt-, Bucket- oder verwalteter Ordnerebene erteilt wurde. Bei öffentlich beschreibbaren Objekten werden Details dazu angegeben, ob der Zugriff über eine Objekt-ACL, eine Bucket-ACL oder eine IAM-Richtlinie gewährt wird.

Sie können den Status des öffentlichen Zugriffs auf Objekte mit BigQuery abfragen und diese Objekte dann mit Looker-Dashboards überwachen, um alle öffentlich lesbaren oder beschreibbaren Objekte aufzulisten. Weitere Informationen zu den Feldern für den Status des öffentlichen Zugriffs finden Sie im Objektmetadatenschema unter securityInsights.

Verschlüsselungskonfigurationen prüfen

Sie können Bucket- und Objektmetadatenansichten verwenden, um Verschlüsselungskonfigurationen zu prüfen. Diese Ansichten enthalten Verschlüsselungsinformationen sowohl auf Bucket- als auch auf Objektebene, mit Feldern wie encryption in Bucket-Metadaten und encryptionType in Objektmetadaten. Diese Informationen können Sie für Folgendes verwenden:

  • Prüfen Sie, ob für Buckets die Standardverschlüsselung konfiguriert ist. Prüfen Sie dazu encryption.defaultEncryptionType und encryption.defaultKmsKeyName.
  • Prüfen Sie die Einhaltung der Richtlinien zur Durchsetzung der Verschlüsselung, indem Sie in encryptionType nachsehen, ob Objekte von Google verwaltete, vom Kunden verwaltete oder vom Kunden bereitgestellte Verschlüsselungsschlüssel verwenden.
  • Alle Objekte identifizieren, die mit einem bestimmten Cloud Key Management Service-Schlüssel oder mit vom Kunden bereitgestellten Verschlüsselungsschlüsseln verschlüsselt sind.

Richtlinien zur Datenaufbewahrung überwachen

Sie können Bucket- und Objektmetadatenansichten verwenden, um Richtlinien zur Datenaufbewahrung zu überwachen. Diese Ansichten enthalten Felder wie retentionExpirationTime in Objektmetadaten und softDeletePolicy in Bucket-Metadaten. Mit diesen Feldern können Sie Folgendes tun:

  • Objekte im Blick behalten, deren Aufbewahrungsdauer bald abläuft.
  • Buckets mit aktiviertem vorläufigem Löschen identifizieren und ihre Aufbewahrungsdauer überwachen.
  • Objekte im Status „Vorläufig gelöscht“ durch Prüfen von softDeleteTime identifizieren.

Fehlerbehebung beschleunigen

Die Ansicht object_events_view enthält Fehlerinformationen, die bei der Fehlerbehebung helfen können. In dieser Ansicht können Sie Vorgänge prüfen, die zu Fehlern geführt haben, Fehlerursachen identifizieren und Projekte und Buckets mit hohen Fehlerraten erkennen. Sie können beispielsweise 429-Fehler beheben, indem Sie den betroffenen Bucket, das betroffene Projekt und die Ursache identifizieren, z. B. Ressourcenkontingente oder Bandbreitenlimits.

Objektdaten und Metadaten mit BigQuery analysieren

Sie können die Daten in Ihren Storage Insights-Datasets mit BigQuery-ObjectRef-Funktionen analysieren. Sie können beispielsweise Abfragen erstellen, um vertrauliche Informationen in Dokumenten zu erkennen oder Bildbeschreibungen zu generieren.

Wenn Sie Objektinhalte analysieren möchten, verwenden Sie die Spalte ref aus den Objektmetadatentabellen mit ObjectRef-Funktionen. Weitere Informationen finden Sie unter Objektdaten und Metadaten mit BigQuery analysieren.

Vorteile von Storage Insights-Datasets

Storage Insights-Datasets liefern Metadaten und Aktivitätsinformationen zu Ihren Speicherressourcen in einem abfragbaren Format in BigQuery. Die Verwendung von Storage Insights-Datasets bietet folgende Vorteile:

  • Analysieren Sie Ihren Speicherbestand innerhalb eines anpassbaren Bereichs, um organisationsweite Informationen zu erhalten, oder geben Sie Ordner, Projekte oder Buckets für die Analyse an.

  • Wenn die Daten in BigQuery verfügbar sind, können Sie sie mit SQL und Abfragen in natürlicher Sprache mit Gemini analysieren. Weitere Informationen finden Sie unter Daten mit Gemini analysieren.

  • Sie können Ihre Daten visualisieren, indem Sie eine Verbindung zu einem Looker-Dashboard herstellen. Sie können das Storage Intelligence-Dashboard als Vorlage verwenden, die ein Beispiel für die Statistiken bietet, die Sie aus Datasets ableiten können. Sie können die Vorlage verwenden, um eine Verbindung zu Ihren Datasets herzustellen oder benutzerdefinierte Diagramme hinzuzufügen. Informationen zur Verwendung der Vorlage finden Sie in der Anleitung zum Verbinden des Storage Intelligence-Dashboards.

Funktionsweise von Storage Insights-Datasets

Wenn Sie Storage Insights-Datasets verwenden möchten, müssen Sie zuerst ein Dataset in einem Projekt konfigurieren. Geben Sie die Organisation, die Ordner oder die Projekte an, für die Sie Daten erfassen möchten. Gewähren Sie dem Dienst-Agent nach der Erstellung die erforderlichen Berechtigungen, um das Dataset zu generieren. Anschließend können Sie das Dataset mit BigQuery verknüpfen, um Abfragen auszuführen. Nach der Konfiguration werden täglich Snapshots von Objektmetadaten, Bucket-Metadaten, Vorgängen und Fehlern automatisch erfasst und in eine BigQuery-Instanz von Cloud Storage aufgenommen. Die Daten werden gemäß der konfigurierten Aufbewahrungsdauer aufbewahrt und so gespeichert, dass die Speicher- und Analysekosten minimiert werden.

In der Dataset-Konfiguration legen Sie fest, welche Daten erfasst, wo sie gespeichert und wie sie verwaltet werden.

In der folgenden Tabelle werden die wichtigsten Attribute beschrieben, die Sie beim Konfigurieren eines Datasets definieren müssen:

Attribut Beschreibung Details und Limits
Dataset-Bereich Gibt die Ressourcen (Organisationen, Projekte oder Ordner) an, die die Buckets und Objekte enthalten, die Sie in das Dataset aufnehmen möchten. Sie können Projekte oder Ordner einzeln oder mithilfe einer CSV-Datei angeben. In jeder Konfiguration ist nur ein Dataset-Bereich zulässig. Sie können bis zu 10,000 Projekte oder Ordner angeben.
Bucket-Filter Filter, mit denen bestimmte Buckets in das Dataset ein- oder daraus ausgeschlossen werden.Sie können nach Bucket-Namen mithilfe regulärer Ausdrücke oder nach Bucket-Standort filtern.
Aufbewahrungsdauer für Dataset Die Anzahl der Tage, für die das Dataset Metadaten und Aktivitätsdaten erfasst und aufbewahrt, einschließlich des Erstellungsdatums des Datasets. Bei Aktivitätsdatentabellen können Sie die Datenaufbewahrung mit dem Attribut Aufbewahrungsdauer für Aktivitätsdaten überschreiben. Diese Aufbewahrungsdauer ist ein rollierendes Zeitfenster und kann bis zu 90 Tage betragen. Datasets werden alle 24 Stunden mit neuen Metadaten aktualisiert. Das System löscht automatisch Daten, die außerhalb des Aufbewahrungszeitraums erfasst wurden. Beispiel: Sie erstellen am 1. Oktober 2023 ein Dataset mit einem Aufbewahrungszeitraum von 30 Tagen. Am 30. Oktober enthält das Dataset die Daten der letzten 30 Tage (1. bis 30. Oktober). Am 31. Oktober enthält das Dataset die Daten vom 2. Oktober bis zum 31. Oktober. Sie können das Aufbewahrungsfenster jederzeit ändern. Standardmäßig gilt die Aufbewahrungsdauer für die Metadatentabellen und auch für die Aktivitätsdatentabellen, wenn die Aufbewahrungsdauer für Aktivitätsdaten nicht angegeben ist.
Aufbewahrungsdauer für Aktivitätsdaten Die Anzahl der Tage, für die das Dataset Aktivitätsdaten erfasst und aufbewahrt. Wenn dieser Wert definiert ist, überschreibt er die Aufbewahrungsdauer für das Dataset. Die Aufbewahrungsdauer kann bis zu 365 days betragen. Die Aufbewahrungsdauer für Aktivitätsdaten gilt für Aktivitätsdatentabellen.
Standort Der BigQuery-Speicherort, an dem das verknüpfte Dataset und die zugehörigen Daten gespeichert werden. Das verknüpfte Dataset muss sich an einem von BigQuery unterstützten Standort befinden, z. B. us-central1. Quell-Buckets können sich jedoch an einem beliebigen Cloud Storage-Standort befinden. Wir empfehlen, den Standort Ihrer BigQuery-Tabellen auszuwählen, wenn Sie bereits BigQuery-Tabellen haben.
Dienst-Agent-Typ Bestimmt den Bereich des Dienst-Agents, der Daten für die Dataset-Konfiguration liest und schreibt. Dies kann entweder ein konfigurationsbezogener Dienst-Agent oder ein projektbezogener Dienst-Agent sein. Projektspezifische Dienst-Agents können auf Datasets für alle Dataset-Konfigurationen im Projekt zugreifen und diese schreiben. Wenn Sie beispielsweise mehrere Dataset-Konfigurationen in einem Projekt haben, müssen Sie dem projektbezogenen Dienst-Agent nur einmal die erforderlichen Berechtigungen gewähren. Dadurch kann es Datasets für alle Dataset-Konfigurationen im Projekt lesen und schreiben. Wenn eine Dataset-Konfiguration gelöscht wird, wird der Dienst-Agent auf Projektebene nicht gelöscht.

Dienst-Agents auf Konfigurationsebene können nur auf das Dataset zugreifen und es schreiben, das von der jeweiligen Dataset-Konfiguration generiert wurde. Wenn Sie mehrere Dataset-Konfigurationen haben, müssen Sie jedem konfigurationsbezogenen Dienst-Agent die erforderlichen Berechtigungen gewähren. Wenn eine Dataset-Konfiguration gelöscht wird, wird auch der konfigurationsbezogene Dienst-Agent gelöscht.

Nachdem Sie die Konfigurationseigenschaften angegeben und dem Dienst-Agent die erforderlichen Berechtigungen gewährt haben, verknüpfen Sie das Dataset mit BigQuery, um Abfragen auszuführen.

Weitere Informationen zu den Attributen, die Sie beim Erstellen oder Aktualisieren einer Dataset-Konfiguration festlegen, finden Sie in der JSON API-Dokumentation unter DatasetConfigs-Ressource.

Nach der Konfiguration werden die Daten automatisch erfasst und in eine BigQuery-Instanz von Cloud Storage aufgenommen. Der Zeitplan für die Datenübertragung in die Datasets sieht so aus:

  • Es kann 24 bis 48 Stunden dauern, bis das erste Dataset und die Aktivitätsdaten für neu hinzugefügte Buckets oder Objekte als verknüpftes Dataset in BigQuery angezeigt werden.

  • Aktivitätsdaten werden in der Regel innerhalb von vier Stunden nach der Aktivität aufgenommen. Die Latenz kann gelegentlich höher sein.

  • Metadaten-Snapshots (für Projekte, Buckets und Objekte) werden alle 24 Stunden aktualisiert.

Hinweise

Beachten Sie bei Dataset-Konfigurationen Folgendes:

  • Wenn Sie einen Ordner in einem Bucket mit aktiviertem hierarchischen Namespace umbenennen, werden die Objektnamen in diesem Bucket aktualisiert. Wenn das verknüpfte Dataset diese Objekt-Snapshots aufnimmt, werden sie als neue Einträge betrachtet.

  • CRC32C-Prüfsummen und MD5-Hashes sind in der Tabelle object metadata für Objekte, die mit kundenverwalteten Verschlüsselungsschlüsseln (CMEK) verschlüsselt sind, nicht verfügbar.

  • Storage Insights-Datasets können Metadaten aus Quell-Buckets an jedem Cloud Storage-Standort aufnehmen, einschließlich Standorten, die hier nicht aufgeführt sind. Das verknüpfte Dataset muss sich jedoch an einem der folgenden unterstützten BigQuery-Standorte befinden:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Beim Ermitteln des Status des öffentlichen Zugriffs für Objekte mithilfe von Storage Insights-Datasets gelten die folgenden Einschränkungen:

    • Der Status des öffentlichen Zugriffs ist für Objekte in verwalteten Ordnern nicht verfügbar.

    • Bei Storage Insights-Datasets wird die VPC Service Controls- oder IP-Filterkonfiguration des Buckets nicht berücksichtigt, wenn der Status des öffentlichen Zugriffs eines Objekts bestimmt wird.

Nächste Schritte