Storage Insights-Datasets – Tabellen und Schemas

Storage Insights-Datasets bieten BigQuery-Tabellen und -Ansichten, mit denen Sie Betriebsmuster analysieren und die Ressourcennutzung in Ihren Cloud Storage-Buckets, -Objekten und -Projekten überwachen können. Mit diesen Schemas können Sie Abfragen schreiben, um die Speichernutzung zu prüfen, Sicherheitseinstellungen zu verifizieren und Aktivitäten in Ihrer Speicherumgebung zu verfolgen.

Dataset-Schema der Metadaten

In den folgenden Abschnitten werden die in Datasets enthaltenen Metadatenfelder beschrieben. Weitere Informationen zu BigQuery-Spaltenmodi finden Sie unter Modi. Die Spaltenmodi bestimmen, wie BigQuery die Daten speichert und abfragt.

Sie können Storage-Batchvorgänge mit Storage Insights-Datasets verbinden, um Daten dynamisch auszuwählen. Mit diesem Ansatz können Sie Dataset-Spalten direkt mithilfe von Filterausdrücken abfragen, anstatt manuelle Manifestdateien zu verwenden. Die Spalte Storage batch operations filterable in den folgenden Tabellen gibt an, ob ein Metadatenfeld unterstützt wird, wenn Filterargumente der Common Expression Language (CEL) (--bucket-filters oder --object-filters) direkt in der Google Cloud CLI erstellt werden. Wenn ein Feld unterstützt wird, können Sie den Spaltennamen direkt in Ihren Filterausdrücken referenzieren. Weitere Informationen zur unterstützten Syntax finden Sie in der Referenz zu CEL-Filtern.

Bucket-Metadaten

Das Bucket-Metadatenschema enthält die Tabellen bucket_attributes_view und bucket_attributes_latest_snapshot_view. Die Bucket-Metadatentabellen enthalten die folgenden Felder:

Metadatenfeld Modus Typ Beschreibung Filterbare Storage-Batchvorgänge
snapshotTime NULLABLE TIMESTAMP Im Feld snapshotTime wird der Zeitpunkt der Aktualisierung des Bucket-Metadaten-Snapshots im RFC 3339-Format gespeichert. Alle Datensätze, die aus derselben Snapshot-Aktualisierung generiert werden, haben dieselbe snapshotTime.
name NULLABLE STRING Der Name des Buckets.
location NULLABLE STRING Der Standort des Buckets. Objektdaten für Objekte im Bucket befinden sich im physischen Speicher an diesem Standort.
project NULLABLE INTEGER Die Projektnummer des Projekts, zu dem der Bucket gehört.
storageClass NULLABLE STRING Die Standardspeicherklasse des Buckets.
public NULLABLE RECORD Verworfen Dieses Feld gibt an, ob ein Bucket öffentlich zugänglich ist. Verwenden Sie stattdessen iamConfiguration.
public.bucketPolicyOnly NULLABLE BOOLEAN Verworfen Dieses Feld ist Teil des public-Eintrags und gibt an, ob der einheitliche Zugriff auf Bucket-Ebene aktiviert ist, wodurch der Zugriff über ACLs auf Objektebene verhindert wird.
public.publicAccessPrevention NULLABLE STRING Verworfen Dieses Feld ist Teil des public-Eintrags und gibt an, ob der öffentliche Zugriff auf den Bucket verhindert wird.
autoclass NULLABLE RECORD Die Autoclass-Konfiguration des Buckets, die, wenn sie aktiviert ist, die Speicherklasse von Objekten basierend darauf steuert, wie und wann auf die Objekte zugegriffen wird.
autoclass.enabled NULLABLE BOOLEAN Gibt an, ob Autoclass aktiviert ist.
autoclass.toggleTime NULLABLE TIMESTAMP Der Zeitpunkt, zu dem Autoclass für diesen Bucket zuletzt aktiviert oder deaktiviert wurde, im RFC 3339-Format.
versioning NULLABLE BOOLEAN Gibt an, ob die Versionsverwaltung für den Bucket aktiviert ist. Weitere Informationen finden Sie unter Objektversionsverwaltung.
lifecycle NULLABLE BOOLEAN Gibt an, ob der Bucket eine Lebenszykluskonfiguration hat. Weitere Informationen finden Sie unter Lebenszyklusverwaltung.
metageneration NULLABLE INTEGER Die Metadatengenerierung dieses Buckets.
timeCreated NULLABLE TIMESTAMP Die Erstellungszeit des Buckets im RFC 3339-Format.
tags NULLABLE RECORD Verworfen Dieses Feld enthält benutzerdefinierte Schlüssel/Wert-Paare, die dem Bucket zugeordnet sind. Verwenden Sie stattdessen resourceTags.
tags.lastUpdatedTime NULLABLE TIMESTAMP Verworfen In diesem Feld wird angegeben, wann die tags zuletzt aktualisiert wurden.
tags.tagMap REPEATED RECORD Verworfen Dieses Feld, das Teil des tags-Eintrags ist, enthält die Zuordnung von Tag-Schlüsseln und -Werten.
tags.tagMap.key NULLABLE STRING Verworfen Dieses Feld, das Teil des tags.tagMap-Eintrags ist, ist der Schlüssel eines Tags.
tags.tagMap.value NULLABLE STRING Verworfen Dieses Feld, das Teil des tags.tagMap-Datensatzes ist, ist der Wert eines Tags.
labels REPEATED RECORD Vom Nutzer bereitgestellte Bucket-Labels in Schlüssel/Wert-Paaren.
labels.key NULLABLE STRING Ein einzelner Labeleintrag.
labels.value NULLABLE STRING Der Wert des Labels.
retentionPeriod NULLABLE LONG Die Aufbewahrungsdauer der Aufbewahrungsrichtlinie des Buckets in Sekunden.
retentionMode NULLABLE STRING Der Aufbewahrungsmodus der Aufbewahrungsrichtlinie des Buckets. Die möglichen Werte sind Locked oder Unlocked.
objectRetentionEnabled NULLABLE BOOLEAN Ob die Objektaufbewahrungssperre für einen Bucket aktiviert ist. Die möglichen Werte sind True oder False. Wenn dieses Feld True ist, können Objekte im Bucket Aufbewahrungskonfigurationen auf Objektebene haben.
defaultEventBasedHold NULLABLE BOOLEAN Ob für einen Bucket ein standardmäßiges ereignisbasiertes Attribut aktiviert ist. Die möglichen Werte sind True oder False.
softDeletePolicy NULLABLE RECORD Die Richtlinie für vorläufiges Löschen des Buckets, die den Zeitraum definiert, in dem Objekte im Bucket nach dem Löschen im Status „Vorläufig gelöscht“ aufbewahrt werden. Objekte im Status „Vorläufig gelöscht“ können nicht endgültig gelöscht werden und sind bis zu ihrem hardDeleteTime wiederherstellbar.
softDeletePolicy.effectiveTime NULLABLE DATETIME

Das Datum und die Uhrzeit, zu der die Richtlinie für das vorläufige Löschen in Kraft tritt, im RFC 3339-Format.

softDeletePolicy.effectiveTime wird aktualisiert, wenn softDeletePolicy.retentionDurationSeconds erhöht wird.
softDeletePolicy.retentionDurationSeconds NULLABLE LONG Der Zeitraum in Sekunden, für den ein vorläufig gelöschtes Objekt aufbewahrt wird und nicht endgültig gelöscht werden kann. Der Wert muss größer oder gleich 7 Tage und kleiner als 90 Tage sein. Der Wert kann auch auf 0 gesetzt werden, wodurch die Richtlinie für vorläufiges Löschen deaktiviert wird.
enforcedEncryptionAllowedTypes REPEATED STRING Die im Bucket zulässigen Verschlüsselungstypen. Folgende Werte sind möglich:
  • GMEK (Google-owned and Google-managed encryption keys)
  • CMEK (kundenverwaltete Verschlüsselungsschlüssel)
  • CSEK (vom Kunden bereitgestellte Verschlüsselungsschlüssel)
encryption NULLABLE RECORD Die Verschlüsselungskonfiguration des Buckets. Cloud Storage verwendet diese Konfiguration, um neue Objekte zu verschlüsseln, die dem Bucket hinzugefügt werden, sofern Sie beim Upload keine Verschlüsselung auf Objektebene angeben.
encryption.defaultEncryptionType NULLABLE STRING Der Standardverschlüsselungstyp des Buckets. Wenn encryption.defaultKmsKeyName festgelegt ist, lautet dieser Wert CMEK, andernfalls GMEK.
encryption.defaultKmsKeyName NULLABLE STRING Der standardmäßige Cloud Key Management Service-Schlüssel, der für neue Objekte im Bucket verwendet werden soll. Wenn dieses Feld festgelegt ist, wird Cloud Key Management Service für die Standardverschlüsselung (CMEK) verwendet. Wenn nicht festgelegt, werden Google-owned and Google-managed encryption keys für die Standardverschlüsselung (GMEK) verwendet.
iamConfiguration NULLABLE RECORD Die IAM-Konfiguration für einen Bucket.
iamConfiguration.uniformBucketLevelAccess NULLABLE RECORD Die Konfiguration des einheitlichen Zugriffs auf Bucket-Ebene für den Bucket.
iamConfiguration.uniformBucketLevelAccess.enabled NULLABLE BOOLEAN Gibt an, ob der Bucket einen einheitlichen Zugriff auf Bucket-Ebene verwendet.
iamConfiguration.publicAccessPrevention NULLABLE STRING Der Status der Verhinderung des öffentlichen Zugriffs des Buckets, der entweder "inherited" oder "enforced" ist.
resourceTags REPEATED RECORD Die Tags des Buckets. Weitere Informationen finden Sie unter Cloud Resource Manager API.
resourceTags.key NULLABLE STRING Der resourceTags-Schlüssel.
resourceTags.value NULLABLE STRING Der Wert resourceTags.
objectCount NULLABLE INTEGER Die Gesamtzahl der Objekte im Bucket.
totalSize NULLABLE INTEGER Die Gesamtgröße des Buckets in Byte.

Objektmetadaten

Das Objektmetadatenschema enthält die Tabellen object_attributes_view und object_attributes_latest_snapshot_view. Diese Tabellen enthalten Metadaten für Live-Objekte, nicht aktuelle Objektversionen, wenn die Objektversionsverwaltung aktiviert ist, und vorläufig gelöschte Objekte, wenn das vorläufige Löschen aktiviert ist. Die Objektmetadatentabellen enthalten die folgenden Felder:

Metadatenfeld Modus Typ Beschreibung Filterbare Storage-Batchvorgänge
snapshotTime NULLABLE TIMESTAMP Im Feld snapshotTime wird der Zeitpunkt der Aktualisierung des Objektmetadaten-Snapshots im RFC 3339-Format gespeichert. Alle Datensätze, die aus derselben Snapshot-Aktualisierung generiert werden, haben dieselbe snapshotTime.
bucket NULLABLE STRING Der Name des Buckets, der dieses Objekt enthält.
location NULLABLE STRING Der Standort des Buckets. Objektdaten für Objekte im Bucket befinden sich im physischen Speicher an diesem Standort.
componentCount NULLABLE INTEGER Wird nur für zusammengesetzte Objekte zurückgegeben. Anzahl der nicht zusammengesetzten Objekte im zusammengesetzten Objekt. componentCount enthält nicht zusammengesetzte Objekte, die Teil von zusammengesetzten Objekten waren, die zum Zusammensetzen des aktuellen Objekts verwendet wurden.
contentDisposition NULLABLE STRING Content-Disposition der Objektdaten.
contentEncoding NULLABLE STRING Content-Encoding der Objektdaten.
contentLanguage NULLABLE STRING Content-Language der Objektdaten.
contentType NULLABLE STRING Inhaltstyp der Objektdaten.
contexts REPEATED RECORD An ein Objekt angehängte Kontexte in Schlüssel/Wert-Paaren. Weitere Informationen zu Objektkontexten finden Sie unter Objektkontexte – Übersicht.
contexts.key NULLABLE STRING Der Schlüssel des Objektkontexts.
contexts.value NULLABLE STRING Der Wert des Objektkontextschlüssels.
contexts.type NULLABLE STRING Der Objektkontexttyp, der immer custom ist.
contexts.createTime NULLABLE TIMESTAMP Der Zeitpunkt, zu dem dieser Objektkontextschlüssel dem Objekt zum ersten Mal hinzugefügt wurde. Im RFC 3339-Format angegeben.
contexts.updateTime NULLABLE TIMESTAMP Der Zeitpunkt, zu dem dieser Objektkontextschlüssel zuletzt aktualisiert wurde. Im RFC 3339-Format angegeben.
crc32c NULLABLE INTEGER Die CRC32C-Prüfsumme, wie in RFC 4960, Anhang B beschrieben, mit base64 in Big-Endian-Bytereihenfolge codiert. Dieses Feld ist für Objekte, die mit kundenverwalteten Verschlüsselungsschlüsseln (CMEK) verschlüsselt sind, nicht vorhanden.
customTime NULLABLE TIMESTAMP Ein vom Nutzer angegebener Zeitstempel für das Objekt. Im RFC 3339-Format angegeben.
etag NULLABLE STRING HTTP 1.1-Entitäts-Tag für das Objekt.
eventBasedHold NULLABLE BOOLEAN Gibt an, ob das Objekt einem ereignisbasierten Hold unterliegt.
generation NULLABLE INTEGER Die Inhaltsgenerierung dieses Objekts.
md5Hash NULLABLE STRING MD5-Hash der Daten, codiert mit base64. Dieses Feld ist für zusammengesetzte Objekte und Objekte, die mit kundenverwalteten Verschlüsselungsschlüsseln (CMEK) verschlüsselt sind, nicht vorhanden.
metadata REPEATED RECORD Vom Nutzer bereitgestellte Metadaten in Schlüssel/Wert-Paaren.
metadata.key NULLABLE STRING Ein einzelner Metadateneintrag.
metadata.value NULLABLE STRING Der Metadatenwert.
metageneration NULLABLE INTEGER Die Version der Metadaten für dieses Objekt bei dieser Generierung.
name NULLABLE STRING Der Name des Objekts.
size NULLABLE INTEGER Größe des Objekts in Byte.
storageClass NULLABLE STRING Speicherklasse des Objekts.
temporaryHold NULLABLE BOOLEAN Gibt an, ob für das Objekt ein temporärer Hold gilt.
timeCreated NULLABLE TIMESTAMP Die Erstellungszeit des Objekts. Dieser Zeitstempel ändert sich nicht. Im RFC 3339-Format angegeben.
timeDeleted NULLABLE TIMESTAMP Der Löschzeitpunkt des Objekts. Im RFC 3339-Format angegeben. Bei nicht aktuellen Objektversionen gibt das Feld timeDeleted an, wann die Objektversion nicht mehr aktuell war.
updated NULLABLE TIMESTAMP Der letzte Änderungszeitpunkt der Objektmetadaten. Im RFC 3339-Format angegeben.
timeStorageClassUpdated NULLABLE TIMESTAMP Der Zeitpunkt, zu dem die Speicherklasse des Objekts zuletzt geändert wurde.
retentionExpirationTime NULLABLE TIMESTAMP Der früheste Zeitpunkt, zu dem das Objekt gelöscht werden kann. Dieser Wert hängt sowohl von der für das Objekt festgelegten Aufbewahrungskonfiguration als auch von der für den Bucket, der das Objekt enthält, festgelegten Aufbewahrungsrichtlinie ab. Im RFC 3339-Format angegeben.
retentionExpirationTimeLockStatus NULLABLE BOOLEAN Sperrstatus von retentionExpirationTime.
retentionExpirationTimeSource NULLABLE STRING Quelle von retentionExpirationTime.
retainUntilTime NULLABLE TIMESTAMP Gibt die Zeit an, die durch die Konfiguration der Aufbewahrungsrichtlinie auf Objektebene festgelegt wurde. Dabei wird nur die Einstellung auf Objektebene berücksichtigt. Das Datum des Inkrafttretens, bis zu dem das Objekt aufbewahrt wird, wird im Feld retentionExpirationTime angegeben. Das retentionExpirationTime ist das spätere der beiden Daten, die durch eine Aufbewahrungsrichtlinie auf Objekt- und Bucket-Ebene angegeben werden.
retainUntilTimeLockStatus NULLABLE BOOLEAN Sperrstatus von retainUntilTime, wie in der Konfiguration der Aufbewahrungsrichtlinie auf Objektebene festgelegt.
softDeleteTime NULLABLE DATETIME Der Zeitpunkt, zu dem das Objekt vorläufig gelöscht wurde. Nur für Objekte in Buckets mit einer Richtlinie für vorläufiges Löschen verfügbar.
hardDeleteTime NULLABLE DATETIME Der Zeitpunkt, zu dem ein vorläufig gelöschtes Objekt endgültig gelöscht wird und nicht mehr wiederhergestellt werden kann. Der Wert ist die Summe des softDeleteTime-Werts und des softDeletePolicy.retentionDurationSeconds-Werts des Buckets. Nur für Objekte in Buckets mit einer Richtlinie für vorläufiges Löschen verfügbar.
project NULLABLE INTEGER Die Projektnummer des Projekts, zu dem der Bucket gehört.
ref NULLABLE RECORD Ein BigQuery-ObjectRef-Wert, der auf das Cloud Storage-Objekt verweist. Informationen zur Verwendung dieser Spalte in Abfragen finden Sie unter Objektdaten und Metadaten mit BigQuery analysieren. Für Objekte, die auf / enden, gibt dieses Feld Nullwerte zurück. Informationen zur Fehlerbehebung finden Sie unter Nullwerte in der Spalte ref beim Abfragen von Datasets.
ref.uri NULLABLE STRING Eine BigQuery-Referenz-URL für das zugehörige Cloud Storage-Objekt, die dem URI des Objekts entspricht. Beispiel: gs://bucket_name/object_name.
ref.version NULLABLE STRING Die BigQuery-Versions-ID für das zugehörige Cloud Storage-Objekt, die dem Feld generation des Objekts entspricht.
ref.authorizer NULLABLE STRING Die Cloud-Ressourcenverbindung, mit der Sie von BigQuery aus auf das Cloud Storage-Objekt zugreifen können. Der Wert im Objektmetadatenschema ist immer null.
ref.details NULLABLE JSON

Die Metadatenfelder, die in der BigQuery-Darstellung des Cloud Storage-Objekts verfügbar sind, mit dem folgenden Schema:

gcs_metadata json {
          "content_type": string,
          "md5_hash": string,
          "size": number,
          "updated": number
        }
encryptionType NULLABLE STRING Der Verschlüsselungstyp des Objekts. Folgende Werte sind möglich:
  • GMEK (Google-owned and Google-managed encryption keys)
  • CMEK (kundenverwaltete Verschlüsselungsschlüssel)
  • CSEK (vom Kunden bereitgestellte Verschlüsselungsschlüssel)
securityInsights NULLABLE RECORD Gibt den Status des öffentlichen Zugriffs auf das Objekt an, d. h., ob es öffentlich lesbar oder beschreibbar ist. Weitere Informationen finden Sie unter Öffentlich zugängliche Objekte identifizieren.
securityInsights.publicAccessInsight NULLABLE RECORD Gibt den Status der öffentlichen Zugänglichkeit des Objekts an.
securityInsights.publicAccessInsight.readPublicAccess NULLABLE STRING Der Status der öffentlichen Lesbarkeit des Objekts. Folgende Werte sind möglich:
  • PUBLIC: Gibt an, dass das Objekt Berechtigungen hat, die öffentlichen Zugriff gewähren, und dass keine anderen Richtlinien diesen Zugriff einschränken.
  • NOT_PUBLIC: Gibt an, dass das Objekt entweder durch Berechtigungen oder eine Richtlinie zur Verhinderung des öffentlichen Zugriffs geschützt ist.
  • UNSUPPORTED: Gibt an, dass sich das Objekt in einem verwalteten Ordner befindet.
  • ERROR: Gibt an, dass beim Berechnen des öffentlichen Status des Objekts ein vorübergehender interner Fehler aufgetreten ist. Der Status „Fehlgeschlagen“ wird für vorhandene Snapshots nicht rückwirkend eingetragen. Storage Insights stellt den Status in den nachfolgenden Snapshots wieder her.
securityInsights.publicAccessInsight.readPublicAccessSource NULLABLE STRING Wenn readPublicAccess den Wert PUBLIC hat, wird die Quelle der öffentlichen Leseberechtigung zurückgegeben. Andernfalls ist dieses Feld null. Folgende Werte sind möglich:
  • Object: Gibt Berechtigungen auf Objektebene an.
  • Bucket: Gibt Berechtigungen auf Bucket-Ebene an.
  • ERROR: Gibt an, dass beim Bestimmen der Quelle des öffentlichen Zugriffs ein vorübergehender interner Fehler aufgetreten ist.
securityInsights.publicAccessInsight.writePublicAccess NULLABLE STRING Der Status der öffentlichen Schreibbarkeit des Objekts. Folgende Werte sind möglich:
  • PUBLIC: Gibt an, dass das Objekt Berechtigungen hat, die öffentlichen Zugriff gewähren, und dass keine anderen Richtlinien diesen Zugriff einschränken.
  • NOT_PUBLIC: Gibt an, dass das Objekt entweder durch Berechtigungen oder eine Richtlinie zur Verhinderung des öffentlichen Zugriffs geschützt ist.
  • UNSUPPORTED: Gibt an, dass sich das Objekt in einem verwalteten Ordner befindet.
  • ERROR: Gibt an, dass beim Berechnen des öffentlichen Status des Objekts ein vorübergehender interner Fehler aufgetreten ist. Der Status „Fehlgeschlagen“ wird für vorhandene Snapshots nicht rückwirkend eingetragen. Storage Insights stellt den Status in den nachfolgenden Snapshots wieder her.

Neuester Snapshot der Bucket- und Objektmetadaten

Das verknüpfte Dataset stellt den neuesten Snapshot der Bucket- und Objektmetadaten über die folgenden dedizierten Ansichten bereit:

  • Die Tabelle bucket_attributes_latest_snapshot_view enthält die neuesten Metadaten für Ihre Cloud Storage-Buckets. Die Struktur entspricht dem Bucket-Metadatenschema.

  • Die Tabelle object_attributes_latest_snapshot_view enthält die neuesten Metadaten für Ihre Cloud Storage-Objekte. Die Struktur entspricht dem Objektmetadatenschema.

Projektmetadaten

Das verknüpfte Dataset stellt Projektmetadaten als Ansicht mit dem Namen project_attributes_view bereit:

Metadatenfeld Modus Typ Beschreibung
snapshotTime NULLABLE TIMESTAMP Im Feld snapshotTime wird der Zeitpunkt der Aktualisierung des Projektmetadaten-Snapshots im RFC 3339-Format gespeichert. Alle Datensätze, die aus derselben Snapshot-Aktualisierung generiert werden, haben dieselbe snapshotTime.
name NULLABLE STRING Name des Projekts.
id NULLABLE STRING Die eindeutige Kennung für das Projekt.
number NULLABLE INTEGER Ein numerischer Wert, der dem Projekt zugeordnet ist.

Katalog der Objektkontexte

Das verknüpfte Dataset stellt die neuesten Metadaten für Objektkontexte, einschließlich erweiterter Daten (Vorabversion), als Ansicht mit dem Namen object_contexts_catalog_view bereit.

Die Ansicht object_contexts_catalog_view bietet die neuesten Kontextinformationen für Ihre Cloud Storage-Objekte. Die Katalogansicht wird alle 24 Stunden aktualisiert. Der erste Ladevorgang dauert 24 bis 48 Stunden. Objekte in neuen oder verschobenen Buckets werden innerhalb von 24 bis 48 Stunden angezeigt.

Die Tabelle object_contexts_catalog_view enthält die folgenden Felder:

Metadatenfeld Modus Typ Beschreibung
project NULLABLE INTEGER Die Projektnummer des Projekts, zu dem der Bucket gehört.
bucket NULLABLE STRING Der Name des Buckets, der dieses Objekt enthält.
name NULLABLE STRING Der Name des Objekts.
generation NULLABLE INTEGER Die Inhaltsgenerierung dieses Objekts.
location NULLABLE STRING Der Standort des Objekts.
createdTime NULLABLE STRING Die Erstellungszeit des Objekts.
catalogUpdatedTime NULLABLE TIMESTAMP Der Zeitpunkt, zu dem der Eintrag im Katalog aktualisiert wurde.
contexts REPEATED RECORD Array von Kontexteinträgen, die an das Objekt angehängt sind.
contexts.key NULLABLE STRING Der Schlüssel für den Kontexteintrag (z. B. google:annotation:label-detector-v1).
contexts.value NULLABLE STRING Der Stringwert, der dem Kontextschlüssel zugeordnet ist.
contexts.contextCreationTime NULLABLE TIMESTAMP Erstellungszeit dieses bestimmten Kontexteintrags.
contexts.contextUpdateTime NULLABLE TIMESTAMP Zeitpunkt der letzten Aktualisierung dieses bestimmten Kontexteintrags.
contexts.extendedData (Vorabversion) NULLABLE JSON JSON-Objekt mit strukturierten erweiterten Datennutzlasten für Kontexte (z. B. Begrenzungsrahmen und Labels für ML-Modelle). Dieses Feld ist NULL, wenn der Kontext keine erweiterten Daten enthält.

Dataset-Schema für Aktivitätsdatentabellen

Storage Insights-Datasets liefern Aktivitätsdaten, einschließlich operativer Messwerte, Fehlerlogs und aggregierter Ansichten mit anpassbaren Bereichen, um verschiedene Analyseanforderungen zu unterstützen. In den folgenden Abschnitten werden die Aktivitätsdatenschemas und die darin verfügbaren Daten beschrieben.

Daten zur Objektaktivität

Die Tabelle object_events_view in Ihrem Storage Insights-Dataset enthält abfragbare Datensätze zu Vorgängen zum Erstellen, Aktualisieren und Löschen von Objekten, Metadaten und Details zu den Fehlern, die während dieser Vorgänge aufgetreten sind. Sie können die Daten verwenden, um Änderungen an Ihren Speicher-Assets zu verfolgen und Fehler zu beheben, indem Sie die Ansicht object_events_view abfragen. Die Daten in der Ansicht object_events_view sind auf Ihr Storage Intelligence-Abo beschränkt und enthalten alle aktiv aktivierten Objekte darin.

Die Tabelle object_events_view enthält die folgenden Felder:

Feld Modus Typ Beschreibung
requestCompletionTimestamp NULLABLE TIMESTAMP Der Zeitstempel, zu dem die Anfrage abgeschlossen wurde, im RFC 3339-Format.
project NULLABLE INTEGER Die Projektnummer, zu der die Bucket-Ressource gehört.
bucketName NULLABLE STRING Der Name des in der Anfrage angegebenen Buckets.
objectName NULLABLE STRING Der Name des in der Anfrage angegebenen Objekts. Dieses Feld kann null sein.
requestOperation NULLABLE STRING Der ausgeführte Cloud Storage-Vorgang. Dieses Feld ist auf Schreib-, Aktualisierungs- und Löschvorgänge beschränkt und kann null sein.
requestBytes NULLABLE INTEGER Die Anzahl der in der Anfrage gesendeten Byte.
responseBytes NULLABLE INTEGER Die Anzahl der in der Antwort gesendeten Byte.
requestProcessingTimeMicros NULLABLE INTEGER Die Zeit in Mikrosekunden, die der Server zur Verarbeitung der Anfrage benötigt hat. Diese Zeit wird ab dem Empfang des ersten Bytes bis zum Senden der Antwort gemessen. Bei fortsetzbaren Uploads bestimmt die Antwort auf die letzte Uploadanfrage den Endpunkt.
requestId NULLABLE STRING Die Kennung für die Anfrage.
requestHost NULLABLE STRING Der in der ursprünglichen Anfrage angegebene Host.
requestHttpMethod NULLABLE STRING Die für diese Anfrage verwendete HTTP-Methode.
responseStatus NULLABLE INTEGER Der HTTP-Statuscode, der in der Antwort des Servers gesendet wird.
requestReferrer NULLABLE STRING Die HTTP-Verweis-URL für die Anfrage.
size NULLABLE INTEGER Größe des Objekts in Byte.
generation NULLABLE INTEGER Die Inhaltsgenerierung des Objekts, die für die Objektversionsverwaltung verwendet wird.
timeCreated NULLABLE TIMESTAMP Die Erstellungszeit des Objekts im RFC 3339-Format.
storageClass NULLABLE STRING Die Speicherklasse des Objekts.
errorReason NULLABLE STRING Die Ursache des Fehlers (beschränkt auf 429-Fehler).
location NULLABLE STRING Der Standort des Objekts.

Ansicht der Projektaktivität

Die Tabelle project_activity_view bietet aggregierte Betriebsstatistiken für Ihre Projekte. In der Tabelle werden die Gesamtaktivitäten zusammengefasst. Dazu werden Vorgangstypen, übertragene Byte sowie Antwortcodes und Fehler gezählt. Sie können die Statistiken zur Projektaktivität für das Monitoring, das Tracking und die interne Kostenzuordnung verwenden. Die Daten in der Ansicht werden durch den Umfang Ihres Storage Intelligence-Abos bestimmt. In der Ansicht werden nur aggregierte Daten für die Buckets und Objekte angezeigt, die im Rahmen Ihres Abos aktiv sind. Wenn Sie Storage Intelligence beispielsweise nur für zehn bestimmte Buckets aktivieren, werden in der Ansicht nur Daten für diese zehn Buckets angezeigt. Wenn Sie Storage Intelligence auf einer höheren Ebene (Organisation, Ordner oder Projekt) aktivieren, werden alle Buckets und Objekte in diesem Bereich automatisch einbezogen und in der Ansicht werden die aggregierten Daten für sie angezeigt.

Die Tabelle project_activity_view enthält die folgenden Felder:

Feld Modus Typ Beschreibung
snapshotStartTime NULLABLE TIMESTAMP Der Beginn des Snapshots im RFC 3339-Format.
snapshotEndTime NULLABLE TIMESTAMP Die Endzeit des Snapshots im RFC 3339-Format.
project NULLABLE INTEGER Die Projektnummer.
totalRequests NULLABLE INTEGER Die Gesamtzahl der im Projekt gestellten Anfragen.
totalReads NULLABLE INTEGER Die Gesamtzahl der Lesevorgänge.
totalWrites NULLABLE INTEGER Die Gesamtzahl der Schreibvorgänge.
totalUpdates NULLABLE INTEGER Die Gesamtzahl der Aktualisierungsvorgänge.
totalDeletes NULLABLE INTEGER Die Gesamtzahl der Löschvorgänge.
totalLists NULLABLE INTEGER Die Gesamtzahl der Listenvorgänge.
totalRequestBytes NULLABLE INTEGER Die Gesamtzahl der übertragenen Anfrage-Bytes.
totalResponseBytes NULLABLE INTEGER Die Gesamtzahl der übertragenen Antwortbyte.
count4xx NULLABLE INTEGER Die Gesamtzahl der 4xx-Fehler.
count5xx NULLABLE INTEGER Die Gesamtzahl der 5xx-Fehler.
count2xx NULLABLE INTEGER Die Gesamtzahl der 2xx-Erfolgsantworten.
count400 NULLABLE INTEGER Die Gesamtzahl der 400er-Fehler für ungültige Anfragen.
count401 NULLABLE INTEGER Die Gesamtzahl der 401-Fehler für nicht autorisierte Anfragen.
count403 NULLABLE INTEGER Die Gesamtzahl der 403-Fehler für unzulässige Anfragen.
count429 NULLABLE INTEGER Die Gesamtzahl der 429-Fehler für Anfragen, die das Nutzungslimit überschritten haben.

Ansicht der Bucket-Aktivität

Die Tabelle bucket_activity_view bietet aggregierte Betriebsstatistiken für Ihre Buckets. In der Tabelle werden die Gesamtaktivitäten zusammengefasst. Dazu werden Vorgangstypen, übertragene Byte, Antwortcodes und Fehler gezählt. Außerdem enthält sie Details zu den wichtigsten Präfixen. Sie können die Bucket-Aktivitätsstatistiken für das Monitoring auf Bucket-Ebene, die Fehlerbehebung, die Messung und die Analyse Ihrer aktivsten und am wenigsten aktiven Buckets verwenden. Die Daten in der Tabelle bucket_activity_view sind auf Ihr Storage Intelligence-Abo beschränkt und enthalten Einträge für alle aktivierten Buckets.

Die Tabelle bucket_activity_view enthält die folgenden Felder:

Feld Modus Typ Beschreibung
snapshotStartTime NULLABLE TIMESTAMP Der Beginn des Snapshots im RFC 3339-Format.
snapshotEndTime NULLABLE TIMESTAMP Die Endzeit des Snapshots im RFC 3339-Format.
name NULLABLE STRING Der Name des Buckets.
generation NULLABLE INTEGER Die Generierungsnummer des Buckets.
project NULLABLE INTEGER Die Projektnummer.
location NULLABLE STRING Der Standort des Buckets.
totalRequests NULLABLE INTEGER Die Gesamtzahl der Anfragen, die an den Bucket gesendet wurden.
totalReads NULLABLE INTEGER Die Gesamtzahl der Lesevorgänge.
totalWrites NULLABLE INTEGER Die Gesamtzahl der Schreibvorgänge.
totalUpdates NULLABLE INTEGER Die Gesamtzahl der Aktualisierungsvorgänge.
totalDeletes NULLABLE INTEGER Die Gesamtzahl der Löschvorgänge.
totalLists NULLABLE INTEGER Die Gesamtzahl der Listenvorgänge.
totalRequestBytes NULLABLE INTEGER Die Gesamtzahl der übertragenen Anfrage-Bytes.
totalResponseBytes NULLABLE INTEGER Die Gesamtzahl der übertragenen Antwortbyte.
count4xx NULLABLE INTEGER Die Gesamtzahl der 4xx-Fehler.
count5xx NULLABLE INTEGER Die Gesamtzahl der 5xx-Fehler.
count2xx NULLABLE INTEGER Die Gesamtzahl der 2xx-Erfolgsantworten.
count400 NULLABLE INTEGER Die Gesamtzahl der 400er-Fehler für ungültige Anfragen.
count401 NULLABLE INTEGER Die Gesamtzahl der 401-Fehler für nicht autorisierte Anfragen.
count403 NULLABLE INTEGER Die Gesamtzahl der 403-Fehler für unzulässige Anfragen.
count429 NULLABLE INTEGER Die Gesamtzahl der 429-Fehler für Anfragen, die das Nutzungslimit überschritten haben.
topPrefixes429Errors REPEATED RECORD Die fünf Bucket-Präfixe mit den meisten 429-Fehlern, zurückgegeben als RECORD, das das Präfix als STRING und die Fehleranzahl als INTEGER enthält.
topPrefixesRequestBytes REPEATED RECORD Die fünf Bucket-Präfixe mit der höchsten Anzahl angeforderter Byte, zurückgegeben als RECORD, das das Präfix als STRING und die Anzahl als INTEGER enthält.
topPrefixesResponseBytes REPEATED RECORD Die fünf Bucket-Präfixe mit der höchsten Anzahl von Antwortbytes, zurückgegeben als RECORD, das das Präfix als STRING und die Anzahl als INTEGER enthält.
topPrefixesHighestOperations REPEATED RECORD Die fünf Bucket-Präfixe mit der höchsten Anzahl von Vorgängen, zurückgegeben als RECORD, das das Präfix als STRING und die Anzahl als INTEGER enthält.

Ansicht der Bucket-Region-Aktivität

In der Tabelle bucket_region_activity_view werden die insgesamt für einen Bucket gesendeten und empfangenen Byte zusammengefasst, aggregiert nach Zielregion. Anhand der regionalen Daten zur Bucket-Aktivität können Sie die aktivsten Regionen ermitteln. So können Sie den optimalen Bucket-Standort bestimmen, den regionalen ausgehenden Traffic analysieren und bei Bedarf das Verschieben von Buckets in Betracht ziehen, um Leistung, Kosten oder Ausfallsicherheit zu optimieren. Die Daten in der Tabelle bucket_region_activity_view sind auf Ihr Storage Intelligence-Abo beschränkt und enthalten Einträge für alle aktivierten Buckets.

Feld Modus Typ Beschreibung
snapshotStartTime NULLABLE TIMESTAMP Der Beginn des Snapshots im RFC 3339-Format.
snapshotEndTime NULLABLE TIMESTAMP Die Endzeit des Snapshots im RFC 3339-Format.
project NULLABLE INTEGER Die Projektnummer für den Bucket.
name NULLABLE STRING Der Name des Buckets.
generation NULLABLE INTEGER Die Generierungsnummer des Buckets.
requestLocation NULLABLE STRING Der Google Cloud -Standort, von dem die Anfrage stammt.
bucketLocation NULLABLE STRING Der Standort des Buckets.
requestBytes NULLABLE INTEGER Die Gesamtzahl der Byte, die für Anfragen zwischen dem angegebenen Bucket und dem angegebenen Standort übertragen wurden.
responseBytes NULLABLE INTEGER Die Gesamtzahl der Byte, die für Antworten zwischen dem angegebenen Bucket und dem angegebenen Standort übertragen wurden.

Dataset-Schema für Ereignisse und Fehler

Im verknüpften Dataset können Sie sich die Ereignisse und Fehler bei der Snapshot-Verarbeitung auch in den Ansichten events_view und error_attributes_view ansehen. Informationen zur Fehlerbehebung bei Snapshot-Verarbeitungsfehlern finden Sie unter Fehlerbehebung bei Dataset-Fehlern.

Ereignisprotokoll

Sie können Ereignisprotokolle in der Ansicht events_view im verknüpften Dataset aufrufen:

Metadatenfeld Modus Typ Beschreibung
manifest.snapshotTime NULLABLE TIMESTAMP Der Zeitpunkt im RFC 3339-Format, zu dem der Snapshot der Ereignisse aktualisiert wird.
manifest.viewName NULLABLE STRING Der Name der Ansicht, die aktualisiert wird.
manifest.location NULLABLE STRING Der Quellspeicherort der Daten, die aktualisiert werden.
globalManifest.snapshotTime NULLABLE TIMESTAMP Der Zeitpunkt des Abschlusses der Aufnahme im RFC 3339-Format für die Tabellen mit Bucket- und Objektattributen an allen Quellspeicherorten.
eventTime NULLABLE TIMESTAMP Zeit, zu der das Ereignis aufgetreten ist.
eventCode NULLABLE STRING Der Ereigniscode, der dem entsprechenden Eintrag zugeordnet ist. Die eventCode-Werte lauten:
  • eventCode 1 gibt an, dass die Ansicht manifest.viewName mit allen Einträgen für den Quellspeicherort (manifest.location) im Snapshot (manifest.snapshotTime) aktualisiert wird.
  • eventCode 2 gibt an, dass das Dataset mit den Bucket- und Objekteinträgen für alle Quellspeicherorte aktualisiert wird. Die Aktualisierung erfolgt innerhalb des Snapshots (globalManifest.snapshotTime).
  • eventCode 3 bezieht sich auf die Aktivitätsdatenansichten, die mit allen Einträgen für den Quellspeicherort (manifest.location) im Logfenster aktualisiert werden.

Fehlercodes

Sie können Fehlercodes in der Tabelle error_attributes_view im verknüpften Dataset aufrufen:

Metadatenfeld Modus Typ Beschreibung
errorCode NULLABLE INTEGER Der mit diesem Eintrag verknüpfte Fehlercode. Eine Liste der gültigen Werte und Informationen zur Behebung dieser Fehler finden Sie unter Fehlerbehebung bei Dataset-Fehlern.
errorSource NULLABLE STRING Die Quelle des Fehlers. Gültiger Wert: CONFIGURATION_PREPROCESSING.
errorTime NULLABLE TIMESTAMP Der Zeitpunkt, zu dem der Fehler aufgetreten ist.
sourceGcsLocation NULLABLE STRING Der Cloud Storage-Quellspeicherort des Fehlers. Bei Projekten ist dieses Feld null, da Projekte nicht mit einem Standort verknüpft sind.
bucketErrorRecord.bucketName NULLABLE STRING Der Name des Buckets, der am Fehler beteiligt ist. Anhand dieser Informationen können Sie einen Bucket-Fehler beheben.
bucketErrorRecord.serviceAccount NULLABLE STRING Das Dienstkonto, das die Berechtigung zum Aufnehmen von Objekten aus dem Bucket benötigt. Anhand dieser Informationen können Sie einen Bucket-Fehler beheben.
projectErrorRecord.projectNumber NULLABLE INTEGER Die Nummer des Projekts, das vom Fehler betroffen ist. Sie können diese Informationen verwenden, um einen Projektfehler zu beheben.
projectErrorRecord.organizationName NULLABLE STRING Der Name der Organisation, zu der das Projekt für die Verarbeitung gehören muss. Der Wert 0 gibt an, dass sich das Projekt nicht in der Organisation befindet. Sie können diese Informationen verwenden, um einen Projektfehler zu beheben.

Dataset-Fehler beheben

Informationen zur Fehlerbehebung bei Snapshot-Verarbeitungsfehlern, die in der Ansicht error_attributes_view im verknüpften Dataset protokolliert werden, finden Sie in der folgenden Tabelle:

Fehlercode Fehlerfall Fehlermeldung Fehlerbehebung
1 Quellprojekt gehört nicht zur Organisation Das Quellprojekt projectErrorRecord.projectNumber gehört nicht zur Organisation projectErrorRecord.organizationName. Fügen Sie das Quellprojekt projectErrorRecord.projectNumber zur Organisation projectErrorRecord.organizationName hinzu. Eine Anleitung zum Migrieren eines Projekts zwischen Organisationen finden Sie unter Projekte zwischen Organisationen migrieren.
2 Bucket-Autorisierungsfehler Berechtigung zum Aufnehmen von Objekten für Bucket bucketErrorRecord.bucketName verweigert. Gewähren Sie dem Dienstkonto bucketErrorRecord.serviceAccount IAM-Berechtigungen (Identity and Access Management), um die Aufnahme von Objekten für den Bucket bucketErrorRecord.bucketName zuzulassen. Weitere Informationen finden Sie unter Dem Dienst-Agenten erforderliche Berechtigungen gewähren.
3 Zielprojekt gehört nicht zur Organisation Das Zielprojekt „projectErrorRecord.projectNumber“ befindet sich nicht in der Organisation „projectErrorRecord.organizationName“. Fügen Sie das Zielprojekt projectErrorRecord.projectNumber der Organisation projectErrorRecord.organizationName hinzu. Eine Anleitung zum Migrieren eines Projekts zwischen Organisationen finden Sie unter Projekte zwischen Organisationen migrieren.
4 Für das Quellprojekt ist Storage Intelligence nicht konfiguriert. Für das Quellprojekt projectErrorRecord.projectNumber ist Storage Intelligence nicht konfiguriert. Konfigurieren Sie Storage Intelligence für das Quellprojekt projectErrorRecord.projectNumber. Weitere Informationen finden Sie unter Storage Intelligence konfigurieren und verwalten.
5 Für den Bucket ist Storage Intelligence nicht konfiguriert. Für den Bucket bucketErrorRecord.bucketName ist Storage Intelligence nicht konfiguriert. Konfigurieren Sie Storage Intelligence für den Bucket bucketErrorRecord.bucketName. Weitere Informationen finden Sie unter Storage Intelligence konfigurieren und verwalten.
6 Authentifizierungsfehler beim Bucket-Zugriff ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR für Bucket bucketErrorRecord.bucketName. Gewähren Sie dem Dienstkonto bucketErrorRecord.serviceAccount IAM-Berechtigungen (Identity and Access Management), um die Aufnahme von Aktivitäten für den Bucket bucketErrorRecord.bucketName zuzulassen. Weitere Informationen finden Sie unter Dem Dienst-Agenten erforderliche Berechtigungen gewähren.

Nächste Schritte