Cloud Billing-Datentabellen in BigQuery

Dieses Dokument enthält Referenzinformationen zum Schema der Cloud Billing-Daten, die in jede Tabelle in BigQuery exportiert werden.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery, werden Abrechnungsdatentabellen automatisch im BigQuery Dataset erstellt.

Häufigkeit der Datenladevorgänge

Export von FOCUS-, Standard- und detaillierten Nutzungskosten

  • Wenn Sie den ersten Export von FOCUS-, Standard- oder detaillierten Nutzungskosten nach BigQuery aktivieren, kann es einige Stunden dauern, bis Google Cloud Kostendaten an Ihr BigQuery Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Google Cloud Dienste melden Nutzungs- und Kostendaten in unterschiedlichen Intervallen an Cloud Billing-Vorgänge.
  • Cloud Billing exportiert Nutzungs- und Kostendaten in regelmäßigen Abständen an Ihr BigQuery-Dataset. Es gibt keine Zustellungs- oder Latenzgarantien für den Export in BigQuery.
  • Da die Häufigkeit der Nutzungsberichte je nach Google Cloud Dienst variiert, werden möglicherweise nicht sofort die Nutzungs- und Kostendaten für Cloud Billing für alle kürzlich verwendeten Google Cloud Dienste angezeigt.

Export von Metadaten zu Preisen und Rabatten für zugesicherte Nutzung

  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud Preis daten angezeigt werden.
  • Nachdem Sie den Preisexport aktiviert haben, werden die für Ihr Cloud-Rechnungskonto relevanten Preisdaten einmal pro Tag nach BigQuery exportiert.

Datenverfügbarkeit

  • Für Kunden, die zum ersten Mal den Export von FOCUS-, Standard- oder detaillierten Nutzungskostendaten aktivieren:

    • Wenn Sie Ihr BigQuery-Dataset für die Verwendung eines multiregionalen Standorts (EU oder USA) konfigurieren, werden Cloud Billing-Daten ab dem Beginn des Vormonats rückwirkend exportiert. Wenn Sie beispielsweise am 23. September den Datenexport für FOCUS-Nutzungskosten, Standardnutzungskosten oder detaillierte Nutzungskosten aktivieren, enthält Ihr Export Daten ab dem 1. August.

      Daten werden jeweils in chronologischer Reihenfolge exportiert, sodass zuerst die Daten des ersten Tages des letzten Monats ausgefüllt werden. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Sie Ihr BigQuery-Dataset so konfigurieren, dass ein unterstützter regionaler Standort verwendet wird, sind Ihre Daten für FOCUS-Nutzungskosten, Standardnutzungskosten oder detaillierte Nutzungskosten ab dem Datum verfügbar, an dem Sie den Export von Cloud Billing aktivieren, und danach. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte ohne mehrere Regionen hinzugefügt. Sie sehen also keine Cloud Billing Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Für Kunden, die den Export von Daten für FOCUS-Nutzungskosten, Standardnutzungskosten oder detaillierte Nutzungskosten aktiviert, deaktiviert und anschließend wieder aktiviert haben, sind die Cloud Billing-Daten für den Zeitraum verfügbar, in dem der Export explizit deaktiviert wurde.

  • Wenn Sie den Export von Preisdaten aktivieren, enthält Ihr BigQuery-Dataset nur Cloud Billing-Daten ab dem Datum, an dem Sie den Preisexport erstmals aktiviert haben. Cloud Billing-Preisdaten werden nicht rückwirkend hinzugefügt. Es werden also keine Preisdaten für Datumsangaben angezeigt, die vor der Aktivierung des Exports aufgetreten sind.

  • Die Daten in den BigQuery-Datasets geben den Status Ihrer Ressourcen zum Zeitpunkt der Aufzeichnung der Nutzung wieder. Wenn Sie Änderungen an Ihren Ressourcen vornehmen, z. B. wenn Sie einem Projekt neue Labels hinzufügen oder die Hierarchie eines Projekts ändern (dies würde project.ancestors ändern), werden diese Änderungen nur in zukünftigen Exporten von Nutzungsdaten angezeigt. Zuvor exportierte Datensätze werden nicht geändert.

  • Wenn Sie exportierte Daten löschen, wie z. B. BigQuery-Exportdatensätze, können wir für die gelöschten Datensätze kein Backfill ausführen.

  • Wenn Sie die Einstellungen eines Exports bearbeiten um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden Daten aus dem vorherigen Dataset nicht automatisch in das neue Dataset übertragen. Das neue BigQuery-Dataset enthält nur Cloud Billing-Daten ab dem Datum, an dem Sie die Export einstellungen geändert haben. Wenn Sie den vollständigen Datensatz der exportierten Abrechnungsdaten einbeziehen möchten, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset verknüpfen. Weitere Informationen finden Sie unter Join-Vorgang.

  • BigQuery-Ladevorgänge sind ACID-kompatibel, Wenn Sie also das BigQuery-Dataset für den Cloud Billing-Export abfragen während Daten geladen werden, werden keine nur teilweise geladenen Daten angezeigt.

  • Weitere Einschränkungen die sich auf den Export von Abrechnungsdaten in BigQuery auswirken können, z. B. Datasets mit aktivierten vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

Tabellenschema für die Cloud Billing-Datenexporte

Das Tabellenschema für die Cloud Billing-Datenexporte kann sich ändern.

Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, können Abfragen, die direkt auf die exportierten Spalten verweisen, fehlschlagen. Zur Behebung dieses Problems empfehlen wir, BigQuery-Ansichten zu erstellen, die die exportierten Tabellen abfragen und die Informationen in Ihrer bevorzugten Struktur anzeigen.

Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards speisen, so anpassen, dass sie Daten aus den Ansichten und nicht aus den exportierten Tabellen abrufen. Durch die Verwendung von Ansichten können Sie die Struktur der in Ihren Abfragen und Dashboards verwendeten Daten standardisieren.

In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. Somit sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage in diesen Instanzen ändern, wenn sich das Datenschema ändert.

FOCUS-Export und Datenaufbewahrung

Für Abrechnungsdaten, die in den von Google bereitgestellten FOCUS-BigQuery-Export exportiert werden, gilt eine TTL-Richtlinie (Time To Live) von zwei Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der bereitgestellten FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie Ihren FOCUS-Abrechnungsverlauf länger als zwei Jahre aufbewahren möchten, kopieren Sie die FOCUS-Daten in eine Tabelle für die langfristige Speicherung, die Ihnen gehört.

Standorte von BigQuery-Datasets und Datenverfügbarkeit

Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:

BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden; entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen oder auswählen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

Nord- und Südamerika Asiatisch-pazifischer Raum Europa Naher Osten

Multiregional: USA

Regionen:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regionen:

  • asia-east1 (Taiwan)
  • asia-east2 (Hongkong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multiregional: EU

Regionen:

  • europe-central2 (Warschau)
  • europe-north1 (Finnland)
  • europe-west1 (Belgien)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Niederlande)
  • europe-west6 (Zürich)

Regionen:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Standorte und Datenverfügbarkeit :

  • Für Ihre BigQuery-Datasets die FOCUS-Nutzungskostendaten, Standardnutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud Abrechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder USA) konfigurieren, enthält das Dataset die Google Cloud Abrechnungsdaten, die ab dem Beginn des Vormonats angefallen sind; ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud Abrechnungsdaten werden für den aktuellen und den Vormonatrückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, Standardnutzungskostendaten und detaillierten Nutzungskostendaten nur die Abrechnungsdaten wider, Google Cloud die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen, hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets die Preisdaten enthalten, erfassen nur Google Cloud Abrechnungsdaten die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Das heißt, Google Cloud Preisdaten werden nicht rückwirkend hinzugefügt. Es werden also keine Cloud Billing-Preisdaten für Datumsangaben angezeigt, die vor der Aktivierung des Exports aufgetreten sind. Weitere Informationen finden Sie unter Datenverfügbarkeit.

Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten

Wenn Sie Ihre Exporteinstellungen deaktivieren, wieder aktivieren, oder bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden zuvor exportierte Abrechnungsdaten nicht in das neue Dataset übertragen. Wenn Sie die Abrechnungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset verknüpfen. Weitere Informationen finden Sie unter Join-Vorgang.

Dataset-Verschlüsselung

BigQuery-Datasets sind so konfiguriert, dass sie Verschlüsselung ruhender Daten verwenden. Dazu wird beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt: entweder ein von Google verwalteter Verschlüsselungsschlüssel Google-owned and Google-managed encryption key, oder ein kundenverwalteter Verschlüsselungsschlüssel (CMEK). Die Dataset-Verschlüsselungsoption kann nur zum Zeitpunkt der Erstellung festgelegt werden. Nachdem ein Dataset erstellt wurde, kann die Verschlüsselungseinstellung nicht mehr geändert werden.

Wenn Sie den Cloud Billing-Datenexport nach BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung eines Google-managed encryption keykonfiguriert ist, können Sie mit dem bq Befehlszeilentool CMEK für jede Tabelle im Dataset aktivieren. BigQuery verwendet automatisch den Standardschlüssel des Datasets , um die Exporttabellen zu schützen, sofern Sie nichts anderes konfigurieren.

Informationen zum Aktivieren von CMEK für BigQuery-Tabellen.

Sicherheit auf Zeilenebene

Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren mit dem BigQuery-TRUE Filter. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS- oder detaillierte Kostendaten zur Nutzung und GKE

Beim Export von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen auf Ressourcenebene zu Compute Engine und anderen Diensten. Wenn Sie sich jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Daten export ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

Tags auf Ressourcenebene

Tags auf Ressourcenebene können bis zu einer Stunde dauern, bis sie in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang vorhanden war, wird sie möglicherweise nicht im Export angezeigt.

Tags auf Ressourcenebene sind für mehrere Ressourcen im Export von Standardnutzungskosten und im Export von detaillierten Nutzungskosten verfügbar.

Zurück
FOCUS-Export nach BigQuery einrichten
Weiter
Struktur des FOCUS-Datenexports