Cloud Billing-Datenexport nach BigQuery einrichten

In diesem Dokument werden die erforderlichen Schritte zum Einrichten des Cloud Billing-Datenexports nach BigQuery für die folgenden Arten von Abrechnungsexporten beschrieben:

  • Standardnutzungskosten
  • Detaillierte Nutzungskosten
  • Preise
  • Metadaten zu Rabatten für zugesicherte Nutzung (CUD)

Informationen zum Einrichten des Exports von FOCUS-Nutzungskosten finden Sie unter Cloud Billing-Datenexport für FOCUS nach BigQuery einrichten.

So exportieren Sie Cloud Billing-Daten nach BigQuery:

  • Erstellen Sie ein Projekt, in dem die Cloud Billing-Daten gespeichert werden. Aktivieren Sie dann die Abrechnung für das Projekt, falls nicht bereits geschehen.
  • Konfigurieren Sie Berechtigungen für das Projekt und das Cloud-Rechnungskonto.
  • Aktivieren Sie die BigQuery Data Transfer Service API (zum Exportieren der Preisdaten erforderlich).
  • Erstellen Sie ein BigQuery-Dataset, in dem die Daten gespeichert werden sollen.
  • Aktivieren Sie den Cloud Billing-Export der Kostendaten und Preisdaten, die in das Dataset geschrieben werden sollen.

Dieses Dokument führt Sie durch die Details er einzelnen Schritte.

Google Cloud Console

Die Google Cloud Console (Dokumentation aufrufen, Console öffnen) ist eine Web-UI zur Bereitstellung, Konfiguration, Verwaltung und Überwachung von Systemen, in denenGoogle Cloud -Produkte genutzt werden. Sie verwenden die Google Cloud Console, um Google Cloud und Cloud Billing-Ressourcen einzurichten und zu verwalten.

Erforderliche Berechtigungen für diese Aufgabe

Um den Export von Google Cloud -Abrechnungsdaten zu Nutzungskosten in ein BigQuery-Dataset zu aktivieren und zu konfigurieren, benötigen Sie die folgenden Berechtigungen:

  • Für Cloud Billing benötigen Sie entweder die Rolle Rechnungskonto-Kostenverwalter“ oder Rechnungskontoadministrator“ für das Cloud-Rechnungskonto.
  • Für BigQuery benötigen Sie die Rolle „BigQuery-Nutzer“ für das Google Cloud -Projekt, das das BigQuery-Dataset enthält, das zum Speichern der Cloud Billing-Daten verwendet werden soll.

Sie benötigen die folgenden Berechtigungen, um den Export von Cloud Billing-Preisdaten und Metadaten für Rabatte für zugesicherte Nutzung zu aktivieren und zu konfigurieren:

  • Für Cloud Billing benötigen Sie die Rolle „Rechnungskontoadministrator“ für das Cloud-Rechnungskonto.
  • Für BigQuery benötigen Sie die Rolle „BigQuery-Administrator“ für das Google Cloud -Projekt, das das BigQuery-Dataset enthält, das zum Speichern der Cloud Billing-Preisdaten verwendet werden soll.
  • Für das Google Cloud -Projekt, das das Ziel-Dataset enthält, benötigen Sie die Berechtigung resourcemanager.projects.update. Diese Berechtigung ist in der Rolle roles/editor enthalten.

Möglicherweise benötigen Sie auch andere Projektberechtigungen. Wenn Sie Mitglied einerGoogle Cloud Organisation sind, müssen Sie zum Erstellen eines neuen Projekts für die Organisation oder den Ordner die Rolle „Projektersteller“ haben. Zum Erstellen eines neuen Projekts benötigen Sie folgende Berechtigungen:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Weitere Informationen zu Google Cloud Berechtigungen finden Sie unter:

Datenexport von Cloud Billing nach BigQuery aktivieren

Führen Sie die fünf Schritte in diesem Abschnitt aus, um den Export Ihrer Cloud Billing-Daten nach BigQuery zu aktivieren.

In dieser interaktiven Anleitung für den Export von Rechnungsdaten finden Sie eine kurze Einführung in die Aktivierung des Exports von Rechnungsdaten und die Ausführung von Abfragen von Cloud Billing-Daten in BigQuery.

Wenn Sie ein Reseller sind, können Sie mit der Partner Sales Console einen Reseller-spezifischen Export Ihrer Channel Services-Rechnungsdaten einrichten. Führen Sie dazu die Schritte 1 bis 4 auf dieser Seite aus, um Ihr Projekt und Ihr BigQuery-Dataset zu erstellen. Lesen Sie dann für Schritt 5 den Abschnitt Channel Services-Daten nach BigQuery exportieren, um den Export zu aktivieren.

1. Projekt auswählen oder erstellen

Nach BigQuery exportierte Cloud Billing-Daten sind in einem BigQuery-Dataset enthalten. Ein Dataset ist in einem von Ihnen angegebenenGoogle Cloud -Projekt enthalten.

Wir empfehlen, ein separates Google Cloud Projekt für alle Anforderungen an die FinOps- und Abrechnungsverwaltung für ein Cloud-Rechnungskonto zu erstellen und zu verwenden, einschließlich der exportierten Cloud Billing-Daten. Weitere Informationen zu den Vorteilen eines FinOps-orientierten Projekts für Ihre Anwendungsfälle zur Abrechnungsverwaltung.

Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Google Cloud -Projekt aus oder erstellen Sie eines.

Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

  • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
  • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Weitere Informationen zum Zuweisen von Rollen

Zur Projektauswahl

Weitere Informationen zum Erstellen und Verwalten von Projekten

2. Aktivierung der Abrechnung prüfen

Die Abrechnung muss für das Google Cloud -Projekt, das Sie für das Dataset auswählen, aktiviert sein und das Google Cloud -Projekt mit dem gleichen Cloud-Rechnungskonto verknüpft sein, das die Daten enthält, die Sie in das BigQuery-Dataset exportieren möchten.

3. BigQuery Data Transfer Service API aktivieren

Wenn Sie Ihre Cloud Billing-Preisdaten in BigQuery exportieren möchten, müssen Sie die BigQuery Data Transfer Service API aktivieren. Wenn Sie keine Cloud Billing-Preisdaten exportieren möchten, fahren Sie mit Schritt 4 fort. BigQuery-Dataset erstellen

Die BigQuery Data Transfer Service API sollte in demselben Google Cloud Projekt aktiviert werden, in dem Sie auch Ihre BigQuery-Datasets einfügen. Wenn Sie der Empfehlung im Projektbereich gefolgt sind, ist dies Ihr FinOps- oder Abrechnungsverwaltungsprojekt Google Cloud .

So aktivieren Sie die BigQuery Data Transfer Service API:

  1. Melden Sie sich in der Google Cloud Console an und rufen Sie die API-Seite auf.

    Zur Seite "BigQuery Data Transfer Service API"

  2. Wählen Sie oben links auf der Seite ein Projekt aus. Sie müssen die BigQuery Data Transfer Service API in dem Projekt aktivieren, in dem das BigQuery-Dataset enthalten ist. Wenn Sie der Empfehlung im Projektbereich gefolgt sind, ist dies Ihr FinOps- oder Abrechnungsverwaltungsprojekt Google Cloud .

  3. Klicken Sie auf der Seite BigQuery Data Transfer Service API auf Aktivieren, um die API in Ihrem ausgewählten Projekt zu aktivieren.

Weitere Informationen zur Aktivierung von APIs finden Sie in der Dokumentation zu Service Usage.

4. Erstellen Sie ein BigQuery-Dataset

Bevor Sie Ihre Cloud Billing-Daten für den Export nach BigQuery aktivieren können, müssen Sie mindestens ein BigQuery-Dataset zur Verwaltung der exportierten Daten erstellen. Sie können dasselbe Dataset verwenden, um Ihre Standardnutzungskosten, detaillierten Nutzungskosten und Preisen anzugeben.

Ein Dataset ist in einem von Ihnen angegebenen Google Cloud -Projekt enthalten. Datasets sind Container auf oberster Ebene, mit denen Sie den Zugriff auf Ihre Tabellen und Ansichten organisieren und steuern können. Die Tabellen und Ansichten müssen Teil eines Datasets sein. Um Daten in BigQuery laden zu können, ist daher mindestens ein Dataset erforderlich.

Wenn Sie ein vorhandenes Dataset verwenden, prüfen Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten nach BigQuery auswirken können. Dazu gehört beispielsweise, dass Sie keine Daten in Datasets exportieren können, die für die Verwendung eines vom Kunden verwalteten Schlüssels konfiguriert sind, oder kein Dataset verwenden können, das mit einem nicht unterstützten Regionsstandort konfiguriert ist.

So erstellen Sie ein BigQuery-Dataset:

  1. Melden Sie sich in der Google Cloud Console an und rufen Sie die Seite BigQuery auf.

    Zur Seite "BigQuery"

  2. Wählen Sie in der Drop-down-Liste Projekt ( Mein Projekt ) oben auf der Google Cloud Console-Seite das Projekt aus, das Sie zum Speichern Ihres Datasets eingerichtet haben. Notieren Sie sich die Projekt-ID, da Sie sie in den nächsten Schritten benötigen.

  3. Klicken Sie im Bereich Explorer im Abschnitt Angepinnte Projekte auf Ihre-Projekt-ID, um das Projekt zu maximieren und alle vorhandenen Datasets und gespeicherten Abfragen aufzurufen.

  4. Klicken Sie neben der Projekt-ID auf das Menü Aktionen ansehen () und dann auf Dataset erstellen. Das Feld zum Erstellen eines Datasets wird geöffnet.

    1. Geben Sie unter Dataset-ID die ID für Ihr Dataset ein. Wir empfehlen eine ID, die Projekte umfasst, z. B. all_billing_data, anstelle einer projektspezifischen ID.

    2. Wählen Sie unter Speicherort der Daten einen Datenspeicherort aus. Der Datenspeicherort gibt die Multiregion oder Region an, in der Ihre Daten gespeichert werden. Alle Tabellen in diesem Dataset teilen sich diesen Standort.

      Wir empfehlen, einen multiregionalen Standort (EU oder USA) auszuwählen. Bei den Datenexporten für standardmäßige Nutzungskosten und detaillierte Nutzungskosten kann der ausgewählte Standort beeinflussen, ob die Daten des Vormonats rückwirkend dem Dataset hinzugefügt werden. Weitere Informationen zu Dataset-Standorten und Datenverfügbarkeit finden Sie unter Einschränkungen.

      Der Cloud Billing-Export unterstützt alle multiregionalen Standorte (EU oder USA). Für den Cloud Billing-Export nach BigQuery wird jedoch nur ein Teil der Regionen für Datasets unterstützt. Weitere Informationen zu Dataset-Standorten finden Sie unter Einschränkungen.

      Nachdem Sie das Dataset erstellt haben, kann der Standort nicht mehr geändert werden. Weitere Informationen zu Standorten

    3. Die Option Tabellenablauf aktivieren darf nicht aktiviert sein.

      Wenn Sie den Tabellenablauf aktivieren und eine Anzahl von Tagen eingeben, wird jede neue Tabelle, die in diesem Dataset erstellt wird, automatisch gelöscht, wenn die angegebenen Anzahl von Tagen seit der Erstellung vergangen sind.

    4. Wählen Sie im Abschnitt Erweiterte Optionen eine Einstellung für Verschlüsselung aus.

      Die Standardoption ist Google-managed encryption key.

      Wenn Sie einen kundenverwalteten Verschlüsselungsschlüssel verwenden möchten, wählen Sie Kundenverwalteter Verschlüsselungsschlüssel (CMEK) aus und wählen Sie einen Verschlüsselungsschlüssel aus.

      Weitere Informationen zu Einschränkungen bei der Dataset-Verschlüsselung für den Cloud Billing-Datenexport nach BigQuery

    5. Klicken Sie zum Speichern auf Dataset erstellen.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Als Reseller können Sie das Projekt und das Dataset wiederverwenden, das Sie gerade erstellt haben, wenn Sie den Reseller-spezifischen Channel Services-Rechnungsdatenexport aktivieren.

5. Aktivieren Sie den Cloud Billing-Export in das BigQuery-Dataset

Der Cloud Billing-Datenexport wird im Abschnitt „Cloud Billing“ der Google Cloud Console aktiviert. Sie können die folgenden Datentypen exportieren:

  • FOCUS-Nutzungskostendaten (Vorabversion): Hier wird ein unveränderliches BigQuery-Dataset von Google verwendet, das Ihre detaillierten Nutzungskostendaten enthält, die gemäß den Standards der FinOps Open Cost and Usage Specification (FOCUS) normalisiert wurden. Folgen Sie der Anleitung unter FOCUS Cloud Billing-Datenexport nach BigQuery einrichten, um den FOCUS-Nutzungskostenexport zu aktivieren.

  • Standardnutzungskosten: Enthalten Standardinformationen zur Kostennutzung eines Cloud-Rechnungskonto wie Konto-ID, Rechnungsdatum, Dienste, SKUs, Projekte, Labels, Standorte, Kosten, Nutzung, Gutschriften, Korrekturen und Währung.

    Mit dem Standardnutzungsexport können Sie allgemeine Trends in Ihren Kostendaten analysieren.

  • Detaillierte Nutzungskosten: Enthalten detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonto. Umfasst alle Messwerte zu Standardnutzungskosten sowie Kostendaten auf Ressourcenebene, z. B. eine virtuelle Maschine oder SSD, die die Dienstnutzung generiert.

    Verwenden Sie den detaillierten Export, um Kosten auf Ressourcenebene zu analysieren und bestimmte Ressourcen zu identifizieren, die möglicherweise Ihre Kosten erhöhen.

    Der detaillierte Export enthält automatisch Informationen zu Compute Engine auf Ressourcenebene. Wenn Sie sich eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

  • Preisdaten: Enthalten Preisinformationen zu Cloud-Rechnungskonten wie Konto-ID, Dienste, SKUs, Produkte, geografische Metadaten, Preiseinheiten, Währungen, Aggregation und Stufen.

  • Metadaten zu Rabatten für zugesicherte Nutzung (CUD) (Vorabversion): Enthalten CUD-Metadateninformationen für Cloud Billing, z. B. Rechnungskonto-ID, CUD-Produkt-ID, CUD-Produkttyp, ID und Beschreibung des Nutzungsmodells, Aboinstanz-ID, Umfang der Abo-Berechtigung, Zusicherungsbetrag und Laufzeit. Eine Liste der Exportfelder finden Sie unter Struktur des CUD-Metadatenexports.

So aktivieren Sie den Export Ihrer Cloud Billing-Daten nach BigQuery:

  1. Rufen Sie in der Google Cloud Console die Seite Abrechnungsexport auf.

    Zur Seite „Abrechnungsexport”

  2. Wählen Sie an der Eingabeaufforderung das Cloud-Rechnungskonto aus, für das Sie Abrechnungsdaten exportieren möchten. Die Seite Rechnungsexport wird für das ausgewählte Rechnungskonto geöffnet.

  3. Klicken Sie auf dem Tab BigQuery-Export für jeden Datentyp, den Sie exportieren möchten, auf [Datentyp]-Export aktivieren . Jeder Datentyp für den Export wird separat konfiguriert.

  4. Wählen Sie in der Liste Projekt das eingerichtete Projekt aus, das Ihr BigQuery-Dataset enthalten soll.

    Das ausgewählte Projekt wird zum Speichern der exportierten Daten im BigQuery-Dataset verwendet.

    Für den Export von Standardnutzungskosten und detaillierten Nutzungskosten enthalten die Cloud Billing-Daten Nutzungs- und Kostendaten für alle Google Cloud -Projekte, die über dasselbe Cloud-Rechnungskonto bezahlt werden.

    Für den Export von Preisdaten enthalten die Cloud Billing-Daten nur die Preisdaten für das Cloud-Rechnungskonto, das mit dem ausgewählten Dataset-Projekt verknüpft ist.

    Beim Export von Metadaten zu Rabatten für zugesicherte Nutzung sind Metadaten zu allen Rabatten für zugesicherte Nutzung enthalten, die in einem der mit dem Rechnungskonto verknüpften Projekte erworben wurden.

  5. Wählen Sie im Feld Dataset-ID das Dataset aus, das Sie für die exportierten Cloud Billing-Daten eingerichtet haben.

    Für alle Arten von Cloud Billing-Daten, die nach BigQuery exportiert wurden, gilt Folgendes:

    • Die BigQuery API ist erforderlich, um Daten nach BigQuery zu exportieren. Wenn für das ausgewählte Projekt die BigQuery API nicht aktiviert ist, werden Sie aufgefordert, sie zu aktivieren. Klicken Sie auf BigQuery API aktivieren, um die API zu aktivieren.
    • Wenn das ausgewählte Projekt keine BigQuery-Datasets enthält, werden Sie aufgefordert, eines zu erstellen. Führen Sie bei Bedarf die folgenden Schritte aus, um ein neues Dataset zu erstellen.
    • Wenn Sie ein vorhandenes Dataset verwenden, prüfen Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können. Dazu gehört beispielsweise, dass Sie keine Daten in ein Dataset exportieren können, das mit einem nicht unterstützten Regions-Standort konfiguriert ist.

    Für die Bepreisung des Datenexports muss die BigQuery Data Transfer Service API die Daten in BigQuery exportieren. Wenn für das ausgewählte Projekt die BigQuery Data Transfer Service API nicht aktiviert ist, werden Sie aufgefordert, sie zu aktivieren. Führen Sie bei Bedarf diese Schritte aus, um die API zu aktivieren.

  6. Klicken Sie auf Speichern.

Zu exportierende Cloud Billing-Daten aktualisieren

Nachdem Sie Ihre Cloud Billing-Daten nach BigQuery exportiert haben, können Sie verschiedene Einstellungen für den Datenexport ändern, z. B.:

  • Sie können den Speicherort Ihrer exportierten Abrechnungsdaten ändern, indem Sie die Exporteinstellungen bearbeiten.
  • Sie können ändern, welche Arten von Abrechnungsdaten exportiert werden, indem Sie die verschiedenen Typen deaktivieren oder aktivieren.

Bevor Sie das Projekt oder Dataset aktualisieren, in dem Ihre Abrechnungsdaten gespeichert sind, oder einen Ihrer Datenexporte deaktivieren, lesen Sie die Einschränkungen und die Richtlinien zur Datenverfügbarkeit, um zu erfahren, wie sich diese Aktualisierungen auf die nach BigQuery exportierten Abrechnungsdaten auswirken können.

Export eines Typs von Abrechnungsdaten deaktivieren

So deaktivieren Sie einen Typ von Cloud Billing-Daten, der nach BigQuery exportiert wird:

  1. Wählen Sie die Option Standardexport deaktivieren, Detaillierten Export deaktivieren, Preisexport deaktivieren oder Export von Rabatten für zugesicherte Nutzung deaktivieren aus.
  2. Klicken Sie auf Bestätigen, um die Auswahl zu speichern.

Export einer Art von Abrechnungsdaten aktivieren

Informationen zum Reaktivieren eines deaktivierten Exports von Cloud Billing-Daten nach BigQuery finden Sie unter Export von Cloud Billing-Daten nach BigQuery aktivieren.

Projekt oder Dataset eines Abrechnungsdatenexports ändern

So aktualisieren Sie das Projekt oder Dataset, in dem Ihre exportierten Abrechnungsdaten gespeichert werden:

  1. Wählen Sie für den Export, den Sie aktualisieren möchten, [Datentyp]-Export aktivieren aus.
  2. Wählen Sie auf der Seite BigQuery-Exporteinstellungen ein anderes Projekt oder Dataset aus.
  3. Wählen Sie Speichern aus, um Ihre Änderungen zu bestätigen.

Über Dataset-Berechtigungen

Für den Cloud Billing-Export nach BigQuery wird ein Dienstkonto zur Verwaltung von Dataset-Berechtigungen verwendet.

Nachdem Sie den Cloud Billing-Export nach BigQuery aktiviert haben, fügt Google automatisch ein Dienstkonto als Inhaber zu dem von Ihnen angegebenen Dataset hinzu. Die Dienstkonten sehen so aus:

  • Für die Datasets mit FOCUS-, Standard- und detaillierten Nutzungskosten: billing-export-bigquery@system.gserviceaccount.com
  • Für das Dataset mit Preisen: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Die Dienstkonten sind Eigentum von Google und werden von Google verwaltet. Sie umfassen Berechtigungen, die für unseren Offlinevorgang zum Erstellen einer Tabelle und zum Schreiben von Cloud Billing-Datensätzen in diese Tabelle erforderlich sind.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery werden Abrechnungsdatentabellen automatisch im BigQuery-Dataset erstellt. Weitere Informationen zu diesen BigQuery-Tabellen und den Tabellenschemas finden Sie unter Informationen zu automatisch erstellten Datentabellen in BigQuery.

Häufigkeit der Datenladevorgänge

  • Wenn Sie den Export von FOCUS-, Standardnutzungskosten oder detaillierten Nutzungskosten nach BigQuery zum ersten Mal aktivieren, kann es einige Stunden dauern, bisGoogle Cloud -Kostendaten an Ihr BigQuery-Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud Preisdaten angezeigt werden.

Weitere Informationen zur Häufigkeit, mit der Daten in Ihre BigQuery-Tabellen geladen werden.

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

Tabellenschema für die Cloud Billing-Datenexporte

Das Tabellenschema für die Cloud Billing-Datenexporte kann sich ändern.

Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, schlagen alle Abfragen fehl, die direkt auf die exportierten Spalten verweisen. Zur Behebung dieses Problems empfehlen wir, BigQuery-Ansichten zu erstellen, die die exportierten Tabellen abfragen und die Informationen in Ihrer bevorzugten Struktur anzeigen.

Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards speisen, anstelle der exportierten Tabellen anpassen. Mit Ansichten können Sie die Struktur der in Ihren Abfragen und Dashboards verwendeten Daten standardisieren.

In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. Somit sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage in diesen Instanzen ändern, wenn sich das Datenschema ändert.

FOCUS-Export und Datenaufbewahrung

Für Abrechnungsdaten, die in den von Google bereitgestellten FOCUS-BigQuery-Export exportiert werden, gilt eine Richtlinie zur Gültigkeitsdauer (Time To Live, TTL) von zwei Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der bereitgestellten FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie Ihren FOCUS-Abrechnungsdatenverlauf länger als zwei Jahre aufbewahren müssen, kopieren Sie die FOCUS-Daten in eine Tabelle für die langfristige Speicherung, die Ihnen gehört.

BigQuery-Dataset-Standorte und Datenverfügbarkeit

Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:

BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

Nord- und Südamerika Asiatisch-pazifischer Raum Europa Naher Osten

Multiregional: USA

Regionen:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regionen:

  • asia-east1 (Taiwan)
  • asia-east2 (Hongkong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multiregional: EU

Regionen:

  • europe-central2 (Warschau)
  • europe-north1 (Finnland)
  • europe-west1 (Belgien)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Niederlande)
  • europe-west6 (Zürich)

Regionen:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Standorte und Datenverfügbarkeit:

  • Für Ihre BigQuery-Datasets, die FOCUS-Nutzungskostendaten, Standardnutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud -Abrechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder USA) konfigurieren, enthält das Dataset Google Cloud Abrechnungsdaten, die ab dem Beginn des Vormonats angefallen sind, ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud -Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die aktuellen Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, standardmäßigen Nutzungskostendaten und detaillierten Nutzungskostendaten nur Google Cloud Abrechnungsdaten wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben,und danach angefallen sind. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud -Preisdaten werden nicht rückwirkend hinzugefügt. Sie sehen also keine Cloud Billing-Preisdaten aus der Zeit, bevor Sie den Export aktiviert haben. Weitere Informationen finden Sie unter Datenverfügbarkeit.

Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten

Wenn Sie den Export von Abrechnungsdaten deaktivieren, wieder aktivieren oder die Exporteinstellungen bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert werden, werden zuvor exportierte Abrechnungsdaten nicht in Ihr neues Dataset übertragen. Wenn Sie die Abrechnungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

Dataset-Verschlüsselung

BigQuery-Datasets werden für die Verschlüsselung ruhender Daten konfiguriert, indem beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt wird – entweder Google-owned and Google-managed encryption keyoder ein kundenverwalteter Verschlüsselungsschlüssel (Customer-Managed Encryption Key, CMEK). Die Dataset-Verschlüsselungsoption kann nur beim Erstellen festgelegt werden. Nachdem ein Dataset erstellt wurde, kann die Verschlüsselungseinstellung nicht mehr geändert werden.

Wenn Sie den Cloud Billing-Datenexport nach BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung vonGoogle-managed encryption keykonfiguriert ist, können Sie das bq-Befehlszeilentool verwenden, um CMEK für jede Tabelle im Dataset zu aktivieren. BigQuery verwendet automatisch den Standard-Dataset-Schlüssel, um die Exporttabellen zu schützen, sofern Sie nichts anderes konfigurieren.

Informationen zum Aktivieren von CMEK für BigQuery-Tabellen

Sicherheit auf Zeilenebene

Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS- oder detaillierte Nutzungskostendaten und GKE

Beim Exportieren von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen zu Compute Engine und anderen Diensten auf Ressourcenebene. Wenn Sie sich jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

Tags auf Ressourcenebene

Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

Tags auf Ressourcenebene sind für mehrere Ressourcen im Standardexport für Nutzungskosten und im detaillierten Export für Nutzungskosten verfügbar.

Zurück
Übersicht über den Export von Abrechnungsdaten in BigQuery
Weiter
FOCUS-Export nach BigQuery einrichten