Cloud Billing-Datenexport nach BigQuery einrichten

In diesem Dokument werden die erforderlichen Schritte zum Einrichten des Cloud Billing-Datenexports nach BigQuery für die folgenden Arten von Abrechnungsexporten beschrieben:

  • Standardnutzungskosten
  • Detaillierte Nutzungskosten
  • Preise
  • Metadaten zu Rabatten für zugesicherte Nutzung

Informationen zum Einrichten des Exports von FOCUS-Nutzungskosten finden Sie unter FOCUS-Cloud Billing-Datenexport nach BigQuery einrichten.

So exportieren Sie Cloud Billing-Daten nach BigQuery:

  • Erstellen Sie ein Projekt, in dem die Cloud Billing-Daten gespeichert werden. Aktivieren Sie dann die Abrechnung für das Projekt, falls nicht bereits geschehen.
  • Konfigurieren Sie Berechtigungen für das Projekt und das Cloud-Rechnungskonto.
  • Aktivieren Sie die BigQuery Data Transfer Service API (zum Exportieren der Preisdaten erforderlich).
  • Erstellen Sie ein BigQuery-Dataset, in dem die Daten gespeichert werden sollen.
  • Aktivieren Sie den Cloud Billing-Export der Kostendaten und Preisdaten, die in das Dataset geschrieben werden sollen.

Dieses Dokument führt Sie durch die Details er einzelnen Schritte.

Google Cloud Console

Die Google Cloud Console (Dokumentation aufrufen, Console öffnen) ist eine Web-UI zur Bereitstellung, Konfiguration, Verwaltung und Überwachung von Systemen, in denenGoogle Cloud -Produkte genutzt werden. Die Google Cloud - und Cloud Billing-Ressourcen werden in der Google Cloud Console eingerichtet und verwaltet.

Erforderliche Berechtigungen für diese Aufgabe

Um den Export von Google Cloud -Abrechnungsdaten zu Nutzungskosten in ein BigQuery-Dataset zu aktivieren und zu konfigurieren, benötigen Sie die folgenden Berechtigungen:

  • Für Cloud Billing benötigen Sie entweder die Rolle Rechnungskonto-Kostenverwalter“ oder Rechnungskontoadministrator“ für das Cloud-Rechnungskonto.
  • Für BigQuery benötigen Sie die Rolle BigQuery-Nutzer für das Projekt Google Cloud , das das BigQuery-Dataset enthält, das zum Speichern der Cloud Billing-Daten verwendet werden soll.

Sie benötigen folgende Berechtigungen, um den Export von Cloud Billing-Preisdaten und Metadaten zu Rabatten für zugesicherte Nutzung zu aktivieren und zu konfigurieren:

  • Für Cloud Billing benötigen Sie die Rolle Rechnungskontoadministrator“ für das Cloud-Rechnungskonto.
  • Für BigQuery benötigen Sie die Rolle „BigQuery-Administrator“ für das Projekt in Google Cloud , das das BigQuery-Dataset enthält, das zum Speichern der Cloud Billing-Preisdaten verwendet werden soll.
  • Für das Google Cloud -Projekt, in dem das Ziel-Dataset enthalten ist, benötigen Sie die Berechtigung resourcemanager.projects.update. Diese Berechtigung ist in der Rolle roles/editor enthalten.

Möglicherweise benötigen Sie auch andere Projektberechtigungen. Wenn Sie Mitglied einerGoogle Cloud -Organisation sind, müssen Sie zum Erstellen eines neuen Projekts für die Organisation oder den Ordner die Rolle „Projektersteller“ haben. Zum Erstellen eines neuen Projekts benötigen Sie folgende Berechtigungen:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Weitere Informationen zu Google Cloud Berechtigungen finden Sie unter:

Datenexport von Cloud Billing nach BigQuery aktivieren

Führen Sie die fünf Schritte in diesem Abschnitt aus, um den Export Ihrer Cloud Billing-Daten nach BigQuery zu aktivieren.

In dieser interaktiven Anleitung für den Export von Rechnungsdaten finden Sie eine kurze Einführung in die Aktivierung des Exports von Rechnungsdaten und die Ausführung von Abfragen von Cloud Billing-Daten in BigQuery.

Wenn Sie ein Reseller sind, können Sie mit der Partner Sales Console einen Reseller-spezifischen Export Ihrer Channel Services-Rechnungsdaten einrichten. Führen Sie dazu die Schritte 1 bis 4 auf dieser Seite aus, um Ihr Projekt und Ihr BigQuery-Dataset zu erstellen. Lesen Sie dann für Schritt 5 den Abschnitt Channel Services-Daten nach BigQuery exportieren, um den Export zu aktivieren.

1. Projekt auswählen oder erstellen

Nach BigQuery exportierte Cloud Billing-Daten sind in einem BigQuery-Dataset enthalten. Ein Dataset ist in einem von Ihnen angegebenenGoogle Cloud -Projekt enthalten.

Wir empfehlen, ein separates Google Cloud -Projekt für alle Anforderungen an die FinOps- und Abrechnungsverwaltung für ein Cloud-Rechnungskonto zu erstellen und zu verwenden, einschließlich der exportierten Cloud Billing-Daten. Weitere Informationen zu den Vorteilen eines FinOps-orientierten Projekts für Ihre Anwendungsfälle im Bereich der Abrechnungsverwaltung

Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Projekt von Google Cloud aus oder erstellen Sie eines.

Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

  • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
  • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Informationen zum Zuweisen von Rollen

Zur Projektauswahl

Weitere Informationen zum Erstellen und Verwalten von Projekten

2. Aktivierung der Abrechnung prüfen

Die Abrechnung muss für das Google Cloud -Projekt, das Sie für das Dataset auswählen, aktiviert sein und das Google Cloud -Projekt mit dem gleichen Cloud-Rechnungskonto verknüpft sein, das die Daten enthält, die Sie in das BigQuery-Dataset exportieren möchten.

3. BigQuery Data Transfer Service API aktivieren

Wenn Sie Ihre Cloud Billing-Preisdaten nach BigQuery exportieren möchten, müssen Sie die BigQuery Data Transfer Service API aktivieren. Wenn Sie Ihre Cloud Billing-Preisdaten nicht exportieren möchten, können Sie mit Schritt 4 fortfahren. BigQuery-Dataset erstellen.

Die BigQuery Data Transfer Service API sollte in demselben Google Cloud -Projekt aktiviert werden, in dem Sie auch Ihre BigQuery-Datasets einfügen. Wenn Sie der Empfehlung im Projektbereich gefolgt sind, ist dies Ihr Google Cloud -Projekt für die FinOps- oder Abrechnungsverwaltung.

So aktivieren Sie die BigQuery Data Transfer Service API:

  1. Melden Sie sich in der Google Cloud Console an und rufen Sie die API-Seite auf.

    Zur Seite "BigQuery Data Transfer Service API"

  2. Wählen Sie oben links auf der Seite ein Projekt aus. Sie müssen die BigQuery Data Transfer Service API in dem Projekt aktivieren, in dem das BigQuery-Dataset enthalten ist. Wenn Sie der Empfehlung im Projektbereich gefolgt sind, ist dies Ihr FinOps- oder Abrechnungsverwaltungsprojekt in Google Cloud .

  3. Klicken Sie auf der Seite BigQuery Data Transfer Service API auf Aktivieren, um die API im ausgewählten Projekt zu aktivieren.

Weitere Informationen zur Aktivierung von APIs finden Sie in der Dokumentation zu Service Usage.

4. Erstellen Sie ein BigQuery-Dataset

Bevor Sie Ihre Cloud Billing-Daten für den Export nach BigQuery aktivieren können, müssen Sie mindestens ein BigQuery-Dataset zur Verwaltung der exportierten Daten erstellen. Sie können dasselbe Dataset verwenden, um Ihre Standardnutzungskosten, detaillierten Nutzungskosten und Preisen anzugeben.

Ein Dataset ist in einem von Ihnen angegebenen Google Cloud -Projekt enthalten. Datasets sind Container auf oberster Ebene, mit denen Sie den Zugriff auf Ihre Tabellen und Ansichten organisieren und steuern können. Die Tabellen und Ansichten müssen Teil eines Datasets sein. Um Daten in BigQuery laden zu können, ist daher mindestens ein Dataset erforderlich.

Wenn Sie ein vorhandenes Dataset verwenden, prüfen Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können. Dazu gehört beispielsweise, dass Sie keine Daten in Datasets exportieren können, die für die Verwendung der Verschlüsselung mit vom Kunden verwalteten Schlüsseln konfiguriert sind, oder dass Sie kein Dataset verwenden können, das mit einem nicht unterstützten regionalen Standort konfiguriert ist.

So erstellen Sie ein BigQuery-Dataset:

  1. Melden Sie sich in der Google Cloud Console an und rufen Sie die Seite BigQuery auf.

    Zur Seite "BigQuery"

  2. Wählen Sie in der Drop-down-Liste Projekt ( Mein Projekt ) oben auf der Google Cloud Console-Seite das Projekt aus, das Sie zum Speichern Ihres Datasets eingerichtet haben. Notieren Sie sich die Projekt-ID, da Sie sie im nächsten Schritt benötigen.

  3. Klicken Sie im Bereich Explorer im Abschnitt Angepinnte Projekte auf Ihre-Projekt-ID, um das Projekt zu maximieren und alle vorhandenen Datasets und gespeicherten Abfragen aufzurufen.

  4. Klicken Sie neben der Projekt-ID auf das Menü Aktionen ansehen () und dann auf Dataset erstellen. Das Feld zum Erstellen eines Datasets wird geöffnet.

    1. Geben Sie unter Dataset-ID die ID für Ihr Dataset ein. Wir empfehlen eine projektübergreifende ID wie all_billing_data anstelle einer projektspezifischen ID.

    2. Wählen Sie unter Speicherort der Daten einen Datenspeicherort aus. Der Datenspeicherort gibt die Multiregion oder Region an, in der Ihre Daten gespeichert werden. Alle Tabellen in diesem Dataset teilen sich diesen Standort.

      Wir empfehlen, einen multiregionalen Standort (EU oder USA) auszuwählen. Bei den Datenexporten für standardmäßige Nutzungskosten und detaillierte Nutzungskosten kann der ausgewählte Standort beeinflussen, ob die Daten des Vormonats rückwirkend dem Dataset hinzugefügt werden. Weitere Informationen zu Dataset-Standorten und Datenverfügbarkeit finden Sie unter Einschränkungen.

      Der Cloud Billing-Export unterstützt alle multiregionalen Standorte (EU oder USA). Für den Cloud Billing-Export nach BigQuery wird jedoch nur ein Teil der Regionen für Datasets unterstützt. Weitere Informationen zu Dataset-Standorten finden Sie unter Einschränkungen.

      Nachdem Sie das Dataset erstellt haben, kann der Standort nicht mehr geändert werden. Weitere Informationen zu Standorten

    3. Die Option Tabellenablauf aktivieren darf nicht aktiviert sein.

      Wenn Sie den Tabellenablauf aktivieren und eine Anzahl von Tagen eingeben, wird jede neue Tabelle, die in diesem Dataset erstellt wird, automatisch gelöscht, wenn die angegebenen Anzahl von Tagen seit der Erstellung vergangen sind.

    4. Wählen Sie im Abschnitt Erweiterte Optionen eine Einstellung für Verschlüsselung aus.

      Die Standardoption ist Google-managed encryption key.

      Wenn Sie einen kundenverwalteten Verschlüsselungsschlüssel verwenden möchten, wählen Sie Kundenverwalteter Verschlüsselungsschlüssel (CMEK) und dann einen Verschlüsselungsschlüssel aus.

      Weitere Informationen zu Einschränkungen bei der Dataset-Verschlüsselung für den Export von Cloud Billing-Daten nach BigQuery.

    5. Klicken Sie zum Speichern auf Dataset erstellen.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Als Reseller können Sie das Projekt und das Dataset wiederverwenden, das Sie gerade erstellt haben, wenn Sie den Reseller-spezifischen Channel Services-Rechnungsdatenexport aktivieren.

5. Aktivieren Sie den Cloud Billing-Export in das BigQuery-Dataset

Der Cloud Billing-Datenexport wird im Abschnitt „Cloud Billing“ der Google Cloud Console aktiviert. Sie können die folgenden Datentypen exportieren:

  • FOCUS-Nutzungskostendaten (Vorabversion): Verwendet ein von Google bereitgestelltes unveränderliches BigQuery-Dataset, das Ihre detaillierten Nutzungskostendaten enthält, die gemäß den FOCUS-Standards (FinOps Open Cost and Usage Specification) normalisiert wurden. Wenn Sie den Export von FOCUS-Nutzungskosten aktivieren möchten, folgen Sie der Anleitung unter FOCUS-Cloud Billing-Datenexport nach BigQuery einrichten.

  • Standardnutzungskosten: Enthalten Standardinformationen zur Kostennutzung eines Cloud-Rechnungskonto wie Konto-ID, Rechnungsdatum, Dienste, SKUs, Projekte, Labels, Standorte, Kosten, Nutzung, Gutschriften, Korrekturen und Währung.

    Mit dem Standardnutzungsexport können Sie allgemeine Trends in Ihren Kostendaten analysieren.

  • Detaillierte Nutzungskosten: Enthalten detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonto. Umfasst alle Messwerte zu Standardnutzungskosten sowie Kostendaten auf Ressourcenebene, z. B. eine virtuelle Maschine oder SSD, die die Dienstnutzung generiert.

    Verwenden Sie den detaillierten Export, um Kosten auf Ressourcenebene zu analysieren und bestimmte Ressourcen zu identifizieren, die möglicherweise Ihre Kosten erhöhen.

    Der detaillierte Export enthält automatisch Informationen zu Compute Engine auf Ressourcenebene. Wenn Sie sich eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

  • Preisdaten: Enthalten Preisinformationen zu Cloud-Rechnungskonten wie Konto-ID, Dienste, SKUs, Produkte, geografische Metadaten, Preiseinheiten, Währungen, Aggregation und Stufen.

  • Metadaten zu Rabatten für zugesicherte Nutzung (CUD) (Vorabversion): Enthalten Metadaten zu Cloud Billing-CUDs, z. B. Rechnungskonto-ID, CUD-Produkt-ID, CUD-Produkttyp, ID und Beschreibung des Nutzungsmodells, ID der Aboinstanz, Umfang der Aboberechtigung, Zusicherungsbetrag und Laufzeit. Eine Liste der Exportfelder finden Sie unter Struktur des Metadatenexports für Rabatte für zugesicherte Nutzung.

Gehen Sie folgendermaßen vor, um Ihre Cloud Billing-Daten nach BigQuery zu exportieren:

  1. Rufen Sie in der Google Cloud Console die Seite Abrechnungsexport auf.

    Zur Seite „Abrechnungsexport”

  2. Wählen Sie an der Eingabeaufforderung das Cloud-Rechnungskonto aus, für das Sie Abrechnungsdaten exportieren möchten. Die Seite Abrechnungsexport wird für das ausgewählte Rechnungskonto geöffnet.

  3. Klicken Sie auf dem Tab BigQuery-Export für jeden Datentyp, den Sie exportieren möchten, auf [Datentyp]-Export aktivieren . Jeder Datenexporttyp wird separat konfiguriert.

  4. Wählen Sie in der Liste Projekt das eingerichtete Projekt aus, das Ihr BigQuery-Dataset enthalten soll.

    Das ausgewählte Projekt wird zum Speichern der exportierten Daten im BigQuery-Dataset verwendet.

    Für den Export von Standardnutzungskosten und detaillierten Nutzungskosten enthalten die Cloud Billing-Daten Nutzungs- und Kostendaten für alle Google Cloud -Projekte, die über dasselbe Cloud-Rechnungskonto bezahlt werden.

    Für den Export von Preisdaten enthalten die Cloud Billing-Daten nur die Preisdaten für das Cloud-Rechnungskonto, das mit dem ausgewählten Dataset-Projekt verknüpft ist.

    Der Export von CUD-Metadaten enthält CUD-Metadaten für alle CUDs, die in einem der mit dem Rechnungskonto verknüpften Projekte erworben wurden.

  5. Wählen Sie im Feld Dataset-ID das Dataset aus, das Sie für die exportierten Cloud Billing-Daten eingerichtet haben.

    Für alle Arten von Cloud Billing-Daten, die nach BigQuery exportiert wurden, gilt Folgendes:

    • Die BigQuery API ist erforderlich, um Daten nach BigQuery zu exportieren. Wenn für das ausgewählte Projekt die BigQuery API nicht aktiviert ist, werden Sie aufgefordert, sie zu aktivieren. Klicken Sie auf BigQuery API aktivieren, um die API zu aktivieren.
    • Wenn das ausgewählte Projekt keine BigQuery-Datasets enthält, werden Sie aufgefordert, eines zu erstellen. Führen Sie bei Bedarf die folgenden Schritte aus, um ein neues Dataset zu erstellen.
    • Wenn Sie ein vorhandenes Dataset verwenden, prüfen Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können. Dazu gehört beispielsweise, dass Sie keine Daten in ein Dataset exportieren können, das mit einem nicht unterstützten regionalen Standort konfiguriert ist.

    Für die Bepreisung des Datenexports muss die BigQuery Data Transfer Service API die Daten in BigQuery exportieren. Wenn für das ausgewählte Projekt die BigQuery Data Transfer Service API nicht aktiviert ist, werden Sie aufgefordert, sie zu aktivieren. Führen Sie bei Bedarf diese Schritte aus, um die API zu aktivieren.

  6. Klicken Sie auf Speichern.

Export von Metadaten zu Rabatten für zugesicherte Nutzung aktivieren

Die Einrichtung des Metadatenexports für Rabatte für zugesicherte Nutzung unterscheidet sich von anderen Exporten, da ein verknüpftes BigQuery-Dataset verwendet wird, das während der Konfiguration automatisch erstellt wird.

So aktivieren Sie den Export von Metadaten zu Rabatten für zugesicherte Nutzung:

  1. Führen Sie Schritt 1: Projekt auswählen oder erstellen und Schritt 2: Prüfen, ob die Abrechnung aktiviert ist aus. Sie müssen kein Dataset im Voraus erstellen.

  2. Rufen Sie in der Google Cloud Console die Seite Abrechnungsexport auf.

    Zur Seite „Abrechnungsexport”

  3. Wählen Sie an der Eingabeaufforderung das Cloud-Rechnungskonto aus, für das Sie Abrechnungsdaten exportieren möchten.

  4. Klicken Sie auf dem Tab BigQuery-Export im Abschnitt Export von Rabatten für zugesicherte Nutzung auf Export von Rabatten für zugesicherte Nutzung aktivieren.

  5. Wählen Sie in der Liste Projekte das Projekt aus, das Sie für die exportierten CUD-Metadaten eingerichtet haben.

    Der Export von Metadaten zu Rabatten für zugesicherte Nutzung enthält Metadaten zu Rabatten für zugesicherte Nutzung für alle Rabatte für zugesicherte Nutzung, die in einem der mit dem Rechnungskonto verknüpften Projekte erworben wurden.

  6. Geben Sie im Feld Name des verknüpften Datasets einen neuen Dataset-Namen ein.

  7. Wählen Sie den Standorttyp und die Region oder Multiregion für das Dataset aus.

    Wir empfehlen, den multiregionalen Standort (EU oder USA) oder den regionalen Standort auszuwählen, der dem Standort Ihrer anderen exportierten Abrechnungsdaten-Datasets entspricht. Wenn Sie Datasets abfragen möchten (z. B. um Metadaten zu Rabatten für zugesicherte Nutzung mit Nutzungskostendaten zu verknüpfen), müssen sich die Datasets am selben Standort befinden. Nachdem Sie das Dataset erstellt haben, können Sie den Standort nicht mehr ändern.

  8. Klicken Sie auf Speichern.

Weitere Informationen zum Export von Metadaten zu Rabatten für zugesicherte Nutzung finden Sie unter Struktur des Exports von Metadaten zu Rabatten für zugesicherte Nutzung.

Zu exportierende Cloud Billing-Daten aktualisieren

Nachdem Sie Ihre Cloud Billing-Daten nach BigQuery exportiert haben, können Sie verschiedene Datenexporteinstellungen ändern, z. B.:

  • Sie können den Speicherort der exportierten Abrechnungsdaten ändern, indem Sie die Exporteinstellungen bearbeiten.
  • Sie können ändern, welche Arten von Abrechnungsdaten exportiert werden, indem Sie die verschiedenen Typen deaktivieren oder aktivieren.

Bevor Sie das Projekt oder Dataset aktualisieren, in dem Ihre Abrechnungsdaten gespeichert sind, oder einen Ihrer Datenexporte deaktivieren, lesen Sie die Einschränkungen und die Richtlinien zur Datenverfügbarkeit, um zu erfahren, wie sich diese Aktualisierungen auf die nach BigQuery exportierten Abrechnungsdaten auswirken können.

Typ des Abrechnungsdatenexports deaktivieren

So deaktivieren Sie einen Typ von Cloud Billing-Daten, der nach BigQuery exportiert wird:

  1. Wählen Sie entsprechend Standardexport deaktivieren, Detaillierten Export deaktivieren, Preisexport deaktivieren oder Export von Rabatten für zugesicherte Nutzung deaktivieren aus.
  2. Klicken Sie auf Bestätigen, um die Auswahl zu speichern.

Typ des Abrechnungsdatenexports aktivieren

Wenn Sie einen deaktivierten Export von Cloud Billing-Daten nach BigQuery wieder aktivieren möchten, lesen Sie den Abschnitt Cloud Billing-Datenexport nach BigQuery aktivieren.

Projekt oder Dataset eines Abrechnungsdatenexports ändern

So aktualisieren Sie das Projekt oder Dataset, in dem Ihre exportierten Abrechnungsdaten gespeichert sind:

  1. Bevor Sie die Exporteinstellungen bearbeiten können, müssen Sie zuerst den Export deaktivieren.
  2. Wählen Sie für den Export, den Sie aktualisieren möchten, [Datentyp]-Export aktivieren aus.
  3. Wählen Sie auf der Seite BigQuery-Exporteinstellungen ein anderes Projekt oder Dataset aus.
  4. Wählen Sie Speichern aus, um die Änderungen zu bestätigen.

Über Dataset-Berechtigungen

Für den Cloud Billing-Export nach BigQuery wird ein Dienstkonto zur Verwaltung von Dataset-Berechtigungen verwendet.

Nachdem Sie den Cloud Billing-Export nach BigQuery aktiviert haben, fügt Google automatisch ein Dienstkonto als Inhaber zu dem von Ihnen angegebenen Dataset hinzu. Die Dienstkonten sehen so aus:

  • Für die Datasets mit FOCUS-, Standard- und detaillierten Nutzungskosten: billing-export-bigquery@system.gserviceaccount.com
  • Für das Dataset mit Preisen: cloud-account-pricing@cloud-account-pricing.iam.gserviceaccount.com

Die Dienstkonten sind Eigentum von Google und werden von Google verwaltet. Sie umfassen Berechtigungen, die für unseren Offlinevorgang zum Erstellen einer Tabelle und zum Schreiben von Cloud Billing-Datensätzen in diese Tabelle erforderlich sind.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery werden Abrechnungsdatentabellen automatisch im BigQuery-Dataset erstellt. Weitere Informationen zu diesen BigQuery-Tabellen und den Tabellenschemas finden Sie unter Informationen zu automatisch erstellten Datentabellen in BigQuery.

Häufigkeit der Datenladevorgänge

  • Wenn Sie den Export von FOCUS-, standardmäßigen oder detaillierten Nutzungskosten nach BigQuery zum ersten Mal aktivieren, kann es einige Stunden dauern, bis die Kostendaten vonGoogle Cloud an Ihr BigQuery-Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud -Preisdaten angezeigt werden.

Weitere Informationen zur Häufigkeit, mit der Daten in Ihre BigQuery-Tabellen geladen werden.

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

Tabellenschema für Cloud Billing-Datenexporte

Das Tabellenschema für alle Cloud Billing-Datenexporte kann sich ändern.

Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, können Abfragen, die direkt auf die exportierten Spalten verweisen, fehlschlagen. Um dieses Problem zu beheben, empfehlen wir, BigQuery-Ansichten zu erstellen, die die exportierten Tabellen abfragen und die Informationen in der von Ihnen bevorzugten Struktur darstellen.

Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards füttern, so anpassen, dass sie aus den Ansichten und nicht aus den exportierten Tabellen abgerufen werden. Mithilfe von Ansichten können Sie die Struktur der Daten standardisieren, die in Ihren Abfragen und Dashboards verwendet werden.

In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. So sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage der Ansicht ändern, wenn sich das Datenschema ändert.

FOCUS-Export und Datenaufbewahrung

Für Abrechnungsdaten, die im von Google bereitgestellten FOCUS-Format nach BigQuery exportiert werden, gilt eine Richtlinie für die Gültigkeitsdauer (TTL) von 2 Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der jeweiligen FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie den Verlauf Ihrer FOCUS-Abrechnungsdaten länger als zwei Jahre aufbewahren müssen, kopieren Sie die FOCUS-Daten in eine Tabelle zur Langzeitspeicherung, die Ihnen gehört.

BigQuery-Dataset-Standorte und Datenverfügbarkeit

Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:

BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

Nord- und Südamerika Asiatisch-pazifischer Raum Europa Naher Osten

Multiregional: USA

Regionen:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regionen:

  • asia-east1 (Taiwan)
  • asia-east2 (Hongkong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multiregional: EU

Regionen:

  • europe-central2 (Warschau)
  • europe-north1 (Finnland)
  • europe-west1 (Belgien)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Niederlande)
  • europe-west6 (Zürich)

Regionen:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Standorte und Datenverfügbarkeit:

  • Für Ihre BigQuery-Datasets, die FOCUS-Nutzungskostendaten, standardmäßige Nutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud -Abrechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder US) konfigurieren, enthält das Dataset Google Cloud -Abrechnungsdaten, die ab dem Beginn des Vormonats angefallen sind, ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud -Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die rückwirkenden Cloud Billing-Daten abgeschlossen sind und die aktuellen Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, standardmäßigen Nutzungskostendaten und detaillierten Nutzungskostendaten nur die Abrechnungsdaten von Google Cloud wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte, die keine Multiregion sind, hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit, bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud -Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud -Preisdaten werden aber nicht rückwirkend hinzugefügt, sodass Sie keine vor dem Export erstellten Cloud Billing-Preisdaten sehen. Weitere Informationen finden Sie unter Datenverfügbarkeit.

Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten

Wenn Sie die Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden zuvor exportierte Abrechnungsdaten nicht in Ihr neues Dataset übertragen. Wenn Sie die Zahlungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

Dataset-Verschlüsselung

BigQuery-Datasets sind für die Verwendung der Verschlüsselung ruhender Daten konfiguriert. Dazu wird beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt, entweder ein Google-owned and Google-managed encryption keyoder ein kundenverwalteter Verschlüsselungsschlüssel (CMEK). Sie können die Verschlüsselungseinstellung nach dem Erstellen eines Datasets bearbeiten.

Wenn Sie den Cloud Billing-Datenexport nach BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung einesGoogle-managed encryption keykonfiguriert ist, können Sie das Dataset und seine Tabellen so aktualisieren, dass ein CMEK verwendet wird. Führen Sie die folgenden Schritte aus, um das Dataset und seine Tabellen zu aktualisieren:

  1. Legen Sie einen Standardschlüssel für das Dataset fest. Wenn Sie einen Standardschlüssel festlegen, werden alle neuen Tabellen, die im Dataset erstellt werden, automatisch mit dem CMEK geschützt.
  2. Verwenden Sie das bq-Befehlszeilentool, um CMEK für jede vorhandene Tabelle im Dataset zu aktivieren. Wenn Sie den Standardschlüssel des Datasets ändern, werden vorhandene Tabellen nicht automatisch neu verschlüsselt.

Informationen zum Aktivieren von CMEK für BigQuery-Tabellen

CMEK-Organisationsrichtlinien

Sie können CMEK-Organisationsrichtlinien verwenden, um die CMEK-Nutzung für Ihre BigQuery-Ressourcen, einschließlich Abrechnungsexporte, zu erzwingen oder um festzulegen, dass sich der CMEK in einem genehmigten Projekt befinden muss. Das Erzwingen von CMEK-Organisationsrichtlinien kann jedoch die folgenden unerwarteten Auswirkungen haben:

  • Exportvorgang schlägt möglicherweise bei vorhandenen Datasets fehl: Wenn Sie eine neue Einschränkung für die Organisationsrichtlinie aktivieren, wird die Einschränkung nicht auf vorhandene Datasets angewendet. Das bedeutet, dass Datasets, die nicht mehr zulässig sind, möglicherweise noch vorhanden sind. Wenn Sie jedoch das nächste Mal versuchen, in dieses Dataset zu exportieren, schlägt der Exportvorgang fehl, wenn aufgrund einer neu erzwungenen Organisationsrichtlinie keine neuen Tabellen erstellt werden können.

    Um diese Situation zu vermeiden, sollten Sie Ihre vorhandenen Konfigurationen für den Abrechnungsexport proaktiv überprüfen, wenn Sie Ihre Organisationsrichtlinien aktualisieren. Aktualisieren Sie die Dataset-Konfiguration nach Bedarf, um die Einschränkungen restrictNonCmekServices und restrictCmekCryptoKeyProjects einzuhalten.

  • Inkonsistente Durchsetzung von Organisationsrichtlinien: Organisationsrichtlinien werden nicht durchgesetzt, wenn Sie ein leeres Dataset erstellen. Das bedeutet, dass Sie die Einschränkung restrictNonCmekServices erzwingen können, um festzulegen, dass BigQuery-Ressourcen einen CMEK für die Verschlüsselung verwenden müssen, und dann ein BigQuery-Dataset erstellen können, das für die Verwendung von Google-owned and Google-managed encryption keyskonfiguriert ist. Der Abrechnungsexport, der dieses Dataset verwendet, schlägt jedoch fehl, da die Organisationsrichtlinie das Erstellen einer nicht CMEK-geschützten Tabelle nicht zulässt, während die Einschränkung restrictNonCmekServices für BigQuery erzwungen wird.

    Um dieses Problem zu beheben, aktualisieren Sie die Verschlüsselung Ihres Datasets, um einen Dataset-Standardschlüssel festzulegen, der Ihren restrictNonCmekServices- und restrictCmekCryptoKeyProjects-Einschränkungen entspricht.

Sicherheit auf Zeilenebene

Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS- oder detaillierte Kostendaten zur Nutzung und GKE

Beim Exportieren von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen zu Compute Engine und anderen Diensten auf Ressourcenebene. Wenn Sie sich jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

Tags auf Ressourcenebene

Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

Tags auf Ressourcenebene sind für mehrere Ressourcen im Export von Standardnutzungskosten und im Export von detaillierten Nutzungskosten verfügbar.

Zurück
Übersicht über den Export von Abrechnungsdaten in BigQuery
Weiter
FOCUS-Export nach BigQuery einrichten