Mit dem Cloud Billing-Export nach BigQuery können Sie detaillierte Google Cloud Abrechnungsdaten (z. B. zu Nutzung, Kostenschätzungen und Preisen) automatisch im Tagesverlauf in ein BigQuery-Dataset exportieren. Anschließend haben Sie die Möglichkeit, über BigQuery auf Ihre Cloud Billing-Daten zuzugreifen und eine detaillierte Analyse auszuführen. Mit dieser Exportmethode lassen sich Daten auch in eine JSON-Datei exportieren.
Wichtig ist das Timing. Wenn Sie Zugriff auf einen umfassenderen Satz von Google Cloud Abrechnungsdaten für Ihre Analyseanforderungen benötigen, empfehlen wir, dass Sie den Cloud Billing-Datenexport nach BigQuery gleichzeitig mit dem Erstellen eines Cloud-Rechnungskontos aktivieren.
Beachten Sie die Einschränkungen die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.
Nächste Schritte
Das effektive Verwalten und Ermitteln von Kosten ist ein wichtiger Bestandteil der finanziellen Kontrolle, unabhängig davon, ob Sie ein Milliarden-Dollar-Unternehmen betreiben oder auf die Einhaltung eines kleinen Haushaltsbudgets achten müssen. Um datengestützte Entscheidungen über Ihre Google Cloud Kosten und die Nutzung treffen zu können, müssen Sie als Erstes die Daten erfassen, die Sie für diese Entscheidungen benötigen.
In den Anleitungen in diesem Abschnitt erhalten Sie Informationen zu folgenden Aufgaben:
- Cloud Billing-Datenexport nach BigQuery einrichten
- Informationen zu den Cloud Billing-Datentabellen
- Beispielabfragen für den Export von Cloud Billing-Daten finden
Cloud Billing-Datenexport nach BigQuery einrichten
Damit Sie Cloud Billing-Daten erfassen können, müssen Sie den Cloud Billing-Datenexport nach BigQuery aktivieren für jeden Abrechnungsexporttyp, den Sie benötigen.
Die folgenden Arten von Cloud Billing-Daten können Sie für den Export aktivieren:
| Exporttyp | Beschreibung |
|---|---|
| FOCUS-Nutzungskosten (Vorschau) | Der Export von FOCUS-Nutzungskosten ist ein unveränderliches BigQuery-Dataset, das Ihre detaillierten Nutzungskostendaten enthält, die mit den FOCUS-Standards (FinOps Open Cost and Usage Specification) normalisiert wurden. FOCUS ist eine offene Spezifikation, die klare Anforderungen für Generatoren von Abrechnungsdaten für Technologien definiert, um konsistente Kosten- und Nutzungs datasets zu erstellen. Die Spalten im FOCUS-Export entsprechen im Allgemeinen den Feldern im Export von detaillierten Nutzungskosten. Informationen zum Aktivieren des Abrechnungsexports für FOCUS-Nutzungskosten |
| Standardnutzungskosten | Der Export von Standardnutzungskosten enthält Standardinformationen zur Kostennutzung eines Cloud-Rechnungskontos wie Konto-ID, Rechnungsdatum, Dienste, SKUs, Projekte, Labels, Standorte, Kosten, Nutzung, Gutschriften, Korrekturen und Währung. Mit dem Export von Standardnutzungskosten können Sie allgemeine Trends in Ihren Kostendaten analysieren. Informationen zum Aktivieren des Abrechnungsexports für Standardnutzungskosten |
| Detaillierte Nutzungskosten | Der Export von detaillierten Nutzungskosten enthält detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonten. Das Schema für den detaillierten Export umfasst alles in den Standardnutzungskosten sowie Kostendaten auf Ressourcenebene, z. B. eine virtuelle Maschine oder SSD, die die Dienstnutzung generiert. Mit dem Export von detaillierten Nutzungskosten können Sie Kosten auf Ressourcenebene analysieren, und bestimmte Ressourcen ermitteln, die möglicherweise die Kosten erhöhen. Der detaillierte Export enthält detaillierte Kosteninformationen zu mehreren Diensten. Wenn Sie Informationen zu GKE aufrufen möchten, müssen Sie auch die Kostenzuordnung in detaillierten Exporten aktivieren. Weitere Empfehlungen und Einschränkungen finden Sie im Schema der detaillierten Nutzungskosten. Informationen zum Aktivieren des Abrechnungsexports für detaillierte Nutzungskosten |
| Preise | Der Export von Preisdaten enthält Preisinformationen zu Cloud-Rechnungskonto wie Abrechnungskonto-ID, Dienste, SKUs, Produkte, geografische Metadaten, Preiseinheiten, Währungen, Aggregation und Stufen. Informationen zum Aktivieren des Preisexports Sie können die Preisdaten für Ihr Cloud-Rechnungskonto auch so abrufen: |
| Export von Rabatten für zugesicherte Nutzung (Vorschau) | Für Kunden, die Rabatte für zugesicherte Nutzung erwerben, bietet der Export von Metadaten zu Rabatten für zugesicherte Nutzung einen täglichen Export von Metadaten zu Rabatten für zugesicherte Nutzung in eine BigQuery-Tabelle, die Sie mit anderen Abrechnungsexporten verknüpfen können, um die Rabatte für zugesicherte Nutzung besser zu verwalten und zu melden. Metadaten zu Rabatten für zugesicherte Nutzung enthalten Informationen wie Abrechnungskonto-ID, Produkt-ID, ID des Nutzungsmodells, Einheiten und Werte für die Zusicherungsmenge und mehr. |
| (Nur Reseller) Datenexport „Neuberechnung“ | Nur für Reseller: Der Datenexport „Neuberechnung“ enthält detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonto in allen Reseller-Rechnungskonten, die mit Partnerattributen versehen sind. Verwenden Sie den Datenexport „Neuberechnung“, um Abrechnungsvorgänge für Ihre Google Cloud Kunden zu verwalten. Weitere Informationen zu _Konfigurationen für die Preisneuberechnung_, mit denen Sie Kosten für Endkunden generieren können |
Für die Nutzung von BigQuery fallen Gebühren an, wenn Sie BigQuery zum Speichern und Analysieren Ihrer Abrechnungsdaten zu Nutzung und Kosten verwenden. Weitere Informationen finden Sie unter BigQuery-Nutzungskosten.
Beachten Sie die Einschränkungen die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.
Informationen zu den Cloud Billing-Datentabellen
Nachdem Sie den Cloud Billing-Export nach BigQuery aktiviert haben, werden die Datentabellen von Cloud Billing automatisch im BigQuery-Dataset erstellt.
Informationen zum Datenschema des exportierten Inhalts finden Sie in den Referenzinformationen zum Inhalt der Cloud Billing-Daten, die in jede Tabelle im BigQuery-Dataset exportiert werden.
- Tabelle mit FOCUS-Nutzungskosten (Vorschau)
- Tabelle mit Standardnutzungskosten
- Tabelle mit detaillierten Nutzungskosten
- Preistabelle
- Export von Metadaten zu Rabatten für zugesicherte Nutzung (Vorschau)
Beispielabfragen für Cloud Billing-Daten finden
Beispielabfragen sind für verschiedene Arten von exportierten Abrechnungsdaten verfügbar.
FOCUS-Nutzungskosten
Informationen zu FOCUS-Abrechnungsdaten finden Sie in den FOCUS-Beispielabfragen, die auf der FinOps Foundation-Website verfügbar sind.
Exporte von Standardnutzungskosten, detaillierten Nutzungskosten und Preisen
Tipps und Anleitungen zur Verwendung von SQL zum Ausführen von Abfragen für Ihre Cloud Billing-Daten für die Exporte von Standardnutzungskosten, detaillierten Nutzungskosten und Preisen finden Sie in den Beispielabfragen.
Auf der Seite mit den Beispielabfragen finden Sie verschiedene SQL-Beispiele, darunter die folgenden:
- Gesamtkosten einer Rechnung zurückgeben
- Daten mit Labels abfragen
- Daten zu Rabatten für zugesicherte Nutzung
- Abfragekosten und Gutschriften nach Projekt für einen bestimmten Rechnungsmonat
- Preisdaten mit detaillierten Nutzungskosten verknüpfen
BigQuery-Nutzungskosten
Für die Nutzung von BigQuery fallen Gebühren an, wenn Sie BigQuery zum Speichern und Analysieren Ihrer Abrechnungsdaten zu Nutzung und Kosten verwenden. Die Hauptkosten in BigQuery sind Speicherkosten für Daten, die in BigQuery gespeichert sind, und Kosten für die Datenverarbeitung, die für die Abfrageverarbeitung verwendet wird.
Ihre BigQuery-Kosten hängen davon ab, wie viele Daten Sie speichern und wie viele Daten Sie abfragen. Im Allgemeinen sind die Speicherkosten niedriger als die Abfragekosten.
Weitere Informationen zu BigQuery-Kosten finden Sie unter Kosten in BigQuery schätzen und kontrollieren.
Speicherkosten
Die Speicherkosten umfassen die Kosten für das Speichern von Daten, die Sie in BigQuery laden, und hängen von Ihrem Abrechnungsmodell für den Speicher ab.
- Das Laden von Daten in das angegebene Dataset ist kostenlos. Bei diesem Vorgang wird der BigQuery-Pool freigegebener Ressourcen genutzt, um Daten in Batches zu laden.
- Viele Vorgänge für partitionierte Tabellen sind kostenlos, einschließlich Laden von Daten in Partitionen, Kopieren von Partitionen und Datenexport aus Partitionen. Obwohl diese Vorgänge kostenlos sind, unterliegen sie dennoch den Kontingenten und Beschränkungen von BigQuery.
- Der FOCUS-Export wird als unveränderlicher Export mit einem verknüpften Dataset bereitgestellt, für das Google bezahlt. Für die FOCUS-Nutzungskostendaten der letzten zwei Jahre fallen keine Speicherkosten an, es sei denn, Sie kopieren und speichern die FOCUS-Daten in einer Tabelle für die Langzeitspeicherung, die Ihnen gehört.
Weitere Informationen zu Best Practices zur Optimierung der Kosten für BigQuery-Speicher finden Sie unter Speicherkosten kontrollieren. Sie können den Speicher auch für die Abfrageleistung optimieren.
Abfragekosten
Wenn Sie Ihre Daten analysieren, werden Ihnen bei jeder ausgeführten Abfrage alle gelesenen Daten in Rechnung gestellt. Das Ausführen von Abfragen kann zu einem Kostenanstieg führen.
- Bevor Sie eine Abfrage ausführen, können Sie eine Vorschau der Abfrage aufrufen, um die geschätzten Kosten zu prüfen.
- Bei Abrechnungsdaten kann das Abfragen des detaillierten Kostenexports mehr kosten als die Abfrage des Standardexports. Zur Optimierung Ihrer Kosten empfehlen wir die Verwendung des Standardexports, um Trends in Ihren Kosten zu analysieren, und des detaillierten Exports, um die Kosten auf Ressourcenebene zu verfolgen und bestimmte Ressourcen zu identifizieren, die möglicherweise Ihre Kosten erhöhen.
- Weitere Informationen zum Kontrollieren der Kosten einzelner Abfragen und zum Kontrollieren der Kosten innerhalb einer Arbeitslast.
Weitere Informationen zu Best Practices zur Optimierung der Kosten beim Ausführen von Abfragen in BigQuery finden Sie unter Abfrageverarbeitung optimieren.
Ausführliche Preise finden Sie unter BigQuery-Preise.
Beschränkungen
Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.
Tabellenschema für die Cloud Billing-Datenexporte
Das Tabellenschema für die Cloud Billing-Datenexporte kann sich ändern.
Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, können Abfragen, die direkt auf die exportierten Spalten verweisen, fehlschlagen. Zur Behebung dieses Problems empfehlen wir, BigQuery-Ansichten zu erstellen, die die exportierten Tabellen abfragen und die Informationen in Ihrer bevorzugten Struktur anzeigen.
Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards speisen, anstelle der exportierten Tabellen anpassen. Mit Ansichten können Sie die Struktur der in Ihren Abfragen und Dashboards verwendeten Daten standardisieren.
In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. Somit sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage in diesen Instanzen ändern, wenn sich das Datenschema ändert.
FOCUS-Export und Datenaufbewahrung
Für Abrechnungsdaten, die in den von Google bereitgestellten FOCUS-BigQuery-Export exportiert werden, gilt eine TTL-Richtlinie (Time To Live) von zwei Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der bereitgestellten FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie Ihren FOCUS-Abrechnungsverlauf länger als zwei Jahre aufbewahren müssen, kopieren Sie die FOCUS-Daten in eine Tabelle für die Langzeitspeicherung, die Ihnen gehört.
BigQuery-Dataset-Standorte und Datenverfügbarkeit
Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:
BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden; entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.
Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen oder auswählen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.
In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.
| Nord- und Südamerika | Asiatisch-pazifischer Raum | Europa | Naher Osten |
|---|---|---|---|
|
Multiregional: USA Regionen:
|
Regionen:
|
Multiregional: EU Regionen:
|
Regionen:
|
Standorte und Datenverfügbarkeit :
Für Ihre BigQuery-Datasets mit FOCUS-Nutzungskostendaten, Standardnutzungskostendaten oder detaillierten Nutzungskostendaten wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud Abrechnungsdaten in das Dataset exportiert werden:
- Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder USA) konfigurieren, enthält das Dataset Abrechnungsdaten, die ab dem Beginn des Vormonats angefallen sind; ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Google Cloud Das heißt, Google Cloud Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.
Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, Standardnutzungskostendaten und detaillierten Nutzungskostendaten nur die Abrechnungsdaten wider, Google Cloud die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt, Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.
Weitere Informationen finden Sie unter Datenverfügbarkeit.
Ihre BigQuery-Datasets die Preisdaten enthalten, erfassen nur Google Cloud Abrechnungsdaten die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Das heißt, Google Cloud Preisdaten werden nicht rückwirkend hinzugefügt. Sie sehen also keine Cloud Billing-Preisdaten aus der Zeit bevor Sie den Export aktiviert haben. Weitere Informationen finden Sie unter Datenverfügbarkeit.
Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten
Wenn Sie Ihre Exporteinstellungen deaktivieren, wieder aktivieren, oder bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert sind, werden zuvor exportierte Abrechnungsdaten nicht in Ihr neues Dataset übertragen. Wenn Sie die Abrechnungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset verknüpfen. Weitere Informationen finden Sie unter Join-Vorgang.
Dataset-Verschlüsselung
BigQuery-Datasets sind so konfiguriert, dass sie Verschlüsselung ruhender Daten verwenden. Dazu wird beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt: entweder ein von Google verwalteter Verschlüsselungsschlüssel Google-owned and Google-managed encryption key, oder ein kundenverwalteter Verschlüsselungsschlüssel (CMEK). Die Option für die Dataset-Verschlüsselung kann nur zum Zeitpunkt der Erstellung festgelegt werden. Nachdem ein Dataset erstellt wurde, kann die Verschlüsselungseinstellung nicht mehr geändert werden.
Wenn Sie den Cloud Billing-Datenexport nach
BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung eines
Google-managed encryption keykonfiguriert ist, können Sie mit dem bq Befehlszeilentool
CMEK für jede Tabelle im Dataset aktivieren. BigQuery verwendet
automatisch den
Standardschlüssel des Datasets
, um die Exporttabellen zu schützen, sofern Sie nichts anderes konfigurieren.
Informationen zum Aktivieren von CMEK für BigQuery-Tabellen.
Sicherheit auf Zeilenebene
Wenn Sie die
BigQuery-Sicherheit auf Zeilenebene
für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem
Cloud Billing-Exportdienstkonto
billing-export-bigquery@system.gserviceaccount.com
vollständigen Zugriff auf die Tabelle gewähren
und dabei den BigQuery-TRUE Filter verwenden.
Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);
FOCUS- oder detaillierte Kostendaten zur Nutzung und GKE
Beim Exportieren von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen zu Compute Engine und anderen Diensten auf Ressourcenebene. Wenn Sie jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Daten export ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.
Tags auf Ressourcenebene
Tags auf Ressourcenebene können bis zu einer Stunde dauern, bis sie in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.
Tags auf Ressourcenebene sind für mehrere Ressourcen im Export von Standardnutzungskosten und im Export von detaillierten Nutzungskosten verfügbar.