Esporta dati di fatturazione Cloud in BigQuery

L'esportazione della fatturazione Cloud in BigQuery ti consente di esportare dati di fatturazione Google Cloud dettagliati (come uso, stime di costi e dati relativi ai prezzi) automaticamente durante la giornata in un set di dati BigQuery. In seguito puoi accedere ai tuoi dati di fatturazione Cloud da BigQuery per un'analisi dettagliata. Puoi anche utilizzare questo metodo di esportazione per esportare i dati in un file JSON.

Il tempismo è importante. Per accedere a un insieme più completo di dati di fatturazioneGoogle Cloud per le tue esigenze di analisi, ti consigliamo di abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery contemporaneamente alla creazione di un account di fatturazione Cloud.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Passaggi successivi

Gestire e registrare i costi in modo efficace è una parte fondamentale della gestione finanziaria, che tu gestisca un'attività aziendale da miliardi di dollari o un piccolo budget familiare. Prendere decisioni basate sui dati in merito ai Google Cloud costi e all'utilizzo inizia con la raccolta dei dati necessari per prendere queste decisioni.

Consulta le guide in questa sezione per scoprire di più sulle seguenti attività:

Configurare l'esportazione dei dati di fatturazione Cloud in BigQuery

Per iniziare a raccogliere i dati di fatturazione Cloud, devi abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery per ogni tipo di esportazione della fatturazione di cui hai bisogno.

Questi sono i tipi di dati di fatturazione Cloud che puoi abilitare per l'esportazione:

Tipo di esportazione Descrizione
Costo di utilizzo FOCUS (anteprima)

L' esportazione del costo di utilizzo FOCUS è un set di dati BigQuery immutabile che contiene i dati dettagliati sul costo di utilizzo normalizzati utilizzando gli standard della FinOps Open Cost and Usage Specification (FOCUS). FOCUS è una specifica aperta che definisce requisiti chiari per i generatori di dati di fatturazione della tecnologia per produrre costi e utilizzo coerenti set di dati. Le colonne nell'esportazione FOCUS in genere corrispondono ai campi nell' esportazione dei costi di utilizzo dettagliati.

Scopri come abilitare l'esportazione della fatturazione dei costi di utilizzo FOCUS.
Costo di utilizzo standard

L' esportazione dei dati sul costo di utilizzo standard contiene informazioni sull'utilizzo dei costi dell'account di fatturazione Cloud standard, come ID account, data della fattura, servizi, SKU, progetti, etichette, località, costi, utilizzo, crediti, aggiustamenti e valuta.

Utilizza l'esportazione dei costi di utilizzo standard per analizzare le tendenze generali nei tuoi dati di costo.

Scopri come attivare l'esportazione della fatturazione dei costi di utilizzo standard.
Costo di utilizzo dettagliato

L' esportazione dei dati di costo di utilizzo dettagliati contiene informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud. Lo schema di esportazione dettagliato include tutti i dati di costo standard di utilizzo, oltre ai dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio.

Utilizza l'esportazione dei costi di utilizzo dettagliati per analizzare i costi a livello di risorsa e identificare le risorse specifiche che potrebbero far aumentare i costi.

L'esportazione dettagliata include informazioni granulari sui costi di diversi servizi. Per visualizzare le informazioni su GKE, devi anche abilitare l'allocazione dei costi nelle esportazioni dettagliate. Per ulteriori consigli e limitazioni, consulta lo schema dei dati dettagliati sui costi di utilizzo.

Scopri come attivare l'esportazione della fatturazione dei costi di utilizzo dettagliati.
Dati sui prezzi

L' esportazione dei dati sui prezzi contiene informazioni sui prezzi dell'account di fatturazione Cloud, come ID account di fatturazione, servizi, SKU, prodotti, metadati geografici, unità di prezzo, valuta, aggregazione e livelli.

Scopri come attivare l'esportazione dei prezzi.

Puoi anche ottenere i dati sui prezzi del tuo account di fatturazione Cloud in questi modi:
Esportazione sconti per impegno di utilizzo (anteprima) Per i clienti che acquistano CUD, l' esportazione dei metadati degli sconti per impegno di utilizzo (CUD) fornisce un'esportazione giornaliera dei metadati CUD in una tabella BigQuery, che puoi unire ad altre esportazioni di dati di fatturazione per una migliore gestione e generazione di report dei CUD. I metadati CUD includono informazioni come l'ID account di fatturazione, l'ID prodotto, l'ID modello di consumo, le unità e i valori dell'importo dell'impegno e altro ancora.
(Solo rivenditori) Esportazione dei dati di riaddebito

Solo per i rivenditori, l' esportazione dei dati di riaddebito contiene informazioni dettagliate sull'utilizzo dei costi dell'account di fatturazione Cloud in tutti i tuoi account di fatturazione rivenditore annotati con attributi specifici del partner.

Utilizza l'esportazione dei dati di rifatturazione per gestire le operazioni di fatturazione per i tuoi clienti Google Cloud . Scopri di più sulle configurazioni di ricalcolo dei prezzi, che ti consentono di generare i costi per i clienti finali.

Quando utilizzi BigQuery per archiviare e analizzare i dati di utilizzo e di costo della fatturazione, ti vengono addebitati costi di utilizzo di BigQuery. Per saperne di più, consulta la pagina relativa ai costi di utilizzo di BigQuery.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Informazioni sulle tabelle di dati di fatturazione Cloud

Dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, le tabelle di dati della fatturazione Cloud vengono create automaticamente nel set di dati BigQuery.

Per comprendere lo schema dei dati dei contenuti esportati, consulta le informazioni di riferimento per i contenuti dei dati di fatturazione Cloud esportati in ogni tabella del set di dati BigQuery.

Trovare query di esempio per i dati di fatturazione Cloud

Sono disponibili query di esempio per diversi tipi di dati di fatturazione esportati.

Costo di utilizzo FOCUS

Per i dati di fatturazione FOCUS, consulta le query FOCUS di esempio disponibili sul sito FinOps Foundation.

Esportazioni di costo di utilizzo standard, costo di utilizzo dettagliato e prezzi

Per suggerimenti e indicazioni sull'utilizzo di SQL per eseguire query sui dati di fatturazione Cloud per le esportazioni di costo di utilizzo standard, costo di utilizzo dettagliato e prezzi, consulta gli esempi di query.

Nella pagina delle query di esempio troverai vari esempi di SQL, tra cui i seguenti:

Costi di utilizzo di BigQuery

Quando utilizzi BigQuery per archiviare e analizzare i dati di utilizzo e di costo della fatturazione, ti vengono addebitati costi di utilizzo di BigQuery. I costi principali in BigQuery sono lo spazio di archiviazione, per i dati archiviati in BigQuery, e il calcolo, utilizzato per l'elaborazione delle query.

I costi di BigQuery dipendono dalla quantità di dati che memorizzi e dalla quantità di dati su cui esegui query. In genere, i costi di archiviazione sono inferiori ai costi delle query.

Per saperne di più sui costi di BigQuery, consulta la pagina Stimare e controllare i costi in BigQuery.

Costi di archiviazione

I costi di archiviazione includono il costo di archiviazione dei dati caricati in BigQuery e dipendono dal tuo modello di fatturazione dell'archiviazione.

  • Il caricamento dei dati nel set di dati designato è senza costi; questa azione sfrutta il pool di risorse condivise di BigQuery per caricare i dati in batch.
  • Molte operazioni tabella partizionata sono senza costi, tra cui il caricamento dei dati nelle partizioni, la copia delle partizioni e l'esportazione dei dati dalle partizioni. Sebbene senza costi, queste operazioni sono soggette alle quote e ai limiti di BigQuery.
  • L'esportazione FOCUS viene fornita come esportazione immutabile, utilizzando un set di dati collegato per il quale Google paga. Non hai costi di archiviazione per i dati sui costi di utilizzo FOCUS degli ultimi due anni, a meno che tu non copi e memorizzi i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Per saperne di più sulle best practice per l'ottimizzazione dei costi dello spazio di archiviazione BigQuery, consulta la pagina Controllare i costi di archiviazione. Puoi anche ottimizzare l'archiviazione per le prestazioni delle query.

Costi delle query

Quando analizzi i dati, ti viene addebitato un importo per tutti i dati letti ogni volta che viene eseguita la query. L'esecuzione di query può potenzialmente causare un picco di costi.

Per ulteriori informazioni sulle best practice per l'ottimizzazione dei costi durante l'esecuzione di query in BigQuery, consulta Ottimizzare il calcolo delle query.

Per i prezzi dettagliati, consulta la pagina Prezzi di BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

Schema della tabella per le esportazioni dei dati di fatturazione Cloud

Lo schema della tabella per una qualsiasi delle esportazioni di dati di fatturazione Cloud può cambiare.

Quando lo schema della tabella cambia, ad esempio quando vengono aggiunti nuovi campi a uno schema di tabella BigQuery per un'esportazione di dati di fatturazione Cloud, qualsiasi query che faccia riferimento direttamente alle colonne esportate potrebbe non riuscire. Per risolvere il problema, ti consigliamo di creare viste BigQuery che eseguono query sulle tabelle esportate e presentano le informazioni nella struttura che preferisci.

Puoi quindi modificare le query che alimentano i report e le dashboard per estrarre i dati dalle viste anziché dalle tabelle esportate. Utilizzando le viste, puoi standardizzare la struttura dei dati utilizzati nelle query e nei dashboard.

Le viste che crei devono normalizzare i dati in modo che tutte le tabelle pertinenti presentino lo stesso schema alle query. In questo modo, ti proteggi da future modifiche dello schema, consentendoti di modificare la query sottostante della vista nei casi in cui lo schema dei dati cambia.

Esportazione e conservazione dei dati FOCUS

I dati di fatturazione esportati nell'esportazione BigQuery FOCUS fornita da Google sono soggetti a una policy di durata (TTL) di 2 anni. I dati più vecchi di due anni vengono eliminati automaticamente dalla tabella di esportazione FOCUS fornita nel set di dati BigQuery. Se devi conservare la cronologia dei dati di fatturazione FOCUS per più di due anni, copia i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Località dei set di dati BigQuery e disponibilità dei dati

Località dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud:

I set di dati BigQuery sono configurati per utilizzare una posizione: una posizione multiregionale (UE o Stati Uniti) o una posizione regionale. La località del set di dati viene impostata al momento della creazione. Una volta creato un set di dati, la sua posizione non può essere modificata.

L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località regionali. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una località regione non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione del set di dati non valida.

La seguente tabella elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

Americhe Asia Pacifico Europa Medio Oriente

Multi-regione: Stati Uniti

Regioni:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (San Paolo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regioni:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapore)
  • asia-southeast2 (Giacarta)
  • australia-southeast1 (Sydney)

Multi-regione: UE

Regioni:

  • europe-central2 (Varsavia)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgio)
  • europe-west2 (Londra)
  • europe-west3 (Francoforte)
  • europe-west4 (Paesi Bassi)
  • europe-west6 (Zurigo)

Regioni:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Località e disponibilità dei dati:

  • Per i set di dati BigQuery contenenti dati sul costo di utilizzo FOCUS, dati sul costo di utilizzo standard o dati sul costo di utilizzo dettagliato, il tipo di località che configuri nel set di dati influisce sulla tempistica dell'esportazione dei dati di fatturazione Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una posizione multiregionale (UE o Stati Uniti), il set di dati include Google Cloud i dati di fatturazione sostenuti dall'inizio del mese precedente a partire dal momento in cui hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. ovvero i Google Cloud dati di fatturazione vengono aggiunti retroattivamente per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni prima che l'esportazione dei dati di fatturazione Cloud retroattivi venga completata e prima che tu possa iniziare a visualizzare i dati di utilizzo attuali.

    • Se il tuo set di dati è configurato per utilizzare una regione supportata, i dati di costo di utilizzo FOCUS, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data in cui hai attivato l'esportazione della fatturazione Cloud e successivamente. ovvero Google Cloud i dati di fatturazione non vengono aggiunti retroattivamente per le posizioni dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'attivazione dell'esportazione.

    • Per maggiori dettagli, vedi Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data in cui hai configurato l'esportazione della fatturazione Cloud e successivamente. ovvero i dati sui prezzi diGoogle Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi di fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, vedi Disponibilità dei dati.

Disattivare, riattivare o modificare le impostazioni di esportazione

Se disattivi, riattivi o modifiche le impostazioni di esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati di fatturazione esportati in precedenza non vengono riempiti nel nuovo set di dati. Per includere le informazioni di fatturazione esportate prima del passaggio a un progetto o set di dati diverso, devi unire manualmente il nuovo set di dati con il set di dati precedente. Per saperne di più, consulta Operazione di unione.

Crittografia del set di dati

I set di dati BigQuery sono configurati per utilizzare la crittografia at-rest impostando un'opzione per la chiave di crittografia quando crei il set di dati, ovvero una Google-owned and Google-managed encryption keyo una chiave di crittografia gestita dal cliente (CMEK). Puoi modificare l'impostazione di crittografia dopo aver creato un set di dati.

Se hai già abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery e il tuo set di dati è configurato per utilizzare unaGoogle-managed encryption key, puoi aggiornare il set di dati e le relative tabelle in modo che utilizzino una CMEK. Per aggiornare il set di dati e le relative tabelle, completa i seguenti passaggi:

  1. Imposta una chiave predefinita del set di dati nel set di dati. L'impostazione di una chiave predefinita garantisce che tutte le nuove tabelle create nel set di dati siano protette automaticamente con CMEK.
  2. Utilizza lo strumento a riga di comando bq per attivare CMEK su ogni tabella esistente nel set di dati. La modifica della chiave predefinita del set di dati non esegue automaticamente nuovamente la crittografia delle tabelle esistenti.

Scopri di più sull'attivazione di CMEK per le tabelle BigQuery.

Policy dell'organizzazione CMEK

Puoi utilizzare i criteri dell'organizzazione CMEK per applicare l'utilizzo di CMEK per le risorse BigQuery, incluse le esportazioni di fatturazione, o per richiedere che la CMEK si trovi in un progetto approvato. Tuttavia, l'applicazione delle policy dell'organizzazione per le chiavi CMEK può avere i seguenti effetti imprevisti:

  • L'esportazione potrebbe non riuscire per i set di dati esistenti: Quando abiliti un nuovo vincolo dei criteri dell'organizzazione, il vincolo non viene applicato ai set di dati esistenti. Ciò significa che puoi avere set di dati che esistono ancora, anche se non sono più consentiti. Tuttavia, la prossima volta che provi a esportare in quel set di dati, il processo di esportazione non andrà a buon fine se non riesce a creare nuove tabelle a causa di una policy dell'organizzazione appena applicata.

    Per evitare questa situazione, rivedi in modo proattivo le configurazioni di esportazione della fatturazione esistenti ogni volta che aggiorni le policy dell'organizzazione e aggiorna la configurazione del set di dati in base alle esigenze per rispettare i vincoli di restrictNonCmekServices e restrictCmekCryptoKeyProjects.

  • Applicazione incoerente dei criteri dell'organizzazione: I criteri dell'organizzazione non vengono applicati quando crei un set di dati vuoto. Ciò significa che puoi applicare il vincolo restrictNonCmekServices per richiedere che le risorse BigQuery utilizzino una chiave CMEK per la crittografia, ma poi creare correttamente un set di dati BigQuery configurato per utilizzare Google-owned and Google-managed encryption keys. Tuttavia, l'esportazione dei dati di fatturazione che utilizza questo set di dati non andrà a buon fine perché le norme dell'organizzazione non consentono di creare una tabella non protetta da CMEK mentre il vincolo restrictNonCmekServices è applicato per BigQuery.

    Per risolvere questo problema, aggiorna la crittografia del set di dati in modo da impostare una chiave predefinita del set di dati conforme ai vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

Sicurezza a livello di riga

Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi concedere al account di servizio per l'esportazione della fatturazione Cloud billing-export-bigquery@system.gserviceaccount.com l'accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il seguente comando concede l'accesso al service account Fatturazione Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS o dati dettagliati sui costi di utilizzo e GKE

Quando esporti i dati di costo di utilizzo FOCUS o i dati di costo di utilizzo dettagliati, l'esportazione include automaticamente informazioni a livello di risorsa su Compute Engine e altri servizi. Tuttavia, per i dati di Google Kubernetes Engine (GKE), per visualizzare una suddivisione dei costi dei cluster GKE in un'esportazione di dati FOCUS o dettagliati, devi anche abilitare l'allocazione dei costi per GKE.

Tag a livello di risorsa

La propagazione dei tag a livello di risorsa nelle esportazioni BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzata nell'esportazione.

I tag a livello di risorsa sono disponibili per diverse risorse nell'esportazione dei costi di utilizzo standard e nell'esportazione dei costi di utilizzo dettagliati.

Avanti
Configurare l'esportazione dei dati di fatturazione in BigQuery