Informazioni sulle tabelle di dati di fatturazione Cloud in BigQuery

Questo documento fornisce informazioni di riferimento per lo schema dei dati di fatturazione Cloud esportati in ogni tabella di BigQuery.

Tabelle dei dati di fatturazione

Poco dopo aver abilitato l'esportazione della fatturazione Cloud in BigQuery, le tabelle dei dati di fatturazione vengono create automaticamente nel set di dati BigQuery.

  • Tabella dei costi di utilizzo di FOCUS (anteprima) – Google fornisce un set di dati BigQuery immutabile denominato: gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> e una tabella di dati FOCUS denominata: gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabella dei costi di utilizzo standard – Nel tuo set di dati BigQuery, questa tabella è denominata gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei costi di utilizzo dettagliati – Include tutti i campi di dati della tabella dei costi di utilizzo standard, insieme a campi aggiuntivi che forniscono dati di costo a livello di risorsa, come una macchina virtuale o un'unità SSD che genera l'utilizzo del servizio. Nel tuo set di dati BigQuery, questa tabella è denominata gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabella dei dati sui prezzi – Nel tuo set di dati BigQuery, il nome di questa tabella è cloud_pricing_export.
  • Metadati degli sconti per impegno di utilizzo (CUD) (anteprima) – Sono inclusi i metadati del CUD, come ID account di fatturazione, ID prodotto, ID modello di consumo, unità e valori dell'importo dell'impegno e altro ancora. Nel tuo set di dati BigQuery, il nome di questa tabella è cud_subscriptions_export.

Frequenza dei caricamenti dei dati

Esportazione dei costi di utilizzo FOCUS, standard e dettagliati

  • Quando attivi per la prima volta l'esportazione del costo di utilizzo dettagliato, standard o FOCUS in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo diGoogle Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata per includere i dati in modo retroattivo per il mese corrente e quello precedente, potrebbero essere necessari fino a cinque giorni prima che i dati esportati raggiungano completamente i tuoi dati di utilizzo attuali.
  • I serviziGoogle Cloud segnalano i dati di costo e utilizzo ai processi di fatturazione Cloud a intervalli variabili.
  • La fatturazione Cloud esporta i dati di utilizzo e di costo nel tuo set di dati BigQuery a intervalli regolari (non sono previste garanzie di consegna o latenza per l'esportazione in BigQuery).
  • Poiché la frequenza di generazione dei report sull'utilizzo varia in base al Google Cloud servizio, potresti non visualizzare immediatamente i dati di utilizzo e costo di fatturazione Cloud per tutti i servizi utilizzati di Google Cloud recente.

Esportazione dei metadati di prezzi e CUD

  • Quando attivi per la prima volta l'esportazione dei prezzi in BigQuery, potrebbero essere necessarie fino a 48 ore prima che vengano visualizzati i dati sui Google Cloud prezzi.
  • Dopo aver attivato l'esportazione dei prezzi, i dati sui prezzi applicabili al tuo account di fatturazione Cloud vengono esportati in BigQuery una volta al giorno.

Disponibilità dei dati

  • Per i clienti che attivano l'esportazione dei dati di costo di utilizzo FOCUS, standard o dettagliato per la prima volta:

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una posizione multiregionale (UE o Stati Uniti), i dati di fatturazione Cloud vengono esportati retroattivamente dall'inizio del mese precedente. Ad esempio, se attivi l'esportazione dei dati relativi al costo di utilizzo FOCUS, al costo di utilizzo standard o al costo di utilizzo dettagliato il 23 settembre, l'esportazione includerà i dati a partire dal 1° agosto.

      Esportiamo i dati in ordine cronologico, un giorno alla volta, quindi i dati del primo giorno dell'ultimo mese vengono compilati per primi. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni prima che l'esportazione dei dati retroattivi della fatturazione Cloud venga completata e prima che tu possa iniziare a visualizzare i dati di utilizzo più recenti.

    • Se configuri il tuo set di dati BigQuery in modo che utilizzi una regione supportata, i tuoi dati relativi a costo di utilizzo FOCUS, costo di utilizzo standard o costo di utilizzo dettagliato sono disponibili a partire dalla data in cui attivi l'esportazione della fatturazione Cloud e successivamente. ovvero Google Cloud i dati di fatturazione non vengono aggiunti retroattivamente per le posizioni dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'abilitazione dell'esportazione.

    • Per i clienti che hanno abilitato, disabilitato e successivamente riattivato l'esportazione dei dati di costo di utilizzo FOCUS, costo di utilizzo standard o costo di utilizzo dettagliato, i dati di fatturazione Cloud potrebbero non essere disponibili per il periodo in cui l'esportazione è stata disabilitata esplicitamente.

  • Se abiliti l'esportazione dei dati sui prezzi, il tuo set di dati BigQuery riflette solo i dati di fatturazione Cloud sostenuti a partire dalla data in cui hai abilitato per la prima volta l'esportazione dei prezzi e successivamente. I dati sui prezzi della fatturazione Cloud non vengono aggiunti retroattivamente, pertanto non vedrai i dati sui prezzi per le date precedenti all'abilitazione dell'esportazione.

  • I dati nei set di dati BigQuery riflettono lo stato delle tue risorse al momento della registrazione dell'utilizzo. Se apporti modifiche alle tue risorse, ad esempio aggiungendo nuove etichette a un progetto o modificando la gerarchia di un progetto (il che modificherebbe project.ancestors), queste modifiche vengono visualizzate solo nelle esportazioni future dei dati di utilizzo. I record esportati in precedenza non vengono modificati.

  • Se elimini i dati esportati (ad esempio i record di BigQuery Export), non possiamo eseguire il backfill dei record eliminati.

  • Se modifiche le impostazioni di un'esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati del set di dati precedente non vengono automaticamente inseriti nel nuovo set di dati. Il nuovo set di dati BigQuery riflette solo i dati di fatturazione Cloud sostenuti a partire dalla data in cui hai modificato le impostazioni di esportazione e successivamente. Per includere il record completo dei dati di fatturazione esportati, devi unire manualmente il nuovo set di dati con quello precedente. Per saperne di più, consulta Operazione di unione.

  • I caricamenti BigQuery sono conformi ad ACID, quindi se esegui query sul set di dati di esportazione della fatturazione Cloud BigQuery durante il caricamento dei dati, non incontrerai dati caricati parzialmente.

  • Consulta altre limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery, come i set di dati con le chiavi di crittografia gestite dal cliente (CMEK) abilitate.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

Schema della tabella per le esportazioni dei dati di fatturazione Cloud

Lo schema della tabella per una qualsiasi delle esportazioni di dati di fatturazione Cloud può cambiare.

Quando lo schema della tabella cambia, ad esempio quando vengono aggiunti nuovi campi a uno schema di tabella BigQuery per un'esportazione di dati di fatturazione Cloud, qualsiasi query che faccia riferimento direttamente alle colonne esportate potrebbe non riuscire. Per risolvere il problema, ti consigliamo di creare viste BigQuery che eseguono query sulle tabelle esportate e presentano le informazioni nella struttura che preferisci.

Puoi quindi modificare le query che alimentano i report e le dashboard per estrarre i dati dalle viste anziché dalle tabelle esportate. Utilizzando le viste, puoi standardizzare la struttura dei dati utilizzati nelle query e nei dashboard.

Le viste che crei devono normalizzare i dati in modo che tutte le tabelle pertinenti presentino lo stesso schema alle query. In questo modo, ti proteggi da future modifiche dello schema, consentendoti di modificare la query sottostante della vista nei casi in cui lo schema dei dati cambia.

Esportazione e conservazione dei dati FOCUS

I dati di fatturazione esportati nell'esportazione BigQuery FOCUS fornita da Google sono soggetti a una policy di durata (TTL) di 2 anni. I dati più vecchi di due anni vengono eliminati automaticamente dalla tabella di esportazione FOCUS fornita nel set di dati BigQuery. Se devi conservare la cronologia dei dati di fatturazione FOCUS per più di due anni, copia i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Località dei set di dati BigQuery e disponibilità dei dati

Località dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud:

I set di dati BigQuery sono configurati per utilizzare una posizione: una posizione multiregionale (UE o Stati Uniti) o una posizione regionale. La località del set di dati viene impostata al momento della creazione. Una volta creato un set di dati, la sua posizione non può essere modificata.

L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località regionali. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una località regione non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione del set di dati non valida.

La seguente tabella elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

Americhe Asia Pacifico Europa Medio Oriente

Multi-regione: Stati Uniti

Regioni:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (San Paolo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regioni:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapore)
  • asia-southeast2 (Giacarta)
  • australia-southeast1 (Sydney)

Multi-regione: UE

Regioni:

  • europe-central2 (Varsavia)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgio)
  • europe-west2 (Londra)
  • europe-west3 (Francoforte)
  • europe-west4 (Paesi Bassi)
  • europe-west6 (Zurigo)

Regioni:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Località e disponibilità dei dati:

  • Per i set di dati BigQuery contenenti dati sul costo di utilizzo FOCUS, dati sul costo di utilizzo standard o dati sul costo di utilizzo dettagliato, il tipo di località che configuri nel set di dati influisce sulla tempistica dell'esportazione dei dati di fatturazione Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una posizione multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione sostenuti dall'inizio del mese precedente a partire dal momento in cui hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. Google Cloud ovvero i Google Cloud dati di fatturazione vengono aggiunti retroattivamente per il mese corrente e quello precedente. Per il backfill iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni prima che l'esportazione dei dati di fatturazione Cloud retroattivi venga completata e prima che tu possa iniziare a visualizzare i dati di utilizzo attuali.

    • Se il tuo set di dati è configurato per utilizzare una regione supportata, i dati di costo di utilizzo FOCUS, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data in cui hai attivato l'esportazione della fatturazione Cloud e successivamente. ovvero Google Cloud i dati di fatturazione non vengono aggiunti retroattivamente per le posizioni dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'attivazione dell'esportazione.

    • Per maggiori dettagli, vedi Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data in cui hai configurato l'esportazione della fatturazione Cloud e successivamente. ovvero i dati sui prezzi diGoogle Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi di fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, vedi Disponibilità dei dati.

Disattivare, riattivare o modificare le impostazioni di esportazione

Se disattivi, riattivi o modifiche le impostazioni di esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati di fatturazione esportati in precedenza non vengono riempiti nel nuovo set di dati. Per includere le informazioni di fatturazione esportate prima del passaggio a un progetto o set di dati diverso, devi unire manualmente il nuovo set di dati con il set di dati precedente. Per saperne di più, consulta Operazione di unione.

Crittografia del set di dati

I set di dati BigQuery sono configurati per utilizzare la crittografia at-rest impostando un'opzione per la chiave di crittografia quando crei il set di dati, ovvero una Google-owned and Google-managed encryption keyo una chiave di crittografia gestita dal cliente (CMEK). Puoi modificare l'impostazione di crittografia dopo aver creato un set di dati.

Se hai già abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery e il tuo set di dati è configurato per utilizzare unaGoogle-managed encryption key, puoi aggiornare il set di dati e le relative tabelle in modo che utilizzino una CMEK. Per aggiornare il set di dati e le relative tabelle, completa i seguenti passaggi:

  1. Imposta una chiave predefinita del set di dati nel set di dati. L'impostazione di una chiave predefinita garantisce che tutte le nuove tabelle create nel set di dati siano protette automaticamente con CMEK.
  2. Utilizza lo strumento a riga di comando bq per attivare CMEK su ogni tabella esistente nel set di dati. La modifica della chiave predefinita del set di dati non esegue automaticamente nuovamente la crittografia delle tabelle esistenti.

Scopri di più sull'attivazione di CMEK per le tabelle BigQuery.

Policy dell'organizzazione CMEK

Puoi utilizzare i criteri dell'organizzazione CMEK per applicare l'utilizzo di CMEK per le risorse BigQuery, incluse le esportazioni di fatturazione, o per richiedere che la CMEK si trovi in un progetto approvato. Tuttavia, l'applicazione delle policy dell'organizzazione per le chiavi CMEK può avere i seguenti effetti imprevisti:

  • L'esportazione potrebbe non riuscire per i set di dati esistenti: Quando abiliti un nuovo vincolo dei criteri dell'organizzazione, il vincolo non viene applicato ai set di dati esistenti. Ciò significa che puoi avere set di dati che esistono ancora, anche se non sono più consentiti. Tuttavia, la prossima volta che provi a esportare in quel set di dati, il processo di esportazione non andrà a buon fine se non riesce a creare nuove tabelle a causa di una policy dell'organizzazione appena applicata.

    Per evitare questa situazione, rivedi in modo proattivo le configurazioni di esportazione della fatturazione esistenti ogni volta che aggiorni le policy dell'organizzazione e aggiorna la configurazione del set di dati in base alle esigenze per rispettare i vincoli di restrictNonCmekServices e restrictCmekCryptoKeyProjects.

  • Applicazione incoerente dei criteri dell'organizzazione: I criteri dell'organizzazione non vengono applicati quando crei un set di dati vuoto. Ciò significa che puoi applicare il vincolo restrictNonCmekServices per richiedere che le risorse BigQuery utilizzino una chiave CMEK per la crittografia, ma poi creare correttamente un set di dati BigQuery configurato per utilizzare Google-owned and Google-managed encryption keys. Tuttavia, l'esportazione dei dati di fatturazione che utilizza questo set di dati non andrà a buon fine perché le norme dell'organizzazione non consentono di creare una tabella non protetta da CMEK mentre il vincolo restrictNonCmekServices è applicato per BigQuery.

    Per risolvere questo problema, aggiorna la crittografia del set di dati in modo da impostare una chiave predefinita del set di dati conforme ai vincoli restrictNonCmekServices e restrictCmekCryptoKeyProjects.

Sicurezza a livello di riga

Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi concedere al account di servizio per l'esportazione della fatturazione Cloud billing-export-bigquery@system.gserviceaccount.com l'accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il seguente comando concede l'accesso al service account Fatturazione Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS o dati dettagliati sui costi di utilizzo e GKE

Quando esporti i dati di costo di utilizzo FOCUS o i dati di costo di utilizzo dettagliati, l'esportazione include automaticamente informazioni a livello di risorsa su Compute Engine e altri servizi. Tuttavia, per i dati di Google Kubernetes Engine (GKE), per visualizzare una suddivisione dei costi dei cluster GKE in un'esportazione di dati FOCUS o dettagliati, devi anche abilitare l'allocazione dei costi per GKE.

Tag a livello di risorsa

La propagazione dei tag a livello di risorsa nelle esportazioni BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora o se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzata nell'esportazione.

I tag a livello di risorsa sono disponibili per diverse risorse nell'esportazione dei costi di utilizzo standard e nell'esportazione dei costi di utilizzo dettagliati.

Indietro
Configurare l'esportazione di FOCUS in BigQuery
Avanti
Struttura dell'esportazione dei dati FOCUS