Configurare l'esportazione dei dati di fatturazione Cloud FOCUS in BigQuery

Questo documento fornisce tutti i passaggi necessari per configurare l'esportazione dei dati di fatturazione Cloud in BigQuery per il costo di utilizzo di FOCUS. L'esportazione del costo di utilizzo FOCUS è un set di dati BigQuery immutabile (set di dati collegato) che contiene i dati dettagliati sul costo di utilizzo normalizzati in base agli standard FinOps Open Cost and Usage Specification (FOCUS).

Per abilitare l'esportazione dei dati di fatturazione Cloud relativi al costo di utilizzo FOCUS in BigQuery, segui questi passaggi:

  • Crea un progetto in cui verranno archiviati i dati di fatturazione Cloud esportati e attiva la fatturazione per il progetto (se non l'hai già fatto).
  • Configura le autorizzazioni per il progetto e per l'account di fatturazione Cloud.
  • Abilita l'esportazione della fatturazione Costo di utilizzo FOCUS.

Questo documento illustra i dettagli di ciascuno di questi passaggi.

Costi di utilizzo di BigQuery con FOCUS Export

Quando utilizzi BigQuery per archiviare e analizzare i dati di utilizzo e di costo della fatturazione, ti vengono addebitati i costi di utilizzo di BigQuery. I costi principali in BigQuery sono l'archiviazione, per i dati archiviati in BigQuery, e il calcolo, utilizzato per l'elaborazione delle query.

Poiché l'esportazione dei dati di fatturazione FOCUS viene fornita come esportazione immutabile gestita da Google (utilizzando un set di dati collegato), non ti vengono addebitati costi di archiviazione per i tuoi dati FOCUS. Tuttavia, ti vengono addebitati costi quando esegui query sui dati FOCUS. Per ulteriori informazioni, consulta Costi di utilizzo di BigQuery.

Informazioni sulla console Google Cloud

La console Google Cloud (visita la documentazione, apri la console) è una UI web utilizzata per eseguire il provisioning, configurare, gestire e monitorare i sistemi che utilizzano i prodottiGoogle Cloud . Utilizzi la console Google Cloud per configurare e gestire le risorse Google Cloud e la fatturazione Cloud.

Autorizzazioni richieste per questa attività

Per abilitare e configurare l'esportazione FOCUS dei dati di Google Cloud fatturazione costo di utilizzo, devi disporre delle seguenti autorizzazioni:

Potresti anche aver bisogno di altre autorizzazioni per il progetto. Se sei un membro di un'organizzazioneGoogle Cloud , per creare un nuovo progetto devi avere il ruolo Autore progetto nell'organizzazione o nella cartella. Nello specifico, per creare un nuovo progetto, devi disporre delle seguenti autorizzazioni:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Per ulteriori informazioni sulle autorizzazioni Google Cloud , consulta:

Abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery

Completa i tre passaggi di questa sezione per attivare l'esportazione del costo di utilizzo di FOCUS in BigQuery.

1. Seleziona o crea un progetto

I dati di fatturazione Cloud esportati in BigQuery sono contenuti in un set di dati BigQuery. Un set di dati è contenuto in un progettoGoogle Cloud che specifichi.

Ti consigliamo di creare e utilizzare un progetto Google Cloud separato contenente tutte le tue esigenze di amministrazione della fatturazione e di FinOps per un account di fatturazione Cloud, inclusi i dati di fatturazione Cloud esportati. Scopri di più sui vantaggi dell'utilizzo di un progetto incentrato su FinOps per i tuoi casi d'uso di amministrazione della fatturazione.

Nella console Google Cloud , nella pagina di selezione del progetto, seleziona o crea un progetto Google Cloud .

Ruoli richiesti per selezionare o creare un progetto

  • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
  • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Vai al selettore di progetti

Scopri di più su come creare e gestire i progetti.

2. Verifica che la fatturazione sia abilitata

Devi assicurarti che la fatturazione sia abilitata nel progetto Google Cloud che selezioni per contenere il set di dati e che il progetto Google Cloud sia collegato allo stesso account di fatturazione Cloud che contiene i dati che prevedi di esportare nel set di dati BigQuery.

3. Abilitare l'esportazione del costo di utilizzo di FOCUS in BigQuery

Puoi abilitare le esportazioni dei dati di fatturazione Cloud nella sezione Fatturazione della consoleGoogle Cloud .

L'esportazione dei dati di costo di utilizzo FOCUS utilizza un set di dati BigQuery immutabile fornito da Google per contenere i dati dettagliati sul costo di utilizzo normalizzati utilizzando gli standard della FinOps Open Cost and Usage Specification (FOCUS). FOCUS è una specifica aperta che definisce requisiti chiari per i generatori di dati di fatturazione della tecnologia per produrre set di dati coerenti su costi e utilizzo. Le colonne nell'esportazione FOCUS in genere corrispondono ai campi nell'esportazione dei costi di utilizzo dettagliati.

Per abilitare l'esportazione dei dati di fatturazione Cloud nel set di dati BigQuery FOCUS, procedi nel seguente modo:

  1. Nella console Google Cloud , vai alla pagina Esportazione della fatturazione.

    Vai alla pagina Esportazione della fatturazione

  2. Quando richiesto, scegli l'account di fatturazione Cloud per cui vuoi esportare i dati di fatturazione. Si apre la pagina Esportazione della fatturazione per l'account di fatturazione selezionato.

  3. Nella scheda Esportazione in BigQuery, fai clic su Abilita esportazione FOCUS per configurare l'esportazione FOCUS.

  4. Nell'elenco Progetti, seleziona il progetto che hai configurato per contenere il set di dati BigQuery.

    In BigQuery, il progetto selezionato viene utilizzato per archiviare i dati esportati nel set di dati FOCUS immutabile fornito da Google.

    Per l'esportazione dei costi di utilizzo FOCUS, i dati di fatturazione Cloud includono i dati di utilizzo e di costo per tutti i Google Cloud progetti pagati dallo stesso account di fatturazione Cloud.

  5. L'API BigQuery è necessaria per esportare i dati in BigQuery. Se nel progetto selezionato non è abilitata l'API BigQuery, ti viene chiesto di abilitarla. Se necessario, fai clic su Abilita API BigQuery per abilitare l'API.

  6. Seleziona una posizione dei dati per il tuo set di dati FOCUS. La posizione dei dati specifica la multiregione o la regione in cui vengono archiviati i dati. Tutte le tabelle all'interno del set di dati condividono questa posizione.

    1. Seleziona il Tipo di località, ovvero Più regioni (opzione consigliata) o Regione.

    2. Scegli la località per il tipo di località specificato.

      Ti consigliamo di selezionare una località multiregionale (UE o Stati Uniti) per l'esportazione dei costi di utilizzo FOCUS (e anche per le esportazioni dei dati di costo di utilizzo standard e dettagliati). L'esportazione della fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti). Tuttavia, per l'esportazione della fatturazione Cloud in BigQuery è supportato solo un sottoinsieme delle località regionali del set di dati.

      La posizione selezionata può influire sull'aggiunta retroattiva dei dati del mese precedente al set di dati. Per ulteriori informazioni su posizioni dei set di dati e disponibilità dei dati, consulta le limitazioni.

      Dopo aver creato il set di dati, la posizione non può essere modificata. Scopri di più sulle posizioni.

  7. Fai clic su Salva.

Set di dati e tabella dati FOCUS

Poco dopo aver attivato l'esportazione dei costi di utilizzo FOCUS, BigQuery Export crea un set di dati e una tabella con i dati di fatturazione nel nuovo set di dati, in base alle impostazioni di esportazione FOCUS:

  • Nel progetto Google Cloud che hai specificato quando hai attivato l'esportazione FOCUS viene creato un set di dati immutabile, utilizzando questo pattern di denominazione:

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    Il nome del set di dati è composto da tre componenti:

    1. gcp_billing_immutable: nome del set di dati per l'esportazione FOCUS.
    2. Billing_account_ID - ID dell'account di fatturazione Cloud in cui è abilitata l'esportazione FOCUS.
    3. Location: la località specifica (regione o multi-regione) che hai selezionato quando hai attivato l'esportazione FOCUS.

    Esempio di nome del set di dati: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • Nel set di dati FOCUS viene creata una tabella di dati di fatturazione FOCUS denominata:

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    Esempio di nome tabella: gcp_billing_export_focus_010101_F0FFF0_61C528

Aggiornare le impostazioni di esportazione dei costi di utilizzo FOCUS

Dopo aver attivato l'esportazione dei costi di utilizzo di FOCUS in BigQuery, puoi modificare varie impostazioni di esportazione dei dati, ad esempio:

  • Modifica il progetto in cui è archiviato il set di dati FOCUS.
  • Modifica l'impostazione della regione del set di dati FOCUS. La modifica delle impostazioni della regione creerà un nuovo set di dati immutabile.
  • Disabilita l'esportazione dei costi di utilizzo FOCUS.

Prima di aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione o disabilitare l'esportazione FOCUS, consulta le limitazioni e le linee guida sulla disponibilità dei dati per capire in che modo questi aggiornamenti potrebbero influire sui dati di fatturazione FOCUS esportati in BigQuery.

Disabilita l'esportazione dei costi di utilizzo FOCUS

Per disattivare un tipo di dati di fatturazione Cloud esportati in BigQuery:

  1. Seleziona Disabilita esportazione FOCUS.
  2. Seleziona Conferma per salvare la selezione.

Se riattivi l'esportazione dei costi di utilizzo FOCUS in un secondo momento, dovrai riselezionare le stesse impostazioni di progetto e posizione per utilizzare lo stesso set di dati immutabile che è stato creato quando hai attivato per la prima volta l'esportazione FOCUS. Non supportiamo il backfill dei dati che non sono stati esportati durante il periodo di tempo in cui l'esportazione FOCUS è stata disattivata.

Riattivare l'esportazione dei costi di utilizzo FOCUS

Per riattivare un'esportazione FOCUS disattivata in precedenza, consulta Abilitare l'esportazione dei dati di fatturazione Cloud in BigQuery.

  • Per utilizzare lo stesso set di dati immutabile creato quando hai attivato per la prima volta l'esportazione FOCUS, seleziona di nuovo le stesse impostazioni di progetto e regione che hai utilizzato in precedenza.
  • Se scegli un'impostazione diversa per il progetto o la regione, viene creato un nuovo set di dati immutabile e i dati FOCUS vengono esportati nel nuovo set di dati a partire dalla data in cui hai riattivato l'esportazione FOCUS.

Modificare il progetto o il set di dati dell'esportazione dei costi di utilizzo FOCUS

Per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione FOCUS:

  1. FOCUS utilizza un set di dati immutabile creato per te quando abiliti l'esportazione dei costi di utilizzo FOCUS. Prima di poter modificare le impostazioni di esportazione FOCUS, devi prima disabilitare l'esportazione FOCUS.
  2. Dopodiché, seleziona Abilita esportazione FOCUS e scegli le impostazioni di progetto e posizione per l'esportazione FOCUS.

  3. Seleziona Salva per confermare le impostazioni per l'esportazione di FOCUS.

    Durante il processo di attivazione, se selezioni un progetto o una regione diversi dalla configurazione precedente, viene creato un nuovo set di dati immutabile nel progetto selezionato.

Informazioni sulle autorizzazioni per i set di dati

L'esportazione della fatturazione Cloud in BigQuery utilizza un service account per gestire le autorizzazioni del set di dati.

Dopo aver abilitato l'esportazione FOCUS in BigQuery, Google aggiunge automaticamente un account di servizio come proprietario del set di dati immutabile che fornisce. I service account hanno il seguente aspetto:

billing-export-bigquery@system.gserviceaccount.com

Google possiede e gestisce l'account di servizio che fornisce le autorizzazioni necessarie al nostro processo offline per creare il set di dati e la tabella FOCUS e scrivervi i record di fatturazione Cloud.

Consulta le limitazioni che potrebbero influire sull'esportazione dei dati di fatturazione in BigQuery.

Tabella dei dati sul costo di utilizzo di FOCUS

Poco dopo aver attivato l'esportazione dei costi di utilizzo di FOCUS, BigQuery crea un set di dati immutabile e una tabella di dati FOCUS nel set di dati BigQuery immutabile. Per saperne di più sullo schema della tabella FOCUS, consulta Struttura dell'esportazione dei dati FOCUS.

Frequenza dei caricamenti dei dati

Quando abiliti per la prima volta l'esportazione dei costi di utilizzo di FOCUS in BigQuery, potrebbero essere necessarie alcune ore prima che i dati di costo Google Cloud vengano propagati al set di dati BigQuery. I dati vengono esportati in ordine cronologico. Se l'esportazione è configurata per includere i dati retroattivamente per il mese corrente e quello precedente, potrebbero essere necessari fino a cinque giorni prima che i dati esportati raggiungano completamente i dati di utilizzo attuali.

Scopri di più sulla frequenza dei caricamenti dei dati nelle tabelle BigQuery.

Limitazioni

L'esportazione dei dati di fatturazione Cloud in BigQuery è soggetta alle seguenti limitazioni.

Schema della tabella per le esportazioni dei dati di fatturazione Cloud

Lo schema della tabella per una qualsiasi delle esportazioni dei dati di fatturazione Cloud può cambiare.

Quando lo schema della tabella cambia, ad esempio quando vengono aggiunti nuovi campi a uno schema di tabella BigQuery per un'esportazione dei dati di fatturazione Cloud, qualsiasi query che faccia riferimento diretto alle colonne esportate potrebbe non riuscire. Per risolvere il problema, ti consigliamo di creare viste BigQuery che eseguono query sulle tabelle esportate e presentano le informazioni nella struttura che preferisci.

Puoi quindi modificare le query che alimentano i report e le dashboard per estrarre i dati dalle visualizzazioni anziché dalle tabelle esportate. Utilizzando le visualizzazioni, puoi standardizzare la struttura dei dati utilizzati nelle query e nelle dashboard.

Le viste che crei devono normalizzare i dati in modo che tutte le tabelle pertinenti presentino lo stesso schema alle query. In questo modo, ti proteggi da future modifiche dello schema, consentendoti di modificare la query sottostante della vista nei casi in cui lo schema dei dati cambia.

Esportazione e conservazione dei dati FOCUS

I dati di fatturazione esportati nell'esportazione BigQuery FOCUS fornita da Google sono soggetti a una policy di durata (TTL) di due anni. I dati più vecchi di due anni vengono eliminati automaticamente dalla tabella di esportazione FOCUS fornita nel set di dati BigQuery. Se devi conservare la cronologia dei dati di fatturazione FOCUS per un periodo superiore a due anni, copia i dati FOCUS in una tabella di archiviazione a lungo termine di tua proprietà.

Località dei set di dati BigQuery e disponibilità dei dati

Posizioni dei set di dati BigQuery supportate per l'utilizzo con i dati di fatturazione Cloud:

I set di dati BigQuery sono configurati per utilizzare una posizione: una posizione multiregionale (UE o Stati Uniti) o una posizione regionale. La posizione del set di dati viene impostata al momento della creazione. Dopo la creazione di un set di dati, la sua posizione non può essere modificata.

L'esportazione dei dati di fatturazione Cloud supporta tutte le località multiregionali (UE o Stati Uniti), ma solo un sottoinsieme di località regionali. Quando configuri le impostazioni di esportazione della fatturazione Cloud, se crei o selezioni un set di dati configurato per utilizzare una posizione regione non supportata, quando tenti di salvare le impostazioni di esportazione, viene visualizzato un errore Regione del set di dati non valida.

La seguente tabella elenca le località multiregionali e le località regionali supportate per l'utilizzo con i set di dati BigQuery che contengono dati di fatturazione Cloud.

Americhe Asia Pacifico Europa Medio Oriente

Multi-regione: Stati Uniti

Regioni:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (San Paolo)
  • us-central1 (Iowa)
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regioni:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapore)
  • asia-southeast2 (Giacarta)
  • australia-southeast1 (Sydney)

Multi-regione: UE

Regioni:

  • europe-central2 (Varsavia)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgio)
  • europe-west2 (Londra)
  • europe-west3 (Francoforte)
  • europe-west4 (Paesi Bassi)
  • europe-west6 (Zurigo)

Regioni:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Località e disponibilità dei dati:

  • Per i tuoi set di dati BigQuery contenenti dati di costo di utilizzo FOCUS, dati di costo di utilizzo standard o dati di costo di utilizzo dettagliati, il tipo di località che configuri nel set di dati influisce sulla tempistica dell'esportazione dei dati di fatturazione Google Cloud nel set di dati:

    • Se configuri il set di dati in modo che utilizzi una posizione multiregionale (UE o Stati Uniti), il set di dati include i dati di fatturazione sostenuti dall'inizio del mese precedente rispetto a quando hai attivato per la prima volta l'esportazione, a meno che tu non stia riattivando l'esportazione. In altre parole, Google Cloud i dati di fatturazione vengono aggiunti retroattivamente per il mese corrente e quello precedente. Per il riempimento iniziale dei dati esportati, potrebbero essere necessari fino a cinque giorni prima che l'esportazione retroattiva dei dati di fatturazione Cloud Billing venga completata e tu possa iniziare a visualizzare i dati di utilizzo correnti. Google Cloud

    • Se il tuo set di dati è configurato per utilizzare una regione supportata, i tuoi dati di costo di utilizzo FOCUS, i dati di costo di utilizzo standard e i dati di costo di utilizzo dettagliati riflettono solo i dati di fatturazione sostenuti a partire dalla data in cui hai attivato l'esportazione della fatturazione Cloud e successivamente. Ciò significa che i dati di fatturazione non vengono aggiunti retroattivamente per le posizioni dei set di dati non multiregionali, quindi non vedrai i dati di fatturazione Cloud precedenti all'attivazione dell'esportazione. Google Cloud Google Cloud

    • Per maggiori dettagli, vedi Disponibilità dei dati.

  • I tuoi set di dati BigQuery contenenti dati sui prezzi raccolgono solo i dati di fatturazione Google Cloud sostenuti a partire dalla data in cui hai configurato l'esportazione di fatturazione Cloud e successivamente. ovvero i dati sui prezzi diGoogle Cloud non vengono aggiunti retroattivamente, quindi non vedrai i dati sui prezzi della fatturazione Cloud precedenti all'abilitazione dell'esportazione. Per maggiori dettagli, consulta Disponibilità dei dati.

Disattivare, riattivare o modificare le impostazioni di esportazione

Se disattivi, riattivi o modifichi le impostazioni di esportazione per aggiornare il progetto o il set di dati in cui sono archiviati i dati di fatturazione esportati, i dati di fatturazione esportati in precedenza non vengono riempiti nel nuovo set di dati. Per includere le informazioni di fatturazione esportate prima del passaggio a un progetto o set di dati diverso, devi unire manualmente il nuovo set di dati con il set di dati precedente. Per saperne di più, consulta Operazione di unione.

Crittografia del set di dati

I set di dati BigQuery sono configurati per utilizzare la crittografia at-rest impostando un'opzione per la chiave di crittografia quando crei il set di dati, ovvero una Google-owned and Google-managed encryption keyo una chiave di crittografia gestita dal cliente (CMEK). L'opzione di crittografia del set di dati può essere impostata solo al momento della creazione. Una volta creato un set di dati, la relativa impostazione di crittografia non può essere modificata.

Se hai già abilitato l'esportazione dei dati di fatturazione Cloud in BigQuery e il tuo set di dati è configurato per utilizzare unaGoogle-managed encryption key, puoi utilizzare lo strumento a riga di comando bq per abilitare CMEK in ogni tabella del set di dati. BigQuery utilizzerà automaticamente la chiave predefinita del set di dati per proteggere le tabelle di esportazione, a meno che tu non configuri diversamente.

Scopri di più sull'attivazione di CMEK per le tabelle BigQuery.

Sicurezza a livello di riga

Se vuoi utilizzare la sicurezza a livello di riga di BigQuery nella tabella che contiene i dati esportati, devi concedere al account di servizio di esportazione della fatturazione Cloud billing-export-bigquery@system.gserviceaccount.com l'accesso completo alla tabella utilizzando il filtro TRUE di BigQuery. Il seguente comando concede l'accesso al service account Fatturazione Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS o dati dettagliati sui costi di utilizzo e GKE

Quando esporti i dati di costo di utilizzo FOCUS o i dati di costo di utilizzo dettagliati, l'esportazione include automaticamente informazioni a livello di risorsa su Compute Engine e altri servizi. Tuttavia, per i dati di Google Kubernetes Engine (GKE), per visualizzare una suddivisione dei costi del cluster GKE in un'esportazione di dati FOCUS o dettagliati, devi anche attivare l'allocazione dei costi per GKE.

Tag a livello di risorsa

La propagazione dei tag a livello di risorsa alle esportazioni BigQuery potrebbe richiedere fino a un'ora. Se un tag è stato aggiunto o rimosso entro un'ora oppure se una risorsa esiste da meno di un'ora, potrebbe non essere visualizzato nell'esportazione.

I tag a livello di risorsa sono disponibili per diverse risorse nell'esportazione dei costi di utilizzo standard e nell'esportazione dei costi di utilizzo dettagliata.

Indietro
Configurare l'esportazione dei dati di fatturazione in BigQuery
Avanti
Informazioni sulle tabelle di dati di fatturazione in BigQuery