Memahami tabel data Penagihan Cloud di BigQuery

Dokumen ini memberikan informasi referensi untuk skema data Penagihan Cloud yang diekspor ke setiap tabel di BigQuery.

Tabel data penagihan

Segera setelah mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data penagihan akan otomatis dibuat dalam set data BigQuery.

  • Tabel biaya penggunaan FOCUS (Pratinjau) – Google menyediakan set data BigQuery yang tidak dapat diubah bernama: gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> dan tabel data FOCUS bernama: gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabel biaya penggunaan standar – Di set data BigQuery, tabel ini diberi nama gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabel biaya penggunaan mendetail – Tabel ini mencakup semua kolom data dari tabel biaya penggunaan standar, beserta kolom tambahan yang menyediakan data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan. Dalam set data BigQuery, tabel ini diberi nama gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabel data harga – Di set data BigQuery, nama tabel ini adalah cloud_pricing_export.
  • Metadata diskon abonemen (CUD) (Pratinjau) – Ini mencakup metadata CUD seperti ID akun penagihan, ID produk, ID model penggunaan, unit dan nilai jumlah komitmen, dan lainnya. Di set data BigQuery, nama tabel ini adalah cud_subscriptions_export.

Frekuensi pemuatan data

Ekspor biaya penggunaan FOCUS, standar, dan terperinci

  • Saat Anda pertama kali mengaktifkan ekspor biaya penggunaan FOCUS, standar, atau terperinci ke BigQuery, mungkin perlu waktu beberapa jam untuk mulai melihat Google Cloud penyebaran data biaya ke set data BigQuery Anda. Data diekspor dalam urutan kronologis. Jika ekspor Anda dikonfigurasi untuk menyertakan data secara retroaktif untuk bulan berjalan dan sebelumnya, mungkin perlu waktu hingga lima hari agar data yang diekspor sepenuhnya memenuhi data penggunaan Anda saat ini.
  • Google Cloud melaporkan data penggunaan dan biaya ke proses Penagihan Cloud pada berbagai interval.
  • Penagihan Cloud mengekspor data penggunaan dan biaya ke set data BigQuery Anda secara berkala (tidak ada jaminan pengiriman atau latensi untuk ekspor ke BigQuery).
  • Karena frekuensi pelaporan penggunaan bervariasi berdasarkan Google Cloud layanan, Anda mungkin tidak langsung melihat data penggunaan dan biaya Penagihan Cloud untuk semua layanan yang digunakan baru-baru ini Google Cloud .

Harga dan ekspor metadata CUD

  • Saat pertama kali mengaktifkan ekspor harga ke BigQuery, mungkin perlu waktu hingga 48 jam untuk mulai melihat data Google Cloud harga Anda.
  • Setelah Anda mengaktifkan ekspor harga, data harga yang berlaku untuk akun Penagihan Cloud Anda diekspor ke BigQuery sekali setiap hari.

Ketersediaan data

  • Bagi pelanggan yang mengaktifkan ekspor data biaya penggunaan FOCUS, standar, atau terperinci untuk pertama kalinya:

    • Jika Anda mengonfigurasi set data BigQuery untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), data Penagihan Cloud diekspor secara retroaktif dari awal bulan sebelumnya. Misalnya, jika Anda mengaktifkan ekspor data biaya penggunaan FOCUS, biaya penggunaan standar, atau biaya penggunaan terperinci pada 23 September, ekspor Anda akan menyertakan data mulai 1 Agustus.

      Kami mengekspor data dalam urutan kronologis, satu per satu, sehingga data dari hari pertama bulan lalu akan diisi terlebih dahulu. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan terbaru.

    • Jika Anda mengonfigurasi set data BigQuery untuk menggunakan lokasi region yang didukung, data biaya penggunaan FOCUS, biaya penggunaan standar, atau biaya penggunaan mendetail tersedia mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk pelanggan yang telah mengaktifkan, menonaktifkan, lalu mengaktifkan kembali ekspor data biaya penggunaan FOCUS, biaya penggunaan standar, atau biaya penggunaan mendetail, data Penagihan Cloud mungkin tidak tersedia selama periode saat ekspor dinonaktifkan secara eksplisit.

  • Jika Anda mengaktifkan ekspor data harga, set data BigQuery hanya mencerminkan data Penagihan Cloud yang terjadi dari tanggal saat Anda pertama kali mengaktifkan ekspor harga, dan setelahnya. Data harga Penagihan Cloud tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga untuk tanggal yang terjadi sebelum ekspor diaktifkan.

  • Data dalam set data BigQuery mencerminkan status resource Anda pada saat penggunaan dicatat. Jika Anda membuat perubahan pada resource, seperti menambahkan label baru ke project, atau mengubah hierarki project (yang akan mengubah project.ancestors), perubahan tersebut hanya ditampilkan di ekspor mendatang dari data penggunaan. Data yang diekspor sebelumnya tidak diubah.

  • Jika Anda menghapus data yang diekspor (seperti data ekspor BigQuery), kami tidak dapat mengisi ulang data yang dihapus.

  • Jika Anda mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data dari set data sebelumnya tidak otomatis diisi ulang ke set data baru; set data BigQuery baru hanya mencerminkan data Penagihan Cloud yang terjadi dari tanggal saat Anda mengubah setelan ekspor, dan setelahnya. Untuk menyertakan catatan lengkap data penagihan yang diekspor, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

  • Pemuatan BigQuery sesuai dengan ACID, jadi jika Anda membuat kueri set data ekspor Penagihan Cloud BigQuery saat data sedang dimuat ke dalamnya, Anda tidak akan menemukan data yang dimuat sebagian.

  • Lihat batasan lain yang mungkin memengaruhi ekspor data penagihan Anda ke BigQuery, seperti set data dengan kunci enkripsi yang dikelola pelanggan (CMEK) diaktifkan.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

Skema tabel untuk ekspor data Penagihan Cloud

Skema tabel untuk salah satu ekspor data Penagihan Cloud dapat berubah.

Saat skema tabel berubah, seperti saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang mereferensikan secara langsung kolom yang diekspor mungkin gagal. Untuk mengatasi hal ini, sebaiknya buat tampilan BigQuery yang membuat kueri tabel yang diekspor dan menyajikan informasi dalam struktur yang Anda inginkan.

Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk mengambil data dari tampilan, bukan tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandardisasi struktur data yang digunakan dalam kueri dan dasbor.

Tampilan yang Anda buat harus menormalisasi data sehingga semua tabel yang relevan menampilkan skema yang sama untuk kueri Anda. Tindakan ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri pokok tampilan dalam kasus saat skema data berubah.

Ekspor FOCUS dan retensi data

Data penagihan yang diekspor ke ekspor BigQuery FOCUS yang disediakan Google tunduk pada kebijakan Time To Live (TTL) 2 tahun. Data yang lebih lama dari dua tahun akan otomatis dihapus dari tabel ekspor FOCUS yang disediakan di set data BigQuery. Jika Anda perlu menyimpan histori data penagihan FOCUS lebih dari dua tahun, salin data FOCUS ke tabel penyimpanan jangka panjang yang Anda miliki.

Lokasi set data BigQuery dan ketersediaan data

Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud:

Set data BigQuery dikonfigurasi untuk menggunakan lokasi; baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

Amerika Asia Pasifik Eropa Timur Tengah

Multi-region: AS

Regions:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regions:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multi-region: EU

Regions:

  • europe-central2 (Warsawa)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgia)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Belanda)
  • europe-west6 (Zurich)

Regions:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Lokasi dan ketersediaan data:

  • Untuk set data BigQuery yang berisi data biaya penggunaan FOCUS, data biaya penggunaan standar, atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasi di set data memengaruhi waktu saat Google Cloud data penagihan diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (EU atau AS), set data tersebut akan menyertakan Google Cloud data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, Google Cloud data penagihan ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan FOCUS, data biaya penggunaan standar, dan data biaya penggunaan mendetail hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum Anda mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

Menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor

Jika Anda menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak akan diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum beralih ke project atau set data lain, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

Enkripsi set data

Set data BigQuery dikonfigurasi untuk menggunakan enkripsi dalam penyimpanan dengan menyetel opsi kunci enkripsi saat Anda membuat set data – baik Google-owned and Google-managed encryption key, atau kunci enkripsi yang dikelola pelanggan (CMEK). Anda dapat mengedit setelan enkripsi setelah membuat set data.

Jika Anda telah mengaktifkan ekspor data Penagihan Cloud ke BigQuery, dan set data Anda dikonfigurasi untuk menggunakanGoogle-managed encryption key, Anda dapat memperbarui set data dan tabelnya untuk menggunakan CMEK. Untuk memperbarui set data dan tabelnya, selesaikan langkah-langkah berikut:

  1. Tetapkan kunci default set data pada set data. Menyetel kunci default memastikan bahwa semua tabel baru yang dibuat di set data otomatis dilindungi dengan CMEK.
  2. Gunakan alat command line bq untuk mengaktifkan CMEK di setiap tabel yang ada dalam set data. Mengubah kunci default set data tidak akan otomatis mengenkripsi ulang tabel yang ada.

Pelajari cara mengaktifkan CMEK untuk tabel BigQuery.

Kebijakan organisasi CMEK

Anda dapat menggunakan kebijakan organisasi CMEK untuk menerapkan penggunaan CMEK bagi resource BigQuery Anda, termasuk ekspor penagihan, atau untuk mewajibkan CMEK berada di project yang disetujui. Namun, menerapkan kebijakan organisasi CMEK dapat menimbulkan efek yang tidak terduga berikut:

  • Proses ekspor mungkin gagal ke set data yang sudah ada sebelumnya: Saat Anda mengaktifkan batasan kebijakan organisasi baru, batasan tersebut tidak diterapkan ke set data yang ada. Artinya, Anda dapat memiliki set data yang masih ada, meskipun tidak lagi diizinkan. Namun, saat Anda mencoba mengekspor ke set data tersebut pada waktu berikutnya, proses ekspor akan gagal jika tidak dapat membuat tabel baru karena kebijakan organisasi yang baru diterapkan.

    Untuk menghindari situasi ini, tinjau secara proaktif konfigurasi ekspor penagihan yang ada setiap kali Anda memperbarui kebijakan organisasi, dan perbarui konfigurasi set data sesuai kebutuhan untuk mematuhi batasan restrictNonCmekServices dan restrictCmekCryptoKeyProjects.

  • Penerapan kebijakan organisasi yang tidak konsisten: Kebijakan organisasi tidak diterapkan saat Anda membuat set data kosong. Artinya, Anda dapat menerapkan batasan restrictNonCmekServices untuk mewajibkan resource BigQuery menggunakan CMEK untuk enkripsinya, tetapi kemudian berhasil membuat set data BigQuery yang dikonfigurasi untuk menggunakan Google-owned and Google-managed encryption keys. Namun, ekspor penagihan yang menggunakan set data tersebut akan gagal karena kebijakan organisasi tidak akan mengizinkan Anda membuat tabel yang tidak dilindungi CMEK saat batasan restrictNonCmekServices diterapkan untuk BigQuery.

    Untuk mengatasi situasi ini, perbarui enkripsi set data Anda untuk menetapkan kunci default set data yang mematuhi batasan restrictNonCmekServices dan restrictCmekCryptoKeyProjects Anda.

Keamanan tingkat baris

Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com akses penuh ke tabel menggunakan filter TRUE BigQuery. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Data biaya penggunaan mendetail atau FOCUS dan GKE

Saat mengekspor data biaya penggunaan FOCUS atau data biaya penggunaan mendetail, ekspor akan otomatis menyertakan informasi tingkat resource tentang Compute Engine dan layanan lainnya. Namun, untuk data Google Kubernetes Engine (GKE), guna melihat perincian biaya cluster GKE dalam ekspor data FOCUS atau mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

Tag tingkat resource

Tag tingkat Resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

Tag tingkat resource tersedia untuk beberapa resource dalam ekspor biaya penggunaan standar dan ekspor biaya penggunaan mendetail.

Sebelumnya
Menyiapkan ekspor FOCUS ke BigQuery
Berikutnya
Struktur ekspor data FOCUS