Memahami tabel data Penagihan Cloud di BigQuery

Dokumen ini menyediakan informasi referensi untuk skema data Penagihan Cloud yang diekspor ke setiap tabel di BigQuery.

Tabel data penagihan

Segera setelah mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data penagihan akan otomatis dibuat dalam set data BigQuery.

  • Tabel biaya penggunaan standar – Di set data BigQuery, tabel ini diberi nama gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabel biaya penggunaan mendetail – Tabel ini mencakup semua kolom data dari tabel biaya penggunaan standar, beserta kolom tambahan yang menyediakan data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan. Dalam set data BigQuery, tabel ini diberi nama gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabel data harga – Di set data BigQuery, nama tabel ini adalah cloud_pricing_export.
  • Metadata diskon abonemen (CUD) (Pratinjau) – Metadata ini mencakup metadata CUD seperti ID akun penagihan, ID produk, ID model konsumsi, unit dan nilai jumlah komitmen, dan lainnya. Di set data BigQuery, nama tabel ini adalah cud_subscriptions_export.

Frekuensi pemuatan data

Ekspor biaya penggunaan standar dan mendetail

Ekspor metadata harga dan CUD

  • Saat pertama kali mengaktifkan ekspor harga ke BigQuery, mungkin perlu waktu hingga 48 jam untuk mulai melihat data harga Anda. Google Cloud
  • Setelah Anda mengaktifkan ekspor harga, data harga yang berlaku untuk akun Penagihan Cloud Anda diekspor ke BigQuery sekali setiap hari.

Ketersediaan data

  • Untuk pelanggan yang mengaktifkan ekspor data biaya penggunaan standar atau mendetail untuk pertama kalinya:

    • Jika Anda mengonfigurasi set data BigQuery untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), data Penagihan Cloud diekspor secara retroaktif dari awal bulan sebelumnya. Misalnya, jika Anda mengaktifkan ekspor data biaya penggunaan standar atau biaya penggunaan mendetail pada tanggal 23 September, ekspor Anda akan menyertakan data mulai tanggal 1 Agustus.

      Kami mengekspor data dalam urutan kronologis, satu per satu, sehingga data dari hari pertama bulan lalu akan diisi terlebih dahulu. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan terbaru.

    • Jika Anda mengonfigurasi set data BigQuery untuk menggunakan lokasi region yang didukung, data biaya penggunaan standar atau biaya penggunaan mendetail tersedia sejak tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk pelanggan yang telah mengaktifkan, menonaktifkan, dan kemudian mengaktifkan kembali ekspor data biaya penggunaan standar atau biaya penggunaan mendetail, data Penagihan Cloud mungkin tidak tersedia untuk periode ketika ekspor dinonaktifkan secara eksplisit.

  • Jika Anda mengaktifkan ekspor data harga, set data BigQuery hanya mencerminkan data Penagihan Cloud yang terjadi dari tanggal saat Anda pertama kali mengaktifkan ekspor harga, dan setelahnya. Data harga Penagihan Cloud tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga untuk tanggal yang terjadi sebelum ekspor diaktifkan.

  • Data dalam set data BigQuery mencerminkan status resource Anda pada saat penggunaan dicatat. Jika Anda membuat perubahan pada resource, seperti menambahkan label baru ke project, atau mengubah hierarki project (yang akan mengubah project.ancestors), perubahan tersebut hanya ditampilkan di ekspor mendatang dari data penggunaan. Data yang diekspor sebelumnya tidak diubah.

  • Jika Anda menghapus data yang diekspor (seperti data ekspor BigQuery), kami tidak dapat mengisi ulang data yang dihapus.

  • Jika Anda mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data dari set data sebelumnya tidak akan otomatis diisi ulang ke set data baru; set data BigQuery baru hanya mencerminkan data Penagihan Cloud yang terjadi dari tanggal saat Anda mengubah setelan ekspor, dan setelahnya. Untuk menyertakan data penagihan yang diekspor secara lengkap, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

  • Pemuatan BigQuery sesuai dengan ACID, jadi jika Anda membuat kueri set data ekspor Penagihan Cloud BigQuery saat data sedang dimuat ke dalamnya, Anda tidak akan menemukan data yang dimuat sebagian.

  • Lihat batasan lain yang mungkin memengaruhi ekspor data penagihan Anda ke BigQuery, seperti set data dengan kunci enkripsi yang dikelola pelanggan (CMEK) diaktifkan.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

  • Skema tabel untuk ekspor data Penagihan Cloud dapat berubah

    Saat skema tabel berubah, misalnya saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang langsung mereferensikan kolom yang diekspor mungkin akan gagal. Untuk mengatasi hal ini, sebaiknya buat tampilan BigQuery yang membuat kueri tabel yang diekspor dan menyajikan informasi dalam struktur pilihan Anda.

    Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk mengambil data dari tampilan, bukan dari tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandarkan struktur data yang digunakan dalam kueri dan dasbor.

    Tampilan yang Anda buat harus menormalkan data sehingga semua tabel yang relevan menampilkan skema yang sama ke kueri Anda. Hal ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri yang mendasari tampilan dalam instance saat skema data berubah.

  • Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud

    Set data BigQuery dikonfigurasi untuk menggunakan lokasi; baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

    Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (Uni Eropa atau Amerika Serikat), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

    Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

    Amerika Asia Pasifik Eropa Timur Tengah

    Multi-region: AS

    Regions:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regions:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multi-region: EU

    Regions:

    • europe-central2 (Warsawa)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgia)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Belanda)
    • europe-west6 (Zurich)

    Regions:

    • me-central1 (Doha)
    • me-central2 (Dammam)
    • me-west1 (Tel Aviv)

  • Jika Anda mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak akan diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum pengalihan, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

  • Untuk set data BigQuery yang berisi data biaya penggunaan standar atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasikan di set data memengaruhi waktu saat Google Cloud data penagihan diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), set data tersebut akan menyertakan Google Cloud data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, Google Cloud data penagihan ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan standar dan detail data biaya penggunaan hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Saat mengekspor data biaya penggunaan mendetail, ekspor mendetail akan otomatis menyertakan informasi tingkat resource tentang Compute Engine. Untuk melihat perincian biaya cluster Google Kubernetes Engine (GKE) dalam ekspor data mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

  • Enkripsi set data

    Set data BigQuery dikonfigurasi untuk menggunakan enkripsi saat tidak aktif dengan menetapkan opsi kunci enkripsi saat Anda membuat set data – kunci enkripsi yang dikelola Google Google-owned and Google-managed encryption key, atau kunci enkripsi yang dikelola pelanggan (CMEK). Opsi enkripsi set data hanya dapat ditetapkan pada waktu pembuatan. Setelah set data dibuat, setelan enkripsinya tidak dapat diubah.

    Jika Anda sudah mengaktifkan ekspor data Penagihan Cloud ke BigQuery, dan set data Anda dikonfigurasi untuk menggunakan Google-managed encryption keykunci enkripsi yang dikelola Google, Anda dapat menggunakan alat command line bq`bq` untuk mengaktifkan CMEK di setiap tabel dalam set data. BigQuery akan otomatis menggunakan kunci default set data untuk melindungi tabel ekspor, kecuali jika Anda mengonfigurasinya secara berbeda.

    Pelajari cara mengaktifkan CMEK untuk tabel BigQuery.

  • Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akses penuh ke akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com ke tabel menggunakan filter BigQuery TRUE. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Tag tingkat resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, tag tersebut mungkin tidak muncul dalam ekspor.

    Tag tingkat resource tersedia untuk resource berikut:

    • Instance Compute Engine
    • Instance Spanner
    • Layanan Cloud Run
    • Repositori Artifact Registry

Laporan biaya dan harga yang tersedia di Google Cloud konsol

Sebelumnya
Menyiapkan ekspor data penagihan ke BigQuery
Berikutnya
Struktur ekspor data Standar