Mengekspor data Penagihan Cloud ke BigQuery

Ekspor Penagihan Cloud ke BigQuery memungkinkan Anda mengekspor data penagihan Google Cloud yang mendetail (seperti data penggunaan, perkiraan biaya, dan harga) secara otomatis sepanjang hari ke set data BigQuery. Kemudian, Anda dapat mengakses data Penagihan Cloud dari BigQuery untuk analisis mendetail. Anda juga dapat menggunakan metode ekspor ini untuk mengekspor data ke file JSON.

Ketepatan waktu adalah hal penting. Untuk mengakses kumpulan Google Cloud data penagihan yang lebih komprehensif untuk kebutuhan analisis Anda, sebaiknya aktifkan ekspor data Penagihan Cloud ke BigQuery bersamaan dengan saat Anda membuat akun Penagihan Cloud.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Langkah berikutnya

Mengelola dan melaporkan biaya secara efektif merupakan bagian penting dalam pengelolaan keuangan, baik Anda menjalankan bisnis bernilai miliaran dolar atau anggaran rumah tangga kecil. Membuat keputusan berdasarkan data tentang biaya dan penggunaanGoogle Cloud dimulai dengan mengumpulkan data yang Anda perlukan sebagai dasar pengambilan keputusan tersebut.

Lihat panduan di bagian ini untuk mempelajari tugas-tugas berikut:

Menyiapkan ekspor data Penagihan Cloud ke BigQuery.

Untuk mulai mengumpulkan data Penagihan Cloud, Anda harus mengaktifkan ekspor data Penagihan Cloud ke BigQuery untuk setiap jenis ekspor penagihan yang Anda butuhkan.

Berikut adalah jenis data Penagihan Cloud yang dapat Anda aktifkan untuk diekspor:

Jenis ekspor Deskripsi
Biaya penggunaan FOCUS (Pratinjau)

Ekspor biaya penggunaan FOCUS adalah set data BigQuery yang tidak dapat diubah yang berisi data biaya penggunaan terperinci Anda yang dinormalisasi menggunakan standar FinOps Open Cost and Usage Specification (FOCUS). FOCUS adalah spesifikasi terbuka yang menentukan persyaratan yang jelas bagi generator data penagihan teknologi untuk menghasilkan set data biaya dan penggunaan yang konsisten. Kolom dalam ekspor FOCUS umumnya dipetakan ke kolom dalam Ekspor biaya penggunaan mendetail.

Pelajari cara mengaktifkan ekspor penagihan biaya penggunaan FOCUS.
Biaya penggunaan standar

Ekspor data biaya penggunaan standar berisi informasi penggunaan biaya akun Penagihan Cloud standar, seperti ID akun, tanggal invoice, layanan, SKU, project, label, lokasi, biaya, penggunaan, kredit, penyesuaian, dan mata uang.

Gunakan Ekspor biaya penggunaan standar untuk menganalisis tren luas dalam data biaya Anda.

Pelajari cara mengaktifkan ekspor penagihan Biaya penggunaan standar.
Biaya penggunaan mendetail

Ekspor data biaya penggunaan mendetail berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail. Skema ekspor mendetail mencakup semua yang ada dalam data biaya penggunaan standar ditambah data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan.

Gunakan Ekspor biaya penggunaan mendetail untuk menganalisis biaya di tingkat resource, dan mengidentifikasi resource tertentu yang mungkin meningkatkan biaya.

Ekspor mendetail mencakup informasi biaya terperinci tentang beberapa layanan. Untuk melihat informasi tentang GKE, Anda juga harus mengaktifkan alokasi biaya dalam ekspor mendetail. Tinjau skema data biaya penggunaan mendetail untuk mendapatkan rekomendasi dan batasan lebih lanjut.

Pelajari cara mengaktifkan ekspor penagihan Biaya penggunaan mendetail.
Data harga

Ekspor data harga berisi informasi harga akun Penagihan Cloud, seperti ID akun penagihan, layanan, SKU, produk, metadata geografis, unit harga, mata uang, agregasi, dan tingkat.

Pelajari cara mengaktifkan ekspor Harga.

Anda juga bisa mendapatkan data harga akun Penagihan Cloud dengan cara berikut:
Ekspor Diskon Penggunaan Berkelanjutan (Pratinjau) Untuk pelanggan yang membeli CUD, Ekspor metadata diskon penggunaan yang di-commit (CUD) menyediakan ekspor harian metadata CUD ke tabel BigQuery, yang dapat Anda gabungkan dengan ekspor data penagihan lainnya untuk pengelolaan dan pelaporan CUD yang lebih baik. Metadata CUD mencakup informasi seperti ID akun penagihan, ID produk, ID model pemakaian, unit dan nilai jumlah komitmen, dan lainnya.
(Khusus reseller) Ekspor data penagihan ulang

Khusus Reseller, Ekspor data penagihan ulang berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail di semua Akun Penagihan Reseller Anda yang dianotasi dengan atribut khusus Partner.

Gunakan ekspor data Penagihan ulang untuk mengelola operasi penagihan bagi pelanggan Google Cloud Anda. Pelajari lebih lanjut Konfigurasi penetapan ulang harga yang memungkinkan Anda menghasilkan biaya pelanggan akhir.

Anda akan dikenai biaya penggunaan BigQuery saat menggunakan BigQuery untuk menyimpan dan menganalisis data biaya dan penggunaan penagihan Anda. Untuk mengetahui informasi selengkapnya, lihat Biaya penggunaan BigQuery.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Memahami tabel data Penagihan Cloud

Setelah Anda mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data Penagihan Cloud akan otomatis dibuat di set data BigQuery.

Untuk memahami skema data konten yang diekspor, lihat informasi referensi untuk konten data Penagihan Cloud yang diekspor ke setiap tabel dalam set data BigQuery.

Menemukan contoh kueri untuk data Penagihan Cloud

Contoh kueri tersedia untuk berbagai jenis data penagihan yang diekspor.

Biaya penggunaan FOCUS

Untuk data penagihan FOCUS, lihat contoh kueri FOCUS yang tersedia di situs Dasar-dasar FinOps.

Ekspor Biaya penggunaan standar, Biaya penggunaan mendetail, dan Harga

Untuk mendapatkan tips dan panduan menggunakan SQL guna menjalankan kueri pada data Penagihan Cloud Anda untuk ekspor Biaya penggunaan standar, Biaya penggunaan mendetail, dan Harga, lihat contoh kueri.

Di halaman contoh kueri, Anda akan menemukan berbagai contoh SQL, termasuk berikut ini:

Biaya penggunaan BigQuery

Anda akan dikenai biaya penggunaan BigQuery saat menggunakan BigQuery untuk menyimpan dan menganalisis data biaya dan penggunaan penagihan Anda. Biaya utama di BigQuery adalah penyimpanan, untuk data yang disimpan di BigQuery, dan komputasi, yang digunakan untuk pemrosesan kueri.

Biaya BigQuery Anda bergantung pada jumlah data yang Anda simpan dan jumlah data yang Anda kueri. Umumnya, biaya penyimpanan lebih rendah daripada biaya kueri.

Untuk mengetahui informasi selengkapnya tentang biaya BigQuery, lihat artikel Memperkirakan dan mengontrol biaya di BigQuery.

Biaya penyimpanan

Biaya penyimpanan mencakup biaya untuk menyimpan data yang Anda muat ke BigQuery, dan bergantung pada model penagihan penyimpanan Anda.

  • Pemuatan data ke dataset yang ditentukan tidak dikenakan biaya; tindakan ini memanfaatkan kumpulan sumber daya bersama milik BigQuery untuk memuat data dalam batch.
  • Banyak operasi tabel berpartisi tersedia gratis, termasuk memuat data ke dalam partisi, menyalin partisi, dan mengekspor data dari partisi. Meskipun gratis, operasi ini tunduk pada kuota dan batas BigQuery.
  • Ekspor FOCUS disediakan sebagai ekspor yang tidak dapat diubah, menggunakan set data tertaut yang dibayar oleh Google. Anda tidak dikenai biaya penyimpanan untuk data biaya penggunaan FOCUS selama dua tahun terakhir, kecuali jika Anda menyalin dan menyimpan data FOCUS dalam tabel penyimpanan jangka panjang yang Anda miliki.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya penyimpanan BigQuery, lihat Mengontrol biaya penyimpanan. Anda juga dapat mengoptimalkan penyimpanan untuk performa kueri.

Biaya kueri

Saat menganalisis data, Anda akan ditagih untuk semua data yang dibaca setiap kali kueri dijalankan. Menjalankan kueri berpotensi menyebabkan lonjakan biaya.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya saat menjalankan kueri di BigQuery, lihat Mengoptimalkan komputasi kueri.

Untuk mengetahui harga selengkapnya, baca harga BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

Skema tabel untuk ekspor data Penagihan Cloud

Skema tabel untuk salah satu ekspor data Penagihan Cloud dapat berubah.

Saat skema tabel berubah, seperti saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang mereferensikan secara langsung kolom yang diekspor mungkin gagal. Untuk mengatasi hal ini, sebaiknya buat tampilan BigQuery yang membuat kueri tabel yang diekspor dan menyajikan informasi dalam struktur yang Anda inginkan.

Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk mengambil data dari tampilan, bukan tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandardisasi struktur data yang digunakan dalam kueri dan dasbor.

Tampilan yang Anda buat harus menormalisasi data sehingga semua tabel yang relevan menampilkan skema yang sama untuk kueri Anda. Tindakan ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri pokok tampilan dalam kasus saat skema data berubah.

Ekspor FOCUS dan retensi data

Data penagihan yang diekspor ke ekspor BigQuery FOCUS yang disediakan Google tunduk pada kebijakan Time To Live (TTL) 2 tahun. Data yang lebih lama dari dua tahun akan otomatis dihapus dari tabel ekspor FOCUS yang disediakan di set data BigQuery. Jika Anda perlu menyimpan histori data penagihan FOCUS lebih dari dua tahun, salin data FOCUS ke tabel penyimpanan jangka panjang yang Anda miliki.

Lokasi set data BigQuery dan ketersediaan data

Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud:

Set data BigQuery dikonfigurasi untuk menggunakan lokasi; baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

Amerika Asia Pasifik Eropa Timur Tengah

Multi-region: AS

Regions:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regions:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multi-region: EU

Regions:

  • europe-central2 (Warsawa)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgia)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Belanda)
  • europe-west6 (Zurich)

Regions:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Lokasi dan ketersediaan data:

  • Untuk set data BigQuery yang berisi data biaya penggunaan FOCUS, data biaya penggunaan standar, atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasi di set data memengaruhi waktu saat Google Cloud data penagihan diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (EU atau AS), set data tersebut akan menyertakan Google Cloud data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, Google Cloud data penagihan ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan FOCUS, data biaya penggunaan standar, dan data biaya penggunaan mendetail hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum Anda mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

Menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor

Jika Anda menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak akan diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum beralih ke project atau set data lain, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

Enkripsi set data

Set data BigQuery dikonfigurasi untuk menggunakan enkripsi dalam penyimpanan dengan menyetel opsi kunci enkripsi saat Anda membuat set data – baik Google-owned and Google-managed encryption key, atau kunci enkripsi yang dikelola pelanggan (CMEK). Anda dapat mengedit setelan enkripsi setelah membuat set data.

Jika Anda telah mengaktifkan ekspor data Penagihan Cloud ke BigQuery, dan set data Anda dikonfigurasi untuk menggunakanGoogle-managed encryption key, Anda dapat memperbarui set data dan tabelnya untuk menggunakan CMEK. Untuk memperbarui set data dan tabelnya, selesaikan langkah-langkah berikut:

  1. Tetapkan kunci default set data pada set data. Menyetel kunci default memastikan bahwa semua tabel baru yang dibuat di set data otomatis dilindungi dengan CMEK.
  2. Gunakan alat command line bq untuk mengaktifkan CMEK di setiap tabel yang ada dalam set data. Mengubah kunci default set data tidak akan otomatis mengenkripsi ulang tabel yang ada.

Pelajari cara mengaktifkan CMEK untuk tabel BigQuery.

Kebijakan organisasi CMEK

Anda dapat menggunakan kebijakan organisasi CMEK untuk menerapkan penggunaan CMEK bagi resource BigQuery Anda, termasuk ekspor penagihan, atau untuk mewajibkan CMEK berada di project yang disetujui. Namun, menerapkan kebijakan organisasi CMEK dapat menimbulkan efek yang tidak terduga berikut:

  • Proses ekspor mungkin gagal ke set data yang sudah ada sebelumnya: Saat Anda mengaktifkan batasan kebijakan organisasi baru, batasan tersebut tidak diterapkan ke set data yang ada. Artinya, Anda dapat memiliki set data yang masih ada, meskipun tidak lagi diizinkan. Namun, saat Anda mencoba mengekspor ke set data tersebut pada waktu berikutnya, proses ekspor akan gagal jika tidak dapat membuat tabel baru karena kebijakan organisasi yang baru diterapkan.

    Untuk menghindari situasi ini, tinjau secara proaktif konfigurasi ekspor penagihan yang ada setiap kali Anda memperbarui kebijakan organisasi, dan perbarui konfigurasi set data sesuai kebutuhan untuk mematuhi batasan restrictNonCmekServices dan restrictCmekCryptoKeyProjects.

  • Penerapan kebijakan organisasi yang tidak konsisten: Kebijakan organisasi tidak diterapkan saat Anda membuat set data kosong. Artinya, Anda dapat menerapkan batasan restrictNonCmekServices untuk mewajibkan resource BigQuery menggunakan CMEK untuk enkripsinya, tetapi kemudian berhasil membuat set data BigQuery yang dikonfigurasi untuk menggunakan Google-owned and Google-managed encryption keys. Namun, ekspor penagihan yang menggunakan set data tersebut akan gagal karena kebijakan organisasi tidak akan mengizinkan Anda membuat tabel yang tidak dilindungi CMEK saat batasan restrictNonCmekServices diterapkan untuk BigQuery.

    Untuk mengatasi situasi ini, perbarui enkripsi set data Anda untuk menetapkan kunci default set data yang mematuhi batasan restrictNonCmekServices dan restrictCmekCryptoKeyProjects Anda.

Keamanan tingkat baris

Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com akses penuh ke tabel menggunakan filter TRUE BigQuery. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Data biaya penggunaan mendetail atau FOCUS dan GKE

Saat mengekspor data biaya penggunaan FOCUS atau data biaya penggunaan mendetail, ekspor akan otomatis menyertakan informasi tingkat resource tentang Compute Engine dan layanan lainnya. Namun, untuk data Google Kubernetes Engine (GKE), guna melihat perincian biaya cluster GKE dalam ekspor data FOCUS atau mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

Tag tingkat resource

Tag tingkat Resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

Tag tingkat resource tersedia untuk beberapa resource dalam ekspor biaya penggunaan standar dan ekspor biaya penggunaan mendetail.

Berikutnya
Menyiapkan ekspor data penagihan ke BigQuery