Mengekspor data Penagihan Cloud ke BigQuery

Ekspor Penagihan Cloud ke BigQuery memungkinkan Anda mengekspor data penagihan mendetail (seperti data penggunaan, perkiraan biaya, dan data harga) secara otomatis sepanjang hari ke set data BigQuery. Google Cloud Kemudian, Anda dapat mengakses data Penagihan Cloud dari BigQuery untuk analisis yang mendetail. Anda juga dapat menggunakan metode ekspor ini untuk mengekspor data ke file JSON.

Ketepatan waktu adalah hal penting. Agar memiliki akses ke kumpulan data Google Cloud penagihan yang lebih komprehensif untuk kebutuhan analisis Anda, sebaiknya aktifkan ekspor data Penagihan Cloud ke BigQuery bersamaan dengan saat Anda membuat akun Penagihan Cloud.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Langkah berikutnya

Mengelola dan melaporkan biaya secara efektif merupakan bagian penting dalam pengelolaan keuangan, baik Anda menjalankan bisnis bernilai miliaran dolar atau anggaran rumah tangga kecil. Membuat keputusan berdasarkan data tentang Google Cloud biaya dan penggunaan dimulai dengan mengumpulkan data yang Anda perlukan sebagai dasar pengambilan keputusan tersebut.

Lihat panduan di bagian ini untuk mempelajari tugas-tugas berikut:

Menyiapkan ekspor data Penagihan Cloud ke BigQuery.

Untuk mulai mengumpulkan data Penagihan Cloud, Anda harus mengaktifkan ekspor data Penagihan Cloud ke BigQuery untuk setiap jenis ekspor penagihan yang Anda perlukan.

Berikut adalah jenis data Penagihan Cloud yang dapat Anda aktifkan untuk ekspor:

Jenis ekspor Deskripsi
Biaya penggunaan FOCUS (Pratinjau)

Ekspor biaya penggunaan FOCUS adalah set data BigQuery yang tidak dapat diubah yang berisi data biaya penggunaan mendetail yang dinormalisasi menggunakan standar FinOps Open Cost and Usage Specification (FOCUS). FOCUS adalah spesifikasi terbuka yang menentukan persyaratan yang jelas bagi generator data penagihan teknologi untuk menghasilkan set data biaya dan penggunaan set data. Kolom dalam ekspor FOCUS umumnya dipetakan ke kolom dalam Ekspor biaya penggunaan mendetail.

Pelajari cara mengaktifkan ekspor penagihan biaya penggunaan FOCUS.
Biaya penggunaan standar

Ekspor data Biaya penggunaan standar berisi informasi penggunaan biaya akun Penagihan Cloud standar, seperti ID akun, tanggal invoice, layanan, SKU, project, label, lokasi, biaya, penggunaan, kredit, penyesuaian, dan mata uang.

Gunakan ekspor Biaya penggunaan standar untuk menganalisis tren yang luas dalam data biaya Anda.

Pelajari cara mengaktifkan ekspor penagihan Biaya penggunaan standar.
Biaya penggunaan mendetail

Ekspor data Biaya penggunaan mendetail berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail. Skema ekspor mendetail mencakup semua yang ada dalam data biaya penggunaan standar ditambah data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan.

Gunakan ekspor Biaya penggunaan mendetail untuk menganalisis biaya pada tingkat resource, dan mengidentifikasi resource spesifik yang mungkin meningkatkan biaya Anda.

Ekspor mendetail mencakup informasi biaya terperinci tentang beberapa layanan. Untuk melihat informasi tentang GKE, Anda juga harus mengaktifkan alokasi biaya dalam ekspor mendetail. Tinjau skema data biaya penggunaan mendetail untuk mendapatkan rekomendasi dan batasan lebih lanjut.

Pelajari cara mengaktifkan ekspor penagihan Biaya penggunaan mendetail.
Data harga

Ekspor Data harga berisi informasi harga akun Penagihan Cloud seperti ID akun penagihan, layanan, SKU, produk, metadata geografis unit harga, mata uang, agregasi, dan tingkat.

Pelajari cara mengaktifkan ekspor Harga.

Anda juga bisa mendapatkan data harga akun Penagihan Cloud dengan cara berikut:
Ekspor Diskon Abonemen (Pratinjau) Untuk pelanggan yang membeli CUD, ekspor metadata Diskon abonemen (CUD) menyediakan ekspor metadata CUD harian ke tabel BigQuery, yang dapat Anda gabungkan dengan ekspor data penagihan lainnya untuk pengelolaan dan pelaporan CUD yang lebih baik. Metadata CUD mencakup informasi seperti ID akun penagihan, ID produk, ID model pemakaian, unit dan nilai jumlah komitmen, dan lainnya.
(Khusus reseller) Ekspor data penagihan ulang

Khusus Reseller, ekspor data Penagihan ulang berisi informasi penggunaan biaya akun Penagihan Cloud mendetail di semua Akun Penagihan Reseller Anda yang dianotasi dengan atribut khusus Partner.

Gunakan ekspor data Penagihan ulang untuk mengelola operasi penagihan bagi Google Cloud pelanggan Anda. Pelajari lebih lanjut konfigurasi Penetapan ulang harga yang memungkinkan Anda menghasilkan biaya pelanggan akhir.

Anda akan dikenai biaya penggunaan BigQuery saat menggunakan BigQuery untuk menyimpan dan menganalisis data penggunaan dan biaya penagihan. Untuk mengetahui informasi selengkapnya, lihat Biaya penggunaan BigQuery.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Memahami tabel data Penagihan Cloud

Setelah Anda mengaktifkan ekspor Penagihan Cloud ke BigQuery, Penagihan Cloud tabel data secara otomatis dibuat di Set data BigQuery.

Untuk memahami skema data konten yang diekspor, lihat informasi referensi untuk konten data Penagihan Cloud yang diekspor ke setiap tabel dalam set data BigQuery.

Menemukan contoh kueri untuk data Penagihan Cloud

Contoh kueri tersedia untuk berbagai jenis data penagihan yang diekspor.

Biaya penggunaan FOCUS

Untuk data penagihan FOCUS, lihat contoh kueri FOCUS yang tersedia di situs FinOps foundation.

Ekspor Biaya penggunaan standar, Biaya penggunaan mendetail, dan Harga

Untuk mendapatkan tips dan panduan menggunakan SQL guna menjalankan kueri pada data Penagihan Cloud Anda untuk ekspor Biaya penggunaan standar, Biaya penggunaan mendetail, dan Harga, lihat contoh kueri.

Di halaman contoh kueri, Anda akan menemukan berbagai contoh SQL, termasuk berikut ini:

Biaya penggunaan BigQuery

Anda akan dikenai biaya penggunaan BigQuery saat menggunakan BigQuery untuk menyimpan dan menganalisis data penggunaan dan biaya penagihan. Biaya utama di BigQuery adalah penyimpanan, untuk data yang disimpan di BigQuery, dan komputasi, yang digunakan untuk pemrosesan kueri.

Biaya BigQuery bergantung pada jumlah data yang Anda simpan dan jumlah data yang Anda kueri. Secara umum, biaya penyimpanan lebih rendah daripada biaya kueri.

Untuk mengetahui informasi selengkapnya tentang biaya BigQuery, lihat Memperkirakan dan mengontrol biaya di BigQuery.

Biaya penyimpanan

Biaya penyimpanan mencakup biaya untuk menyimpan data yang Anda muat ke BigQuery, dan bergantung pada model penagihan penyimpanan Anda.

  • Pemuatan data ke set data yang ditentukan tidak dikenakan biaya; tindakan ini memanfaatkan kumpulan sumber daya bersama milik BigQuery untuk memuat data dalam batch.
  • Banyak operasi tabel berpartisi tersedia gratis, termasuk memuat data ke dalam partisi, menyalin partisi, dan mengekspor data dari partisi. Meskipun gratis, operasi ini tunduk pada kuota dan batas BigQuery.
  • Ekspor FOCUS disediakan sebagai ekspor yang tidak dapat diubah, menggunakan set data tertaut yang dibayar oleh Google. Anda tidak dikenai biaya penyimpanan untuk data biaya penggunaan FOCUS selama dua tahun terakhir, kecuali jika Anda menyalin dan menyimpan data FOCUS dalam tabel penyimpanan jangka panjang yang Anda miliki.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya penyimpanan BigQuery, lihat Mengontrol biaya penyimpanan. Anda juga dapat mengoptimalkan penyimpanan untuk performa kueri.

Biaya kueri

Saat menganalisis data, Anda akan ditagih untuk semua data yang dibaca setiap kali kueri dijalankan. Menjalankan kueri berpotensi menyebabkan lonjakan biaya.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya saat menjalankan kueri di BigQuery, lihat Mengoptimalkan komputasi kueri.

Untuk mengetahui harga selengkapnya, baca harga BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

Skema tabel untuk ekspor data Penagihan Cloud

Skema tabel untuk ekspor data Penagihan Cloud dapat berubah.

Saat skema tabel berubah, seperti saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang mereferensikan secara langsung kolom yang diekspor mungkin akan gagal. Untuk mengatasi hal ini, sebaiknya buat tampilan BigQuery yang mengkueri tabel yang diekspor dan menyajikan informasi dalam struktur pilihan Anda.

Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk mengambil data dari tampilan, bukan dari tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandarkan struktur data yang digunakan dalam kueri dan dasbor.

Tampilan yang Anda buat harus menormalkan data sehingga semua tabel yang relevan menampilkan skema yang sama ke kueri Anda. Hal ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri yang mendasari tampilan dalam instance saat skema data berubah.

Ekspor FOCUS dan retensi data

Data penagihan yang diekspor ke ekspor BigQuery FOCUS yang disediakan Google tunduk pada kebijakan Time To Live (TTL) selama 2 tahun. Data yang lebih lama dari dua tahun akan otomatis dihapus dari tabel ekspor FOCUS yang disediakan di set data BigQuery. Jika Anda perlu menyimpan histori data penagihan FOCUS lebih dari dua tahun, salin data FOCUS ke tabel penyimpanan jangka panjang yang Anda miliki.

Lokasi set data BigQuery dan ketersediaan data

Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud:

Set data BigQuery dikonfigurasi untuk menggunakan lokasi; baik lokasi multi-region (EU atau AS), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

Amerika Asia Pasifik Eropa Timur Tengah

Multi-region: AS

Regions:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regions:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multi-region: EU

Regions:

  • europe-central2 (Warsawa)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgia)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Belanda)
  • europe-west6 (Zurich)

Regions:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Lokasi dan ketersediaan data:

  • Untuk set data BigQuery yang berisi data biaya penggunaan FOCUS, data biaya penggunaan standar, atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasikan di set data memengaruhi waktu saat Google Cloud data penagihan diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (EU atau AS), set data tersebut akan menyertakan data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Google Cloud Artinya, Google Cloud data penagihan ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, _data biaya penggunaan FOCUS_, _data biaya penggunaan standar_, dan _data biaya penggunaan mendetail_ hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

Menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor

Jika Anda menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak akan diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum beralih ke project atau set data lain, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

Enkripsi set data

Set data BigQuery dikonfigurasi untuk menggunakan enkripsi dalam penyimpanan dengan menetapkan opsi kunci enkripsi saat Anda membuat set data, baik kunci enkripsi yang dikelola Google Google-owned and Google-managed encryption key, atau kunci enkripsi yang dikelola pelanggan (CMEK). Opsi enkripsi set data hanya dapat ditetapkan pada waktu pembuatan. Setelah set data dibuat, setelan enkripsinya tidak dapat diubah.

Jika Anda telah mengaktifkan ekspor data Penagihan Cloud ke BigQuery, dan set data Anda dikonfigurasi untuk menggunakan Google-managed encryption keykunci enkripsi yang dikelola Google, Anda dapat menggunakan alat command line bq untuk mengaktifkan CMEK di setiap tabel dalam set data. BigQuery akan otomatis menggunakan kunci default set data untuk melindungi tabel ekspor, kecuali jika Anda mengonfigurasinya secara berbeda.

Pelajari cara mengaktifkan CMEK untuk tabel BigQuery.

Keamanan tingkat baris

Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akses penuh ke akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com ke tabel menggunakan filter BigQuery TRUE. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Data biaya penggunaan FOCUS atau mendetail dan GKE

Saat mengekspor data biaya penggunaan FOCUS atau data biaya penggunaan mendetail, ekspor akan otomatis menyertakan informasi tingkat resource tentang Compute Engine dan layanan lainnya. Namun, untuk data Google Kubernetes Engine (GKE), guna melihat a perincian biaya cluster GKE dalam ekspor data FOCUS atau mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

Tag tingkat resource

Tag tingkat Resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

Tag tingkat resource tersedia untuk beberapa resource dalam ekspor biaya penggunaan standar dan ekspor biaya penggunaan mendetail.

Berikutnya
Menyiapkan ekspor data penagihan ke BigQuery