Menyiapkan ekspor data Penagihan Cloud FOCUS ke BigQuery

Dokumen ini menjelaskan semua langkah yang diperlukan untuk menyiapkan ekspor data Penagihan Cloud biaya penggunaan FOCUS ke BigQuery. Ekspor biaya penggunaan FOCUS adalah set data BigQuery yang tidak dapat diubah (set data tertaut) yang berisi data biaya penggunaan terperinci Anda yang dinormalisasi ke standar FinOps Open Cost and Usage Specification (FOCUS).

Untuk mengaktifkan ekspor data Penagihan Cloud biaya penggunaan FOCUS ke BigQuery, lakukan langkah-langkah berikut:

  • Buat project tempat data Penagihan Cloud yang diekspor akan disimpan, dan aktifkan penagihan pada project (jika Anda belum melakukannya).
  • Konfigurasikan izin pada project dan di akun Penagihan Cloud.
  • Aktifkan ekspor penagihan biaya penggunaan FOCUS.

Dokumen ini akan memandu Anda melalui detail setiap langkah.

Biaya penggunaan BigQuery dengan FOCUS Export

Anda akan dikenai biaya penggunaan BigQuery saat menggunakan BigQuery untuk menyimpan dan menganalisis data penggunaan dan biaya penagihan. Biaya utama di BigQuery adalah penyimpanan, untuk data yang disimpan di BigQuery, dan komputasi, yang digunakan untuk pemrosesan kueri.

Karena ekspor data penagihan FOCUS disediakan sebagai ekspor yang dikelola Google dan tidak dapat diubah (menggunakan set data tertaut), Anda tidak dikenai biaya penyimpanan untuk data FOCUS. Namun, Anda akan dikenai biaya saat mengkueri data FOCUS. Untuk mengetahui informasi selengkapnya, lihat Biaya penggunaan BigQuery.

Tentang konsol Google Cloud

Konsol Google Cloud (kunjungi dokumentasi, buka konsol) adalah UI web yang digunakan untuk menyediakan, mengonfigurasi, mengelola, dan memantau sistem yang menggunakan produkGoogle Cloud . Anda dapat menggunakan Google Cloud konsol untuk menyiapkan dan mengelola Google Cloud dan resource Penagihan Cloud.

Izin yang diperlukan untuk langkah ini

Untuk mengaktifkan dan mengonfigurasi ekspor FOCUS data Google Cloud penagihan biaya penggunaan, Anda memerlukan izin berikut:

Anda mungkin juga memerlukan izin project lainnya. Jika Anda adalah anggota Google Cloud Organisasi, untuk membuat project baru, Anda memerlukan peran Project Creator di Organisasi atau Folder. Secara khusus, untuk membuat project baru, Anda memerlukan izin berikut:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Untuk mengetahui informasi selengkapnya tentang Google Cloud izin, lihat:

Mengaktifkan ekspor data Penagihan Cloud ke BigQuery

Selesaikan tiga langkah di bagian ini untuk mengaktifkan ekspor biaya penggunaan FOCUS ke BigQuery.

1. Pilih atau buat project

Data Penagihan Cloud yang diekspor ke BigQuery terdapat dalam set data BigQuery. Set data dimuat dalam projectGoogle Cloud yang Anda tentukan.

Sebaiknya buat dan gunakan project Google Cloud terpisah untuk memenuhi semua kebutuhan administrasi penagihan dan FinOps Anda untuk akun Penagihan Cloud, termasuk data Penagihan Cloud yang diekspor. Pelajari lebih lanjut manfaat menggunakan project yang berfokus pada FinOps untuk kasus penggunaan administrasi penagihan Anda.

Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .

Peran yang diperlukan untuk memilih atau membuat project

  • Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
  • Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Buka pemilih project

Pelajari lebih lanjut tentang membuat dan mengelola project.

2. Memverifikasi bahwa penagihan diaktifkan

Anda harus memastikan bahwa penagihan diaktifkan pada Google Cloud project yang Anda pilih untuk memuat set data, dan bahwa Google Cloud project tersebut ditautkan ke akun Penagihan Cloud yang sama yang berisi data yang ingin diekspor ke set data BigQuery. Google Cloud

3. Mengaktifkan ekspor biaya penggunaan FOCUS ke BigQuery

Anda mengaktifkan ekspor data Penagihan Cloud di bagian Penagihan pada konsolGoogle Cloud .

Ekspor biaya penggunaan FOCUS menggunakan set data BigQuery yang disediakan Google dan tidak dapat diubah untuk memuat data biaya penggunaan mendetail Anda yang dinormalisasi menggunakan standar FinOps Open Cost and Usage Specification (FOCUS). FOCUS adalah spesifikasi terbuka yang menentukan persyaratan yang jelas bagi generator data penagihan teknologi untuk menghasilkan set data biaya dan penggunaan yang konsisten. Kolom dalam ekspor FOCUS umumnya dipetakan ke kolom dalam Ekspor biaya penggunaan mendetail.

Agar data Penagihan Cloud Anda dapat diekspor ke set data BigQuery FOCUS, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Ekspor penagihan.

    Buka halaman Ekspor penagihan

  2. Ketika diminta, pilih akun Penagihan Cloud yang data penagihannya ingin Anda ekspor. Halaman Ekspor penagihan akan terbuka untuk akun penagihan yang dipilih.

  3. Pada tab BigQuery Export, klik Aktifkan ekspor FOCUS untuk mengonfigurasi ekspor FOCUS.

  4. Dari daftar Project, pilih project yang Anda siapkan untuk memuat set data BigQuery.

    Di BigQuery, project yang Anda pilih digunakan untuk menyimpan data yang diekspor di set data FOCUS yang disediakan Google dan tidak dapat diubah.

    Untuk ekspor biaya penggunaan FOCUS, data Penagihan Cloud mencakup data penggunaan dan biaya untuk semua projectGoogle Cloud yang dibayar oleh akun Penagihan Cloud yang sama.

  5. BigQuery API diperlukan untuk mengekspor data ke BigQuery. Jika project yang Anda pilih belum mengaktifkan BigQuery API, Anda akan diminta untuk mengaktifkannya. Jika perlu, klik Aktifkan BigQuery API untuk mengaktifkan API.

  6. Pilih Lokasi data untuk set data FOCUS Anda. Lokasi data menentukan multi-region atau region tempat data Anda disimpan. Semua tabel dalam set data memiliki lokasi yang sama.

    1. Pilih Jenis Lokasi, baik Multi-region (direkomendasikan) atau Region.

    2. Pilih lokasi untuk Jenis Lokasi yang ditentukan.

      Sebaiknya pilih lokasi multi-region (EU atau AS) untuk ekspor data biaya penggunaan FOCUS (serta ekspor data biaya penggunaan standar dan biaya penggunaan terperinci). Ekspor Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS). Namun, hanya subkumpulan lokasi region set data yang didukung untuk ekspor Penagihan Cloud ke BigQuery.

      Lokasi yang Anda pilih dapat memengaruhi apakah data bulan sebelumnya ditambahkan ke set data secara retroaktif. Tinjau batasan untuk mengetahui informasi selengkapnya tentang lokasi set data dan ketersediaan data.

      Setelah Anda membuat set data, lokasi tidak dapat diubah. Pelajari lebih lanjut lokasi.

  7. Klik Simpan.

Set data dan tabel data FOCUS

Segera setelah Anda mengaktifkan ekspor biaya penggunaan FOCUS, BigQuery Export akan membuat set data dan tabel dengan data penagihan Anda di set data baru, berdasarkan setelan ekspor FOCUS Anda:

  • Set data yang tidak dapat diubah dibuat di project Google Cloud yang Anda tentukan saat mengaktifkan ekspor FOCUS, menggunakan pola penamaan ini:

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    Nama set data terdiri dari tiga komponen:

    1. gcp_billing_immutable - Nama set data untuk ekspor FOCUS.
    2. Billing_account_ID - ID akun Penagihan Cloud tempat ekspor FOCUS diaktifkan.
    3. Location - Lokasi region atau multi-region spesifik yang Anda pilih saat mengaktifkan ekspor FOCUS.

    Contoh nama set data: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • Tabel data penagihan FOCUS dibuat di set data FOCUS, dengan nama:

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    Contoh nama tabel: gcp_billing_export_focus_010101_F0FFF0_61C528

Memperbarui setelan ekspor biaya penggunaan FOCUS

Setelah mengaktifkan ekspor biaya penggunaan FOCUS ke BigQuery, Anda dapat mengubah berbagai setelan ekspor data, misalnya:

  • Ubah project tempat set data FOCUS Anda disimpan.
  • Ubah setelan wilayah set data FOCUS Anda. Mengubah setelan wilayah akan membuat set data baru yang tidak dapat diubah.
  • Nonaktifkan ekspor biaya penggunaan FOCUS.

Sebelum memperbarui project atau set data tempat data penagihan Anda disimpan, atau menonaktifkan ekspor FOCUS, tinjau batasan dan panduan ketersediaan data untuk mengetahui pengaruh pembaruan ini terhadap data penagihan FOCUS yang diekspor ke BigQuery.

Menonaktifkan ekspor biaya penggunaan FOCUS

Untuk menonaktifkan jenis data Penagihan Cloud yang diekspor ke BigQuery, lakukan hal berikut:

  1. Pilih Nonaktifkan Ekspor FOCUS.
  2. Pilih Konfirmasi untuk menyimpan pilihan Anda.

Jika Anda mengaktifkan kembali ekspor biaya penggunaan FOCUS nanti, Anda harus memilih kembali setelan project dan lokasi yang sama untuk menggunakan set data tetap yang sama yang dibuat saat Anda pertama kali mengaktifkan ekspor FOCUS. Kami tidak mendukung pengisian ulang data yang tidak diekspor selama periode waktu saat ekspor FOCUS dinonaktifkan.

Mengaktifkan kembali ekspor biaya penggunaan FOCUS

Untuk mengaktifkan kembali ekspor FOCUS yang sebelumnya dinonaktifkan, lihat Mengaktifkan ekspor data Penagihan Cloud ke BigQuery.

  • Untuk menggunakan set data tetap yang sama yang dibuat saat Anda pertama kali mengaktifkan ekspor FOCUS, pilih kembali setelan project dan region yang sama yang Anda gunakan sebelumnya.
  • Jika Anda memilih setelan project atau wilayah yang berbeda, set data baru yang tidak dapat diubah akan dibuat untuk Anda, dan data FOCUS Anda akan diekspor ke set data baru tersebut mulai tanggal Anda mengaktifkan kembali ekspor FOCUS.

Mengubah project atau set data ekspor biaya penggunaan FOCUS

Untuk memperbarui project atau set data tempat data penagihan FOCUS Anda disimpan, lakukan hal berikut:

  1. FOCUS menggunakan set data yang tidak dapat diubah yang dibuat untuk Anda saat Anda mengaktifkan ekspor biaya penggunaan FOCUS. Sebelum dapat mengedit setelan ekspor FOCUS, Anda harus Menonaktifkan ekspor FOCUS terlebih dahulu.
  2. Selanjutnya, pilih Aktifkan ekspor FOCUS dan pilih setelan project dan lokasi untuk ekspor FOCUS.

  3. Pilih Simpan untuk mengonfirmasi setelan ekspor FOCUS.

    Selama proses pengaktifan, jika Anda memilih project atau region yang berbeda dengan konfigurasi sebelumnya, set data baru yang tidak dapat diubah akan dibuat untuk Anda di project yang dipilih.

Tentang izin set data

Ekspor Penagihan Cloud ke BigQuery menggunakan akun layanan untuk mengelola izin set data.

Setelah Anda mengaktifkan ekspor FOCUS ke BigQuery, Google akan otomatis menambahkan akun layanan sebagai pemilik set data yang tidak dapat diubah yang disediakan Google. Akun layanan akan terlihat seperti ini:

billing-export-bigquery@system.gserviceaccount.com

Akun layanan dimiliki dan dikelola oleh Google serta menyediakan izin yang diperlukan agar proses offline kami dapat membuat set data dan tabel FOCUS serta menulis data Penagihan Cloud ke dalamnya.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Tabel data biaya penggunaan FOCUS

Segera setelah mengaktifkan ekspor biaya penggunaan FOCUS, BigQuery akan membuat set data yang tidak dapat diubah dan tabel data FOCUS dalam set data BigQuery yang tidak dapat diubah. Untuk mempelajari lebih lanjut skema tabel FOCUS, lihat Struktur ekspor data FOCUS.

Frekuensi pemuatan data

Saat pertama kali mengaktifkan ekspor biaya penggunaan FOCUS ke BigQuery, mungkin perlu waktu beberapa jam untuk mulai melihat penyebaran Google Cloud data biaya ke set data BigQuery Anda. Data diekspor dalam urutan kronologis. Jika ekspor Anda dikonfigurasi untuk menyertakan data secara retroaktif untuk bulan berjalan dan sebelumnya, mungkin perlu waktu hingga lima hari agar data yang diekspor sepenuhnya mengikuti data penggunaan Anda saat ini.

Pelajari lebih lanjut frekuensi pemuatan data ke tabel BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

Skema tabel untuk ekspor data Penagihan Cloud

Skema tabel untuk salah satu ekspor data Penagihan Cloud dapat berubah.

Saat skema tabel berubah, seperti saat kolom baru ditambahkan ke skema tabel BigQuery untuk ekspor data Penagihan Cloud, kueri apa pun yang mereferensikan secara langsung kolom yang diekspor mungkin gagal. Untuk mengatasi hal ini, sebaiknya buat tampilan BigQuery yang membuat kueri tabel yang diekspor dan menyajikan informasi dalam struktur yang Anda inginkan.

Kemudian, Anda dapat menyesuaikan kueri yang mengisi laporan dan dasbor untuk menarik data dari tampilan, bukan tabel yang diekspor. Dengan menggunakan tampilan, Anda dapat menstandardisasi struktur data yang digunakan dalam kueri dan dasbor.

Tampilan yang Anda buat harus menormalisasi data sehingga semua tabel yang relevan menampilkan skema yang sama untuk kueri Anda. Tindakan ini melindungi Anda dari perubahan skema di masa mendatang, sehingga Anda dapat mengubah kueri yang mendasari tampilan dalam kasus saat skema data berubah.

Ekspor FOCUS dan retensi data

Data penagihan yang diekspor ke ekspor BigQuery FOCUS yang disediakan Google tunduk pada kebijakan Waktu Aktif (TTL) 2 tahun. Data yang lebih lama dari dua tahun akan otomatis dihapus dari tabel ekspor FOCUS yang disediakan di set data BigQuery. Jika Anda perlu menyimpan histori data penagihan FOCUS Anda selama lebih dari dua tahun, salin data FOCUS ke tabel penyimpanan jangka panjang yang Anda miliki.

Lokasi set data BigQuery dan ketersediaan data

Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud:

Set data BigQuery dikonfigurasi untuk menggunakan lokasi; baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

Amerika Asia Pasifik Eropa Timur Tengah

Multi-region: AS

Regions:

  • northamerica-northeast1 (Montréal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regions:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tokyo)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multi-region: EU

Regions:

  • europe-central2 (Warsawa)
  • europe-north1 (Finlandia)
  • europe-west1 (Belgia)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Belanda)
  • europe-west6 (Zurich)

Regions:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Lokasi dan ketersediaan data:

  • Untuk set data BigQuery yang berisi data biaya penggunaan FOCUS, data biaya penggunaan standar, atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasi di set data memengaruhi waktu saat data penagihan diekspor ke set data: Google Cloud

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), set data tersebut akan menyertakan Google Cloud data penagihan yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, Google Cloud data penagihan ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan FOCUS, data biaya penggunaan standar, dan data biaya penggunaan mendetail hanya mencerminkan Google Cloud data penagihan yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data penagihan tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum Anda mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan Google Cloud data penagihan yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, Google Cloud data harga tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

Menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor

Jika Anda menonaktifkan, mengaktifkan kembali, atau mengedit setelan ekspor untuk memperbarui project atau set data tempat data penagihan yang diekspor disimpan, data penagihan yang diekspor sebelumnya tidak akan diisi ulang ke set data baru Anda. Untuk menyertakan informasi penagihan yang diekspor sebelum beralih ke project atau set data lain, Anda harus menggabungkan set data baru dengan set data sebelumnya secara manual. Untuk mengetahui informasi selengkapnya, lihat Operasi penggabungan.

Enkripsi set data

Set data BigQuery dikonfigurasi untuk menggunakan enkripsi dalam penyimpanan dengan menetapkan opsi kunci enkripsi saat Anda membuat set data – baik Google-owned and Google-managed encryption key, atau kunci enkripsi yang dikelola pelanggan (CMEK). Opsi enkripsi set data hanya dapat ditetapkan pada saat pembuatan. Setelah set data dibuat, setelan enkripsinya tidak dapat diubah.

Jika Anda telah mengaktifkan ekspor data Penagihan Cloud ke BigQuery, dan set data Anda dikonfigurasi untuk menggunakanGoogle-managed encryption key, Anda dapat menggunakan alat command line bq untuk mengaktifkan CMEK di setiap tabel dalam set data. BigQuery akan menggunakan kunci default set data secara otomatis untuk melindungi tabel ekspor, kecuali jika Anda mengonfigurasinya secara berbeda.

Pelajari cara mengaktifkan CMEK untuk tabel BigQuery.

Keamanan tingkat baris

Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan akun layanan ekspor Penagihan Cloud billing-export-bigquery@system.gserviceaccount.com akses penuh ke tabel menggunakan filter TRUE BigQuery. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Data biaya penggunaan mendetail atau FOCUS dan GKE

Saat mengekspor data biaya penggunaan FOCUS atau data biaya penggunaan mendetail, ekspor akan otomatis menyertakan informasi tingkat resource tentang Compute Engine dan layanan lainnya. Namun, untuk data Google Kubernetes Engine (GKE), guna melihat perincian biaya cluster GKE dalam ekspor data FOCUS atau mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

Tag tingkat resource

Tag tingkat Resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

Tag tingkat resource tersedia untuk beberapa resource dalam ekspor biaya penggunaan standar dan ekspor biaya penggunaan mendetail.

Sebelumnya
Menyiapkan ekspor data penagihan ke BigQuery
Berikutnya
Memahami tabel data penagihan di BigQuery