Mengelola persiapan data

Dokumen ini menjelaskan cara mengelola persiapan data BigQuery Anda, termasuk mengelola akses, pembuatan versi, performa, dan metadata. Dokumen ini juga menjelaskan cara melakukan tugas dasar, seperti melihat dan mendownload persiapan data Anda.

Persiapan data adalah resource BigQuery yang didukung oleh Dataform. Untuk mengetahui informasi selengkapnya, lihat Ringkasan penyiapan data BigQuery.

Sebelum memulai

1. Pastikan Anda telah mengaktifkan Gemini for Google Cloud API.
2. Untuk mengelola metadata penyiapan data di Knowledge Catalog, pastikan Dataplex API diaktifkan di project Google Cloud Anda.

Peran yang diperlukan

Pengguna yang menyiapkan data dan akun layanan Dataform yang menjalankan tugas memerlukan izin yang diberikan oleh peran Identity and Access Management (IAM) berikut.

Mendapatkan akses pengguna untuk penyiapan data

Untuk mendapatkan izin yang Anda perlukan untuk menyiapkan data di BigQuery, minta administrator untuk memberi Anda peran IAM berikut:

• Pengguna BigQuery Studio (roles/bigquery.studioUser) di project
• Pengguna Gemini untuk Google Cloud (roles/cloudaicompanion.user) di project
• Akses tabel sumber: BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel, set data, atau project
• Membagikan persiapan data: Pemilik Kode Dataform (roles/dataform.codeOwner) di tabel, set data, atau project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Untuk mengetahui informasi selengkapnya tentang IAM untuk set data di BigQuery, lihat artikel Memberi akses ke set data.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mendapatkan akses untuk mengelola metadata

Untuk mendapatkan izin yang Anda perlukan untuk mengelola metadata penyiapan data di Knowledge Catalog, pastikan Anda memiliki peran Knowledge Catalog yang diperlukan dan izin dataform.repositories.get.

Memberikan akses ke akun layanan Dataform

Untuk memastikan akun layanan Dataform memiliki izin yang diperlukan untuk menjalankan penyiapan data di BigQuery, minta administrator Anda untuk memberikan peran IAM berikut kepada akun layanan Dataform:

• Akses tabel sumber: BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel, set data, atau project
• Akses tabel tujuan: BigQuery Data Editor (roles/bigquery.dataEditor) di tabel, set data, atau project

Akun layanan Dataform mungkin memerlukan izin tambahan, bergantung pada pipeline penyiapan data Anda. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses yang diperlukan Dataform.

Pertimbangan keamanan untuk persiapan data

Karena aset kode di BigQuery didukung oleh Dataform, Anda harus mempertimbangkan implikasi keamanan berikut bagi pengguna yang memiliki akses ke aset ini:

• Visibilitas untuk aset kode diatur oleh izin Dataform level project. Pengguna dengan izin dataform.repositories.list—yang disertakan dalam peran BigQuery standar seperti BigQuery Job User, BigQuery Studio User, dan BigQuery User—dapat melihat semua aset kode di panel Explorer project Google Cloud , terlepas dari apakah mereka membuat aset ini atau aset ini dibagikan kepada mereka. Untuk membatasi visibilitas, Anda dapat membuat peran khusus yang mengecualikan izin dataform.repositories.list.
• Setiap rahasia yang dibagikan kepada agen layanan Dataform berpotensi diakses oleh pengguna yang dapat mengedit aset ini. Untuk mengamankan kredensial Anda, batasi akses pembuatan dan pengeditan hanya untuk pengguna tepercaya, dan batasi secret yang dapat diakses oleh agen layanan Dataform. Untuk mengetahui informasi selengkapnya, lihat Akses secret selama penginstalan paket.

Untuk mengetahui informasi selengkapnya, lihat Pertimbangan keamanan untuk izin Dataform.

Melihat persiapan data yang ada

Untuk melihat daftar persiapan data yang ada, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda.

4. Klik Persiapan data.

Mengoptimalkan persiapan data dengan memproses data secara inkremental

Untuk mengonfigurasi cara penulisan data yang disiapkan ke dalam tabel tujuan, ikuti langkah-langkah berikut.

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Persiapan data, lalu pilih persiapan data Anda.

4. Di toolbar penyiapan data, pilih Lainnya > Mode penulisan.

5. Pilih salah satu opsi. Untuk mengetahui informasi selengkapnya, lihat Mode tulis.

6. Klik Simpan.

Versi persiapan data

Anda dapat memilih untuk membuat penyiapan data di dalam atau di luar repositori. Pembuatan versi persiapan data ditangani secara berbeda berdasarkan lokasi persiapan data.

Pembuatan versi persiapan data di repositori

Repositori adalah repositori Git yang berada di BigQuery atau dengan penyedia pihak ketiga. Anda dapat menggunakan ruang kerja di repositori untuk melakukan kontrol versi pada penyiapan data. Untuk mengetahui informasi selengkapnya, lihat Menggunakan kontrol versi dengan file.

Pembuatan versi persiapan data di luar repositori

Persiapan data BigQuery yang tidak ada di repositori tidak mendukung penayangan, perbandingan, atau pemulihan versi persiapan data.

Untuk melihat daftar versi penyiapan data dalam urutan kronologis, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, klik Persiapan data, lalu pilih persiapan data Anda.

4. Klik Histori versi.

Mendownload persiapan data

Untuk mendownload penyiapan data dalam file SQLX, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, luaskan project Anda dan klik Persiapan data.

4. Klik nama penyiapan data yang ingin Anda download.

5. Klik Download. Penyiapan data disimpan dalam format file SQLX—misalnya, NAME data preparation.dp.sqlx.

Catatan: File penyiapan data yang dibuat sebelum Juli 2025 akan otomatis dimigrasikan ke format SQLX, yang mengubah cara penyimpanan dan pengoperasiannya. Migrasi satu kali ini dipicu dalam skenario berikut:

• Persiapan data yang ada akan dimigrasikan saat Anda membukanya.
• Penyiapan data dalam pipeline akan dimigrasikan saat Anda menyimpan atau memperbarui penyiapan data.

Mengupload persiapan data

Untuk mengupload penyiapan data dari file SQLX, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

3. Di panel Explorer, luaskan project Anda.

4. Klik Persiapan data, lalu klik more_vert Lihat tindakan > Upload ke Persiapan data.

5. Di dialog Upload penyiapan data, pilih file yang akan diupload, atau masukkan URL penyiapan data.

6. Masukkan nama untuk penyiapan data.

7. Pilih lokasi penyiapan data tempat resource dikelola dan disimpan.

8. Klik Upload.

Mengelola metadata di Knowledge Catalog

Knowledge Catalog memungkinkan Anda menyimpan dan mengelola metadata untuk persiapan data. Persiapan data tersedia di Knowledge Catalog secara default, tanpa konfigurasi tambahan.

Anda dapat menggunakan Knowledge Catalog untuk mengelola penyiapan data di semua lokasi BigQuery. Pengelolaan persiapan data di Knowledge Catalog tunduk pada kuota dan batas Knowledge Catalog dan harga Knowledge Catalog.

Knowledge Catalog secara otomatis mengambil metadata berikut dari penyiapan data:

• Nama aset data
• Induk aset data
• Lokasi aset data
• Jenis aset data
• Project Google Cloud yang sesuai

Knowledge Catalog mencatat persiapan data sebagai entri dengan nilai entri berikut:

Grup entri sistem

Grup entri sistem system entry group untuk penyiapan data adalah @dataform. Untuk melihat detail entri penyiapan data di Knowledge Catalog, Anda harus melihat grup entri sistem dataform. Untuk mengetahui petunjuk tentang cara melihat daftar semua entri dalam grup entri, lihat Melihat detail grup entri dalam dokumentasi Knowledge Catalog.

Jenis entri sistem

Jenis entri sistem untuk penyiapan data adalah dataform-code-asset. Untuk melihat detail persiapan data,Anda harus melihat jenis entri sistem dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke DATA_PREPARATION. Kemudian, pilih entri penyiapan data yang dipilih. Untuk mengetahui petunjuk tentang cara melihat detail jenis entri yang dipilih, lihat Melihat detail jenis entri dalam dokumentasi Knowledge Catalog. Untuk mengetahui petunjuk tentang cara melihat detail entri yang dipilih, lihat Melihat detail entri dalam dokumentasi Knowledge Catalog.

Jenis aspek sistem

Jenis aspek sistem untuk penyiapan data adalah dataform-code-asset. Untuk memberikan konteks tambahan pada persiapan data di Knowledge Catalog dengan memberi anotasi pada entri persiapan data dengan aspek, lihat jenis aspek dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke DATA_PREPARATION. Untuk mengetahui petunjuk tentang cara memberi anotasi pada entri dengan aspek, lihat Mengelola aspek dan memperkaya metadata dalam dokumentasi Knowledge Catalog.

Jenis

Jenis untuk kanvas data adalah DATA_PREPARATION. Jenis ini memungkinkan Anda memfilter penyiapan data dalam jenis entri sistem dataform-code-asset dan jenis aspek dataform-code-asset menggunakan kueri aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION dalam filter berbasis aspek.

Untuk mengetahui petunjuk tentang cara menelusuri aset, lihat Menelusuri aset data di Knowledge Catalog dalam dokumentasi Knowledge Catalog.

Langkah berikutnya

• Pelajari lebih lanjut cara menyiapkan data di BigQuery.
• Pelajari cara menjalankan persiapan data secara manual atau dengan jadwal.
• Pelajari cara membuat persiapan data.