Prasyarat dan penyiapan

Untuk menyelesaikan tutorial kasus penggunaan silsilah, lakukan langkah-langkah penyiapan berikut:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   For new projects, the BigQuery API is automatically enabled.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan tutorial kasus penggunaan silsilah, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

• Pelihat Silsilah Data (roles/datalineage.viewer): di project tempat silsilah dicatat dan dilihat.
• BigQuery Data Viewer (roles/bigquery.dataViewer): di project penyimpanan tabel.
• BigQuery Resource Viewer (roles/bigquery.resourceViewer): di project komputasi tugas.
• Dataplex Catalog Viewer (roles/dataplex.catalogViewer): pada project tempat entri katalog disimpan.
• Editor Dataform (roles/dataform.editor): di project tempat ruang kerja dan repositori Anda berada.

Daftar berikut menjelaskan jenis project dan layanan yang terkait dengan peran yang diperlukan:

• Project penyimpanan menyimpan set data dan tabel BigQuery.
• Project komputasi memproses data Anda dan menyimpan metadata silsilah. Layanan ini digunakan untuk menjalankan tugas BigQuery dan transformasi data.
• Entri katalog berisi metadata yang menjelaskan tabel Anda, sehingga Anda dapat menemukan dan mengatur tabel tersebut tanpa mengakses data yang mendasarinya.
• Project silsilah mencatat dan memvisualisasikan histori data Anda dan transformasinya.
• Dataform adalah layanan yang digunakan untuk membangun, mengontrol versi, dan menjalankan pipeline data berbasis SQL. Layanan ini mengubah data mentah menjadi set data yang bersih dan terdokumentasi.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi. Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mulai

Untuk menyelesaikan tutorial, gunakan repositori kasus penggunaan silsilah Data. Repositori ini berisi kode yang telah ditentukan untuk menyiapkan set data dan menjalankan transformasi data.

Ringkasan set data

Setiap tutorial menggunakan set data dunia nyata yang berbeda, seperti data penyedia layanan kesehatan, data pekerjaan, atau data bisnis, untuk mendemonstrasikan silsilah data dalam skenario yang realistis.

Menyiapkan set data

Untuk melacak perubahan data dengan silsilah data, lakukan penyiapan satu kali ini:

1. Buat token akses pribadi dan simpan di Secret Manager.
2. Tautkan repositori ke Dataform.

Setelah penyiapan, jalankan transformasi data untuk memproses data dan membuat silsilah.