Membuat pipeline data

Membuat pipeline data

Panduan memulai ini menunjukkan cara melakukan hal berikut:

1. Buat instance Cloud Data Fusion.
2. Deploy pipeline sampel yang disediakan dengan instance Cloud Data Fusion Anda. Pipeline ini melakukan hal berikut:
   1. Membaca file JSON yang berisi data buku terlaris NYT dari Cloud Storage.
   2. Menjalankan transformasi pada file untuk mengurai dan membersihkan data.
   3. Memuat buku dengan rating teratas yang ditambahkan dalam seminggu terakhir dan harganya kurang dari $25 ke BigQuery.

Sebelum memulai

Selesaikan langkah-langkah berikut sebelum membuat pipeline data.

Menyiapkan project

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat instance Cloud Data Fusion dan mengelola pipeline, minta administrator untuk memberi Anda peran IAM Cloud Data Fusion Admin (roles/datafusion.admin) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk menjalankan tugas Managed Service for Apache Spark, minta administrator untuk memberikan peran IAM berikut kepada akun layanan default Compute Engine di project Anda:

Penting: Anda harus memberikan peran ini ke akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• Worker Dataproc (roles/dataproc.worker)
• Cloud Data Fusion Runner (roles/datafusion.runner)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan default Compute Engine melalui peran khusus atau peran bawaan lainnya.

Membuat instance Cloud Data Fusion

1. Klik Create an instance.

   Buka Instances

2. Masukkan Nama instance.
3. Masukkan Deskripsi untuk instance Anda.
4. Masukkan Region tempat instance akan dibuat.
5. Pilih Versi Cloud Data Fusion yang akan digunakan.
6. Pilih Edisi Cloud Data Fusion.
7. Untuk Cloud Data Fusion versi 6.2.3 dan yang lebih baru, di kolom Authorization, pilih akun layanan Managed Service for Apache Spark yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Managed Service for Apache Spark. Nilai default, akun Compute Engine, sudah dipilih sebelumnya.
8. Klik Create. Proses pembuatan instance memerlukan waktu hingga 30 menit. Saat Cloud Data Fusion membuat instance Anda, roda progres akan ditampilkan di samping nama instance di halaman Instances. Setelah selesai, ikon akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.

Membuka antarmuka web Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan Google Cloud konsol dan antarmuka web Cloud Data Fusion yang terpisah.

• Di konsol Google Cloud , Anda dapat melakukan hal berikut:

  • Buat project konsol Google Cloud
  • Membuat dan menghapus instance Cloud Data Fusion
  • Melihat detail instance Cloud Data Fusion

• Di antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fungsi Cloud Data Fusion.

Untuk mengakses antarmuka Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Instances.

   Buka Instances

2. Di kolom Tindakan instance, klik link Lihat Instance.
3. Di antarmuka web Cloud Data Fusion, gunakan panel navigasi kiri untuk membuka halaman yang Anda butuhkan.

Men-deploy pipeline sampel

Pipeline sampel tersedia melalui Hub Cloud Data Fusion, yang memungkinkan Anda berbagi pipeline, plugin, dan solusi Cloud Data Fusion yang dapat digunakan ulang.

1. Di antarmuka web Cloud Data Fusion, klik Hub.
2. Di panel kiri, klik Pipelines.
3. Klik pipeline Cloud Data Fusion Quickstart.
4. Klik Create.
5. Di panel konfigurasi Cloud Data Fusion Quickstart, klik Finish.

6. Klik Customize Pipeline.

   Representasi visual pipeline Anda akan muncul di halaman Studio, yang merupakan antarmuka grafis untuk mengembangkan pipeline integrasi data. Plugin pipeline yang tersedia tercantum di sebelah kiri, dan pipeline Anda ditampilkan di area kanvas utama. Anda dapat menjelajahi pipeline dengan menahan kursor di setiap node pipeline dan mengklik Properties. Menu properti untuk setiap node memungkinkan Anda melihat objek dan operasi yang terkait dengan node tersebut.

7. Di menu kanan atas, klik Deploy. Langkah ini mengirimkan pipeline ke Cloud Data Fusion. Anda akan menjalankan pipeline di bagian berikutnya dalam panduan memulai ini.

Melihat pipeline Anda

Pipeline yang di-deploy akan muncul di tampilan detail pipeline, tempat Anda dapat melakukan hal berikut:

• Melihat struktur dan konfigurasi pipeline.
• Menjalankan pipeline secara manual dan menyiapkan jadwal atau pemicu.
• Melihat ringkasan histori operasi pipeline, termasuk waktu eksekusi, log, dan metrik.

Menjalankan pipeline Anda

Di tampilan detail pipeline, klik Run untuk menjalankan pipeline Anda.

Saat menjalankan pipeline, Cloud Data Fusion akan melakukan hal berikut:

1. Menyediakan cluster Managed Service for Apache Spark sementara
2. Menjalankan pipeline di cluster menggunakan Apache Spark
3. Menghapus cluster

Catatan: Saat pipeline beralih ke status Running, Anda dapat memantau pembuatan dan penghapusan cluster Managed Service for Apache Spark. Cluster ini hanya ada selama durasi pipeline.

Melihat hasil

Setelah beberapa menit, pipeline akan selesai. Status pipeline berubah menjadi Succeeded dan jumlah kumpulan data yang diproses oleh setiap node akan ditampilkan.

1. Buka antarmuka web BigQuery.

2. Untuk melihat contoh hasil, buka set data DataFusionQuickstart di project Anda, klik tabel top_rated_inexpensive, lalu jalankan kueri sederhana. Contoh:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Ganti PROJECT_ID dengan project ID Anda.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

1. Hapus set data BigQuery yang ditulis oleh pipeline Anda dalam panduan memulai ini.

2. Hapus instance Cloud Data Fusion.

   Catatan: Menghapus instance tidak akan menghapus data Anda di project.

3. Opsional: Hapus project.

Perhatian: Penghapusan project memiliki efek berikut:
• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.
1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Menyelesaikan tutorial Cloud Data Fusion
• Pelajari konsep Cloud Data Fusion