Membuat pipeline data

Membuat pipeline data

Panduan memulai ini menunjukkan cara melakukan hal berikut:

1. Membuat instance Cloud Data Fusion.
2. Men-deploy pipeline contoh yang disediakan dengan instance Cloud Data Fusion Anda. Pipeline ini melakukan hal berikut:
   1. Membaca file JSON yang berisi data buku terlaris NYT dari Cloud Storage.
   2. Menjalankan transformasi pada file untuk mengurai dan membersihkan data.
   3. Memuat buku berperingkat teratas yang ditambahkan pada minggu lalu dan harganya kurang dari $25 ke BigQuery.

Sebelum memulai

Selesaikan langkah-langkah berikut sebelum membuat pipeline data.

Menyiapkan project

Login ke akun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat instance Cloud Data Fusion dan mengelola pipeline, minta administrator Anda untuk memberi Anda peran IAM Admin Cloud Data Fusion (roles/datafusion.admin) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk menjalankan tugas Dataproc, minta administrator Anda untuk memberikan peran IAM berikut ke akun layanan default Compute Engine di project Anda:

Penting: Anda harus memberikan peran ini ke akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke principal yang benar dapat menyebabkan error izin.

• Pekerja Dataproc (roles/dataproc.worker)
• Runner Cloud Data Fusion (roles/datafusion.runner)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan default Compute Engine melalui peran khusus atau peran bawaan lainnya.

Membuat instance Cloud Data Fusion

1. Klik Create an instance.

   Buka Instances

2. Masukkan Instance name.
3. Masukkan Description untuk instance Anda.
4. Masukkan Region tempat instance akan dibuat.
5. Pilih Version Cloud Data Fusion yang akan digunakan.
6. Pilih Edition Cloud Data Fusion.
7. Untuk Cloud Data Fusion versi 6.2.3 dan yang lebih baru, di kolom Authorization, pilih Dataproc service account yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion Anda di Dataproc. Nilai default, akun Compute Engine, adalah telah dipilih sebelumnya.
8. Klik Create. Proses pembuatan instance memerlukan waktu hingga 30 menit. Saat Cloud Data Fusion membuat instance Anda, roda progres akan ditampilkan di samping nama instance di halaman Instances. Setelah selesai, roda progres akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.

Membuka antarmuka web Cloud Data Fusion

Saat menggunakan Cloud Data Fusion, Anda menggunakan Google Cloud konsol dan antarmuka web Cloud Data Fusion terpisah.

• Di Google Cloud konsol, Anda dapat melakukan hal berikut:

  • Membuat project Google Cloud konsol
  • Membuat dan menghapus instance Cloud Data Fusion
  • Melihat detail instance Cloud Data Fusion

• Di antarmuka web Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fungsi Cloud Data Fusion.

Untuk membuka antarmuka Cloud Data Fusion, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Instances.

   Buka Instances

2. Di kolom Actions instance, klik link View Instance.
3. Di antarmuka web Cloud Data Fusion, gunakan panel navigasi kiri untuk membuka halaman yang Anda butuhkan.

Men-deploy pipeline contoh

Pipeline contoh tersedia melalui Hub Cloud Data Fusion, yang memungkinkan Anda berbagi pipeline, plugin, dan solusi Cloud Data Fusion yang dapat digunakan kembali.

1. Di antarmuka web Cloud Data Fusion, klik Hub.
2. Di panel kiri, klik Pipelines.
3. Klik pipeline Cloud Data Fusion Quickstart.
4. Klik Create.
5. Di panel konfigurasi Cloud Data Fusion Quickstart, klik Finish.

6. Klik Customize Pipeline.

   Representasi visual pipeline Anda akan muncul di halaman Studio , yang merupakan antarmuka grafis untuk mengembangkan pipeline integrasi data. Plugin pipeline yang tersedia tercantum di sebelah kiri, dan pipeline Anda ditampilkan di area kanvas utama. Anda dapat menjelajahi pipeline dengan mengarahkan kursor ke setiap node pipeline dan mengklik Properties. Menu properti untuk setiap node memungkinkan Anda melihat objek dan operasi yang terkait dengan node tersebut.

7. Di menu kanan atas, klik Deploy. Langkah ini akan mengirimkan pipeline ke Cloud Data Fusion. Anda akan menjalankan pipeline di bagian berikutnya dari panduan memulai ini.

Melihat pipeline

Pipeline yang di-deploy akan muncul dalam tampilan detail pipeline, tempat Anda dapat melakukan hal berikut:

• Melihat struktur dan konfigurasi pipeline.
• Menjalankan pipeline secara manual atau menyiapkan jadwal atau pemicu.
• Melihat ringkasan histori operasi pipeline, termasuk waktu eksekusi, log, dan metrik.

Menjalankan pipeline

Dalam tampilan detail pipeline, klik Run untuk menjalankan pipeline Anda.

Saat menjalankan pipeline, Cloud Data Fusion akan melakukan hal berikut:

1. Menyediakan cluster Dataproc efemeral
2. Menjalankan pipeline di cluster menggunakan Apache Spark
3. Menghapus cluster

Catatan: Saat pipeline bertransisi ke status Running, Anda dapat memantau pembuatan dan penghapusan cluster Dataproc. Cluster ini hanya ada selama durasi pipeline.

Melihat hasil

Setelah beberapa menit, pipeline akan selesai. Status pipeline berubah menjadi Succeeded dan jumlah rekaman yang diproses oleh setiap node akan ditampilkan.

1. Buka antarmuka web BigQuery.

2. Untuk melihat contoh hasilnya, buka set data DataFusionQuickstart di project Anda, klik tabel top_rated_inexpensive, lalu jalankan kueri sederhana. Contoh:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Ganti PROJECT_ID dengan project ID Anda.

Pembersihan

Agar akunAnda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut. Google Cloud

1. Hapus set data BigQuery yang ditulis oleh pipeline Anda dalam panduan memulai ini.

2. Hapus instance Cloud Data Fusion.

   Catatan: Menghapus instance tidak akan menghapus data Anda di project.

3. Opsional: Hapus project.

Perhatian: Menghapus project memiliki efek berikut:
• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com , hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.
1. Di Google Cloud konsol, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Menyelesaikan tutorial Cloud Data Fusion tutorial
• Mempelajari konsep Cloud Data Fusion konsep