Membuat cluster menggunakan Google Cloud konsol

Membuat cluster menggunakan Google Cloud konsol

Halaman ini menunjukkan cara menggunakan Google Cloud konsol untuk membuat cluster Managed Service for Apache Spark, menjalankan tugas Apache Spark dasar di cluster, lalu mengubah jumlah worker dalam cluster.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

---

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Peran yang diperlukan

Peran IAM tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran pengguna

Untuk mendapatkan izin yang Anda perlukan untuk membuat cluster Managed Service for Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

• Editor Dataproc (roles/dataproc.editor) di project
• Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan default Compute Engine

Peran akun layanan

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat cluster Managed Service for Apache Spark, minta administrator Anda untuk memberikan peran IAM Dataproc Worker (roles/dataproc.worker) ke akun layanan default Compute Engine di project.

Penting: Anda harus memberikan peran ini ke akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

Membuat cluster

1. Di Google Cloud konsol, buka halaman Clusters Managed Service for Apache Spark.

   Buka Cluster

2. Klik Create cluster.

3. Di dialog Create Dataproc cluster, klik Create di baris Cluster on Compute Engine.

4. Di kolom Cluster name, masukkan example-cluster.

5. Dalam daftar Region dan Zone, pilih region dan zona.

   Pilih region (misalnya, us-east1 atau europe-west1) untuk mengisolasi resource, seperti instance virtual machine (VM) dan lokasi penyimpanan Cloud Storage dan metadata yang digunakan oleh Managed Service for Apache Spark, di region tersebut. Untuk mengetahui informasi selengkapnya, lihat Region dan zona yang tersedia dan Region cluster.

6. Untuk semua opsi lainnya, gunakan setelan default.

7. Untuk membuat cluster, klik Create.

   Cluster baru Anda akan muncul dalam daftar di halaman Clusters. Statusnya adalah Provisioning hingga cluster siap digunakan, lalu statusnya berubah menjadi Running. Penyediaan cluster mungkin memerlukan waktu beberapa menit.

Mengirim tugas Spark

Kirim tugas Spark yang memperkirakan nilai Pi:

1. Di menu navigasi Managed Service for Apache Spark, klik Jobs.

2. Di halaman Jobs, klik Submit job, lalu lakukan hal berikut:

   1. Di kolom Job ID, gunakan setelan default, atau berikan ID yang unik untuk Google Cloud project Anda.
   2. Di drop-down Cluster, pilih example-cluster.
   3. Untuk Job type, pilih Spark.
   4. Di kolom Main class or jar, masukkan org.apache.spark.examples.SparkPi.
   5. Di kolom Jar files, masukkan file:///usr/lib/spark/examples/jars/spark-examples.jar.

   6. Di kolom Arguments, masukkan 1000 untuk menetapkan jumlah tugas.

      Catatan: Tugas Spark memperkirakan Pi menggunakan metode Monte Carlo. Metode ini menghasilkan titik x dan y pada bidang koordinat yang memodelkan lingkaran dalam satu bangun persegi. Argumen input (1000) menentukan jumlah pasangan x-y yang akan dihasilkan; makin banyak pasangan yang dihasilkan, tingkat akurasi perkiraan akan makin tinggi. Perkiraan ini menggunakan node pekerja Managed Service for Apache Spark untuk memparalelkan komputasi. Untuk mengetahui informasi selengkapnya, lihat Estimating Pi using the Monte Carlo Method dan JavaSparkPi.java di GitHub.

   7. Klik Submit.

      Tugas Anda akan ditampilkan di halaman Job details. Status tugas adalah Running atau Starting, lalu berubah menjadi Succeeded setelah dikirimkan.

      Untuk menghindari scroll di output, klik Line wrap: off. Outputnya mirip dengan berikut:

      Pi is roughly 3.1416759514167594
      

      Untuk melihat detail tugas, klik tab Configuration.

Mengupdate cluster

Update cluster Anda dengan mengubah jumlah instance pekerja:

1. Di menu navigasi Managed Service for Apache Spark, klik Clusters.
2. Dalam daftar cluster, klik example-cluster.

3. Di halaman Cluster details, klik tab Configuration.

   Setelan cluster Anda akan ditampilkan.

4. Klik Edit.

5. Di kolom Worker nodes, masukkan 5.

6. Klik Save.

Cluster Anda berhasil diperbarui. Untuk mengurangi jumlah node pekerja ke nilai aslinya, ikuti prosedur yang sama.

Pembersihan

Agar akunAnda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut. Google Cloud

1. Untuk menghapus cluster, di halaman Cluster details untuk example-cluster, klik Delete.
2. Untuk mengonfirmasi bahwa Anda ingin menghapus cluster, klik Delete.

Langkah berikutnya

• Coba panduan memulai ini menggunakan alat lain:
  • Menggunakan API Explorer.
  • Menggunakan Google Cloud CLI.
• Pelajari cara membuat aturan firewall yang kuat saat Anda membuat project.
• Pelajari cara menulis dan menjalankan tugas Spark Scala.