Membuat pipeline Dataflow menggunakan Java

Dokumen ini menunjukkan cara menyiapkan project Google Cloud , membuat contoh pipeline yang dibangun dengan Apache Beam SDK untuk Java, dan menjalankan contoh pipeline di layanan Dataflow. Pipeline membaca file teks dari Cloud Storage, menghitung jumlah kata unik dalam file, lalu menulis kembali jumlah kata ke Cloud Storage. Untuk pengantar tentang pipeline WordCount, lihat video Cara menggunakan WordCount di Apache Beam.

Tutorial ini memerlukan Maven, tetapi project contoh juga dapat dikonversi dari Maven ke Gradle. Untuk mempelajari lebih lanjut, lihat Opsional: Mengonversi dari Maven ke Gradle.

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih Google Cloud project.

Peran yang diperlukan untuk memilih atau membuat project

Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Buat Google Cloud project:
```
gcloud projects create PROJECT_ID
```
Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.
Pilih project Google Cloud yang Anda buat:
```
gcloud config set project PROJECT_ID
```
Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, dan Cloud Resource Manager API:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Buat kredensial autentikasi lokal untuk akun pengguna Anda:

gcloud auth application-default login

Jika error autentikasi ditampilkan, dan Anda menggunakan penyedia identitas (IdP) eksternal, konfirmasi bahwa Anda telah login ke gcloud CLI dengan identitas gabungan Anda.

Memberikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

Ganti kode berikut:

PROJECT_ID: Project ID Anda.
USER_IDENTIFIER: ID untuk akun pengguna Anda. Misalnya, myemail@example.com.
ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih Google Cloud project.

Peran yang diperlukan untuk memilih atau membuat project

Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Buat Google Cloud project:
```
gcloud projects create PROJECT_ID
```
Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.
Pilih project Google Cloud yang Anda buat:
```
gcloud config set project PROJECT_ID
```
Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, dan Cloud Resource Manager API:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Buat kredensial autentikasi lokal untuk akun pengguna Anda:

gcloud auth application-default login

Jika error autentikasi ditampilkan, dan Anda menggunakan penyedia identitas (IdP) eksternal, konfirmasi bahwa Anda telah login ke gcloud CLI dengan identitas gabungan Anda.

Memberikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

Ganti kode berikut:

PROJECT_ID: Project ID Anda.
USER_IDENTIFIER: ID untuk akun pengguna Anda. Misalnya, myemail@example.com.
ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.

Berikan peran ke akun layanan default Compute Engine Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" --role=SERVICE_ACCOUNT_ROLE
```
- Ganti PROJECT_ID dengan project ID Anda.
- Ganti PROJECT_NUMBER dengan nomor project Anda. Untuk menemukan nomor project Anda, lihat Mengidentifikasi project atau gunakan perintah gcloud projects describe.
- Ganti SERVICE_ACCOUNT_ROLE dengan setiap peran individual.
Buat bucket Cloud Storage dan konfigurasikan sebagai berikut:
- Tetapkan kelas penyimpanan ke S (Standard).
- Tetapkan lokasi penyimpanan sebagai berikut: US (Amerika Serikat).
- Ganti BUCKET_NAME dengan nama bucket yang unik. Jangan sertakan informasi sensitif pada nama bucket karena namespace bucket bersifat global dan dapat dilihat publik.
```
gcloud storage buckets create gs://BUCKET_NAME --default-storage-class STANDARD --location US
```
Salin kode berikut karena Anda akan memerlukannya di bagian selanjutnya:
- Nama bucket Cloud Storage Anda.
- ID project Google Cloud Anda. Untuk menemukan ID ini, lihat Mengidentifikasi project.
Download dan instal Java Development Kit (JDK) versi 11. (Dataflow terus mendukung versi 8.) Pastikan variabel lingkungan JAVA_HOME telah ditetapkan dan menunjuk ke penginstalan JDK Anda.
Download dan instal Apache Maven, dengan mengikuti panduan penginstalan Maven untuk sistem operasi spesifik Anda.

Mendapatkan kode pipeline

Apache Beam SDK adalah model pemrograman open source untuk pipeline pemrosesan data. Anda menentukan pipeline ini dengan program Apache Beam dan dapat memilih runner, seperti Dataflow, untuk menjalankan pipeline Anda.

Di shell atau terminal, gunakan Plugin Archetype Maven untuk membuat project Maven di komputer Anda yang berisi contoh WordCount Apache Beam SDK:
```
mvn archetype:generate \
    -DarchetypeGroupId=org.apache.beam \
    -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
    -DarchetypeVersion=2.71.0 \
    -DgroupId=org.example \
    -DartifactId=word-count-beam \
    -Dversion="0.1" \
    -Dpackage=org.apache.beam.examples \
    -DinteractiveMode=false
```
Perintah ini akan membuat direktori baru bernama word-count-beam di bawah direktori Anda saat ini. Direktori word-count-beam berisi file pom.xml sederhana dan serangkaian contoh pipeline yang menghitung kata dalam file teks.
Verifikasi bahwa direktori word-count-beam Anda berisi file pom.xml:
Linux atau macOS
```
cd word-count-beam/
ls
```
Outputnya adalah sebagai berikut:
```
pom.xml   src
```
Windows
```
cd word-count-beam/
dir
```
Outputnya adalah sebagai berikut:
```
pom.xml   src
```

Pastikan project Maven Anda berisi contoh pipeline:

Linux atau macOS

ls src/main/java/org/apache/beam/examples/

Outputnya adalah sebagai berikut:

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

Windows

dir src/main/java/org/apache/beam/examples/

Outputnya adalah sebagai berikut:

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

Untuk pengantar mendetail tentang konsep Apache Beam yang digunakan dalam contoh ini, lihat Contoh WordCount Apache Beam. Petunjuk di bagian berikutnya menggunakan WordCount.java.

Menjalankan pipeline secara lokal

Di shell atau terminal Anda, jalankan pipeline WordCount secara lokal dari direktori word-count-beam Anda:
```
mvn compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--output=counts"
```
File output memiliki awalan counts dan ditulis ke direktori word-count-beam. Objek ini berisi kata-kata unik dari teks input dan jumlah kemunculan setiap kata.

Menjalankan pipeline di layanan Dataflow

Di shell atau terminal Anda, bangun dan jalankan pipeline WordCount di layanan Dataflow dari direktori word-count-beam Anda:
```
mvn -Pdataflow-runner compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=REGION"
```
Ganti kode berikut:
- PROJECT_ID: Project ID Google Cloud Anda
- BUCKET_NAME: nama bucket Cloud Storage Anda
- REGION: region Dataflow, seperti us-central1
Catatan:
- Untuk menentukan akun layanan worker yang dikelola pengguna, sertakan --serviceAccount opsi pipeline. Akun layanan worker yang dikelola pengguna direkomendasikan untuk workload produksi. Jika Anda tidak menentukan akun layanan worker saat membuat tugas, Dataflow akan menggunakan akun layanan default Compute Engine.
- Kecuali jika ditentukan melalui opsi network, pelari Dataflow menjalankan tugas di jaringan Virtual Private Cloud default.

Melihat hasil penelusuran Anda

Di konsol Google Cloud , buka halaman Tugas Dataflow.
Buka Tugas
Halaman Tugas menampilkan detail semua tugas yang tersedia, termasuk statusnya. Status tugas wordcount awalnya Running, lalu diperbarui menjadi Succeeded.
Di konsol Google Cloud , buka halaman Buckets Cloud Storage.
Buka Bucket
Halaman Buckets menampilkan daftar semua bucket penyimpanan di project Anda.
Klik bucket penyimpanan yang Anda buat.

Halaman Bucket details menampilkan file output dan file staging yang dibuat oleh tugas Dataflow Anda.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, hapus project Google Cloud yang berisi resource tersebut.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus Google Cloud project yang Anda buat untuk panduan memulai.

Perhatian: Penghapusan project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Di Konsol Google Cloud , buka halaman Manage resources.
Buka Kelola resource
Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda ingin mempertahankan Google Cloud project yang Anda gunakan dalam panduan memulai ini, hapus masing-masing resource:

Di konsol Google Cloud , buka halaman Buckets Cloud Storage.
Buka Buckets
Klik kotak centang untuk bucket yang ingin Anda dihapus.
Untuk menghapus bucket, klik Hapus, lalu ikuti petunjuk.
Cabut peran yang Anda berikan ke akun layanan default Compute Engine. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects remove-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=SERVICE_ACCOUNT_ROLE
```
Opsional: Cabut kredensial autentikasi yang Anda buat, dan hapus file kredensial lokal.
```
gcloud auth application-default revoke
```
Opsional: Cabut kredensial dari gcloud CLI.
```
gcloud auth revoke
```

Langkah berikutnya

Pelajari model pemrograman Apache Beam.
Pelajari cara menggunakan Apache Beam untuk membangun pipeline.
Pelajari contoh WordCount dan Game Seluler.