Merutekan peristiwa di seluruh project Google Cloud

Standar

Tutorial ini menunjukkan cara menggunakan Eventarc untuk membaca peristiwa dari a sumber di satu Google Cloud project dan merutekannya ke tujuan target di project lain Google Cloud . Hal ini dapat dilakukan dengan menggunakan Pub/Sub sebagai lapisan transpor lintas project.

Tujuan

Dalam tutorial ini, Anda akan:

1. Membuat topik di satu project, lalu memublikasikan ke topik tersebut dari project lain. Tindakan ini merutekan peristiwa ke layanan Cloud Run yang dapat diakses secara publik menggunakan pemicu Eventarc.

2. Menggunakan notifikasi Pub/Sub untuk Cloud Storage guna memublikasikan peristiwa Cloud Storage dari satu project ke project lain. Merutekan peristiwa ke layanan Cloud Run yang dapat diakses secara publik menggunakan pemicu Eventarc.

3. Menggunakan sink Cloud Logging untuk memublikasikan Cloud Audit Logs dari satu project ke project lain. Merutekan peristiwa ke layanan Cloud Run yang dapat diakses secara publik menggunakan pemicu Eventarc.

Catatan: Semua layanan Cloud Run di-deploy secara pribadi secara default, sehingga layanan tersebut tidak dapat diakses tanpa memberikan kredensial autentikasi dalam permintaan. Untuk project dengan kebijakan organisasi berbagi yang dibatasi domain, gunakan layanan target Cloud Run yang diautentikasi, bukan layanan yang memungkinkan akses publik.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih berikut Google Cloud:

• Cloud Logging
• Cloud Run
• Cloud Storage
• Compute Engine
• Eventarc
• Pub/Sub

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Sebelum memulai

Batasan keamanan yang ditentukan oleh organisasi mungkin mencegah Anda menyelesaikan langkah-langkah berikut. Untuk mengetahui informasi pemecahan masalah, lihat Mengembangkan aplikasi di lingkungan yang terbatas. Google Cloud

Perhatikan bahwa Anda memerlukan dua project untuk tutorial ini. Langkah-langkah berikut berlaku untuk kedua project.

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

1. Perbarui komponen gcloud CLI:

   gcloud components update

2. Login menggunakan akun Anda:

   gcloud auth login

Merutekan peristiwa Pub/Sub di seluruh project

Karena Pub/Sub adalah layanan yang didistribusikan secara global, Anda dapat membuat topik di satu project, memublikasikan ke topik tersebut dari project lain, lalu memicu Eventarc yang merutekan pesan ke layanan Cloud Run:

1. Setel Google Cloud project ID ke project kedua Anda:

   gcloud config set project PROJECT_TWO_ID

   Ganti PROJECT_TWO_ID dengan ID project kedua Google Cloud Anda.

2. Di project kedua Anda, lakukan hal berikut:

   1. Aktifkan Cloud Run dan Eventarc API:

      gcloud services enable run.googleapis.com eventarc.googleapis.com

   2. Tetapkan lokasi default:

      REGION=REGION

      Ganti REGION dengan lokasi Eventarc yang didukung pilihan Anda. Contohnya, us-central1.

   3. Buat topik Pub/Sub:

      TOPIC=my-topic
      gcloud pubsub topics create $TOPIC

   4. Deploy layanan Cloud Run yang dapat diakses secara publik menggunakan image bawaan, us-docker.pkg.dev/cloudrun/container/hello:

      gcloud run deploy hello \
          --image=us-docker.pkg.dev/cloudrun/container/hello \
          --allow-unauthenticated \
          --region=$REGION

      Jika Anda melihat URL layanan, berarti deployment selesai.

   5. Hubungkan topik ke layanan dengan pemicu Eventarc:

      gcloud eventarc triggers create cross-project-trigger \
          --destination-run-service=hello \
          --destination-run-region=${REGION} \
          --location=${REGION} \
          --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
          --transport-topic=projects/PROJECT_TWO_ID/topics/$TOPIC

      Tindakan ini akan membuat pemicu yang disebut cross-project-trigger.

3. Setel Google Cloud project ID ke project pertama Anda:

   gcloud config set project PROJECT_ONE_ID

   Ganti PROJECT_ONE_ID dengan ID project pertama Google Cloud Anda.

4. Di project pertama Anda, publikasikan pesan ke topik di project kedua:

   gcloud pubsub topics publish projects/PROJECT_TWO_ID/topics/$TOPIC --message="hello"

5. Setel Google Cloud project ID ke project kedua Anda:

   gcloud config set project PROJECT_TWO_ID

6. Di project kedua Anda, pastikan peristiwa yang dihasilkan dicatat:

   gcloud logging read "resource.labels.service_name=hello AND jsonPayload.message:hello" --format=json

   Entri logging yang mirip dengan berikut ini akan ditampilkan:

   "message": "Received event of type google.cloud.pubsub.topic.v1.messagePublished. Event data: hello"

Merutekan peristiwa Cloud Storage di seluruh project

Gunakan notifikasi Pub/Sub untuk Cloud Storage guna memublikasikan peristiwa dari satu project ke project lain, lalu merutekan peristiwa ke layanan Cloud Run melalui pemicu Eventarc:

1. Setel Google Cloud project ID ke project pertama Anda:

   gcloud config set project PROJECT_ONE_ID

2. Buat bucket Cloud Storage:

   PROJECT1=$(gcloud config get-value project)
   BUCKET=$PROJECT1-cross-project
   gcloud storage buckets create gs://$BUCKET --location=${REGION}

3. Buat notifikasi Pub/Sub untuk bucket ke topik di project kedua Anda:

   gcloud storage buckets notifications create gs://$BUCKET --topic=projects/PROJECT_TWO_ID/topics/$TOPIC --payload-format=json

4. Upload file ke bucket:

   echo "Hello World" > random.txt
   gcloud storage cp random.txt gs://$BUCKET/random.txt

5. Setel Google Cloud project ID ke project kedua Anda:

   gcloud config set project PROJECT_TWO_ID

6. Di project kedua Anda, pastikan peristiwa yang dihasilkan dicatat:

   gcloud logging read "resource.labels.service_name=hello AND jsonPayload.message:random.txt" --format=json

   Entri logging yang mirip dengan berikut ini akan ditampilkan:

   Received event of type google.cloud.pubsub.topic.v1.messagePublished. Event data: {
     "kind": "storage#object",
     "id": "project1-cross-project/random.txt/1635327604259719",
     "selfLink": "https://www.googleapis.com/storage/v1/b/project1-cross-project/o/random.txt",
     "name": "random.txt",
     "bucket": "project1-cross-project",
     "generation": "1635327604259719",
   [...]
   }

Merutekan peristiwa Cloud Audit Logs di seluruh project

Permintaan ke layanan Anda dapat dipicu saat entri log audit dibuat yang cocok dengan kriteria filter pemicu. (Untuk mengetahui informasi selengkapnya, lihat Menentukan filter peristiwa untuk Cloud Audit Logs.) Dalam hal ini, saat instance VM Compute Engine dibuat di project pertama Anda, entri log audit yang cocok dengan kriteria filter pemicu memungkinkan Anda menangkap dan merutekan peristiwa ke layanan Cloud Run di project kedua:

1. Setel Google Cloud project ID ke project pertama Anda:

   gcloud config set project PROJECT_ONE_ID

2. Di project pertama Anda, aktifkan Jenis Log Admin Read, Data Read, dan Data Write untuk Compute Engine:

   Perhatikan bahwa di tingkat project, Anda memerlukan peran roles/owner Identity and Access Management (IAM) untuk mengonfigurasi log audit Akses Data untuk resource Google Cloud Anda.

   1. Baca kebijakan IAM project Anda dan simpan dalam file:

      gcloud projects get-iam-policy PROJECT_ONE_ID > /tmp/policy.yaml
      

   2. Edit /tmp/policy.yaml, tambahkan atau ubah hanya konfigurasi log audit Akses Data.

      Perhatian: Anda harus mempertahankan bagian bindings: dan etag: tanpa perubahan. Jika tidak melakukannya, project Anda mungkin tidak dapat digunakan.

      auditConfigs:
      - auditLogConfigs:
        - logType: ADMIN_READ
        - logType: DATA_READ
        - logType: DATA_WRITE
        service: compute.googleapis.com
      

   3. Tulis kebijakan IAM baru Anda:

      gcloud projects set-iam-policy PROJECT_ONE_ID /tmp/policy.yaml
      

      Jika perintah sebelumnya melaporkan konflik dengan perubahan lain, ulangi langkah-langkah ini, mulai dengan membaca kebijakan IAM project.

3. Di project pertama Anda, buat sink Cloud Logging untuk merutekan Cloud Audit Logs ke topik di project kedua Anda:

   gcloud logging sinks create cross-project-sink \
       pubsub.googleapis.com/projects/PROJECT_TWO_ID/topics/my-topic \
       --log-filter='protoPayload.methodName="beta.compute.instances.insert"'

   Pengingat yang mirip dengan berikut ini akan ditampilkan:

   Please remember to grant `serviceAccount:[e-mail]` the Pub/Sub Publisher role on the topic.

4. Setel Google Cloud project ID ke project kedua Anda:

   gcloud config set project PROJECT_TWO_ID

5. Di project kedua Anda, berikan peran ke akun layanan:

   gcloud pubsub topics add-iam-policy-binding my-topic \
       --member=SERVICE_ACCOUNT \
       --role=roles/pubsub.publisher

   Ganti SERVICE_ACCOUNT dengan alamat email akun layanan yang ditampilkan pada langkah sebelumnya.

6. Setel Google Cloud project ID ke project pertama Anda:

   gcloud config set project PROJECT_ONE_ID

7. Di project pertama Anda, buat instance VM Compute Engine.

   Jika menggunakan Google Cloud konsol untuk membuat instance VM, Anda dapat menerima nilai default untuk tujuan tutorial ini.

8. Setel Google Cloud project ID ke project kedua Anda:

   gcloud config set project PROJECT_TWO_ID

9. Di project kedua Anda, pastikan peristiwa yang dihasilkan dicatat:

   gcloud logging read "resource.labels.service_name=hello AND jsonPayload.message:beta.compute.instances.insert" --format=json

   Entri logging yang mirip dengan berikut ini akan ditampilkan:

   Received event of type google.cloud.pubsub.topic.v1.messagePublished. Eventdata: {
     "logName": "projects/workflows-atamel/logs/cloudaudit.googleapis.com%2Factivity",
     "operation": {
       "id": "operation-1635330842489-5cf5321f4f454-ecc363cd-3883c08d",
       "last": true,
       "producer": "compute.googleapis.com"
     },
     "protoPayload": {
       "@type": "type.googleapis.com/google.cloud.audit.AuditLog",
       "methodName": "beta.compute.instances.insert",
     }
   [...]
   }

Pembersihan

Jika Anda membuat project baru untuk tutorial ini, hapus project tersebut. Jika Anda menggunakan project yang sudah ada dan ingin mempertahankannya tanpa perubahan yang ditambahkan dalam tutorial ini, hapus resource yang dibuat untuk tutorial.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Google Cloud konsol, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource tutorial

1. Hapus layanan Cloud Run yang Anda deploy dalam tutorial ini:

   gcloud run services delete SERVICE_NAME

   Dengan SERVICE_NAME adalah nama layanan pilihan Anda.

   Anda juga dapat menghapus layanan Cloud Run dari Google Cloud konsol.

2. Hapus konfigurasi default gcloud CLI yang Anda tambahkan selama penyiapan tutorial.

   Contoh:

   gcloud config unset run/region

   atau

   gcloud config unset project

3. Hapusresource lain yang dibuat dalam tutorial ini: Google Cloud

   • Hapus pemicu Eventarc:

     gcloud eventarc triggers delete TRIGGER_NAME
     

     Ganti TRIGGER_NAME dengan nama pemicu Anda.

   • Menghapus topik Pub/Sub

     gcloud pubsub topics delete TOPIC TOPIC_ID
     

     Ganti TOPIC_ID dengan ID topik Anda.

   • Hapus sink Cloud Logging:

     gcloud logging sinks delete SINK_NAME
     

     Ganti SINK_NAME dengan nama sink Anda.

Langkah berikutnya

• Memahami lokasi Eventarc
• Mencoba tutorial lain