Managed Airflow (Generasi ke-3) | Managed Airflow (Generasi ke-2) | Managed Airflow (Generasi ke-1 Lama)
Halaman ini menjelaskan cara mengaktifkan dan menonaktifkan layanan Managed Service untuk Apache Airflow di project Anda Google Cloud .
Untuk mengetahui informasi tentang pengelolaan layanan di Google Cloud, lihat Mengaktifkan dan Menonaktifkan Layanan.
Untuk mengetahui daftar layanan yang diperlukan oleh Managed Airflow dalam konfigurasi Kontrol Layanan VPC, lihat Mengonfigurasi Kontrol Layanan VPC.
Layanan yang diperlukan oleh Managed Service untuk Apache Airflow
Bagian ini menjelaskan layanan yang diperlukan oleh Managed Airflow (Generasi ke-2). Dalam beberapa kasus, administrator organisasi atau project dapat membatasi layanan Google yang dapat digunakan dalam project mereka.
Layanan berikut diperlukan oleh Managed Airflow (Generasi ke-2):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com, jika Anda menggunakan kunci Cloud KMS atau CMEK
secretmanager.googleapis.com, jika Anda menggunakan Secret Manager sebagai backend rahasia
artifactregistry.googleapis.com
cloudbuild.googleapis.com
container.googleapis.com
pubsub.googleapis.com
(Hanya di Managed Airflow versi 2.0.*) deploymentmanager.googleapis.com
Layanan Google seperti Cloud DNS atau IAM sudah diizinkan secara default di sebagian besar project.
Mengaktifkan layanan Managed Airflow
Bagian ini menjelaskan cara mengaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum mengaktifkan layanan
Untuk mengaktifkan layanan Managed Airflow, Anda harus memiliki izin yang benar Identity and Access Management. Untuk mempelajari persyaratan IAM untuk Penggunaan Layanan, lihat halaman Penggunaan Layanan untuk Kontrol Akses.
Pastikan penagihan diaktifkan di project Anda.
Mengaktifkan Cloud Composer API
Konsol
Aktifkan Cloud Composer API:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud
Aktifkan composer.googleapis.com API:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud services enable composer.googleapis.com
API
Gunakan metode services.enable untuk mengaktifkan
composer.googleapis.com API.
Terraform
Gunakan google_project_service
resource untuk mengonfigurasi composer.googleapis.com API.
Mengaktifkan dependensi Managed Airflow (Generasi ke-2)
Untuk mengaktifkan semua dependensi yang diperlukan oleh Managed Airflow (Generasi ke-2), Anda dapat mengaktifkan grup layanan services/composer.googleapis.com/groups/dependencies@composer2 dengan perintah Google Cloud CLI berikut:
gcloud
Jalankan perintah gcloud beta services enable:
gcloud beta services enable composer.googleapis.com \
--group dependencies@composer2
Atau, Anda dapat mengaktifkan dependensi tambahan yang diperlukan oleh Managed Airflow (Generasi ke-2) secara manual, misalnya melalui Google Cloud konsol atau Terraform:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
Mengaktifkan layanan yang diperlukan oleh DAG Anda
Selain layanan yang diperlukan oleh Managed Airflow, aktifkan semua layanan yang digunakan DAG Anda, misalnya:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Anda dapat menemukan nama *.googleapis.com dari layanan di halaman API yang ditautkan dari halaman API Explorer.
Menonaktifkan layanan Managed Airflow
Bagian ini menjelaskan cara menonaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum menonaktifkan layanan
Untuk menonaktifkan layanan Managed Airflow, Anda harus memiliki izin yang benar Identity and Access Management. Untuk mempelajari persyaratan IAM untuk Penggunaan Layanan, lihat halaman Penggunaan Layanan untuk Kontrol Akses.
Pastikan semua lingkungan Managed Airflow di project Anda dihapus. Menonaktifkan API akan menghapus bagian project tenant dari lingkungan Managed Airflow secara permanen, dan lingkungan ini tidak dapat digunakan lagi.
Untuk menghindari biaya tambahan, selesaikan langkah-langkah berikut untuk setiap lingkungan sebelum Anda menonaktifkan Cloud Composer API:
- Jeda DAG.
- Jika diperlukan, ekspor data lingkungan, seperti DAG dari bucket lingkungan.
- Hapus lingkungan Anda, termasuk resource yang tidak dihapus secara otomatis.
Menonaktifkan Cloud Composer API
Untuk menonaktifkan layanan Managed Airflow:
Konsol
Di Google Cloud konsol, buka halaman Cloud Composer API.
Klik Kelola.
Klik Nonaktifkan API.
gcloud
Jalankan perintah gcloud services disable:
gcloud services disable composer.googleapis.com
API
Gunakan metode services.disable untuk menonaktifkan
API composer.googleapis.com.
Terraform
Hapus konfigurasi untuk composer.googleapis.com API. Biasanya, Anda
menggunakan resource google_project_service
untuk mengonfigurasi Google Cloud layanan.
Penghentian layanan yang tidak diperlukan oleh Managed Airflow (Generasi ke-3)
Kami menghentikan penggunaan API yang tidak diperlukan oleh Managed Airflow (Generasi ke-3).
Dependensi API berikut belum dilepas dan dijadwalkan untuk dilepas dari Cloud Composer API pada masa mendatang:
- sqladmin.googleapis.com
API berikut dapat dilepas sepenuhnya. Menonaktifkan API ini tidak akan menyebabkan penonaktifan Cloud Composer API:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
Semua API yang tercantum sebagai dilepas tidak lagi diaktifkan secara otomatis saat Anda mengaktifkan Cloud Composer API. Untuk membuat lingkungan Managed Airflow (Generasi ke-2) di project baru, aktifkan grup API yang dilepas selain Cloud Composer API.
Lingkungan Managed Airflow (Generasi ke-3) dan Managed Airflow (Generasi ke-2) yang ada di project tempat Cloud Composer API sudah diaktifkan tidak terpengaruh oleh perubahan ini. Anda dapat melakukan hal berikut:
Jika project Anda hanya memiliki lingkungan Managed Airflow (Generasi ke-3), Anda dapat menonaktifkan API yang dilepas secara manual.
Jika project Anda memiliki lingkungan Managed Airflow (Generasi ke-2), sebaiknya pertahankan API ini diaktifkan karena menonaktifkannya dapat menyebabkan malfungsi lingkungan.
Jika Anda menggunakan skrip otomatisasi untuk menyediakan lingkungan Managed Airflow (Generasi ke-2), pastikan API yang tercantum diaktifkan selain Cloud Composer API. Anda dapat mengaktifkannya secara manual atau dengan perintah gcloud CLI.