Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Halaman ini menjelaskan cara mengaktifkan dan menonaktifkan layanan Managed Service untuk Apache Airflow di Google Cloud project Anda.
Untuk mengetahui informasi tentang pengelolaan layanan di Google Cloud, lihat Mengaktifkan dan Menonaktifkan Layanan.
Untuk mengetahui daftar layanan yang diperlukan oleh Managed Airflow dalam konfigurasi Kontrol Layanan VPC, lihat Mengonfigurasi Kontrol Layanan VPC.
Layanan yang diperlukan oleh Managed Service untuk Apache Airflow
Bagian ini menjelaskan layanan yang diperlukan oleh Managed Airflow (Gen 3). Dalam beberapa kasus, administrator organisasi atau project dapat membatasi layanan Google yang dapat digunakan dalam project mereka.
Layanan berikut diperlukan oleh Managed Airflow (Gen 3):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com, jika Anda menggunakan kunci Cloud KMS atau CMEK
secretmanager.googleapis.com, jika Anda menggunakan Secret Manager sebagai backend secret
Layanan Google seperti Cloud DNS atau IAM sudah diizinkan secara default di sebagian besar project.
Aktifkan layanan Managed Airflow
Bagian ini menjelaskan cara mengaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum Anda mengaktifkan layanan
Untuk mengaktifkan layanan Managed Airflow, Anda harus memiliki izin Identity and Access Management yang benar. Untuk mempelajari persyaratan IAM untuk Service Usage, lihat halaman Service Usage untuk Kontrol Akses.
Pastikan penagihan diaktifkan di project Anda.
Aktifkan Cloud Composer API
Konsol
Aktifkan Cloud Composer API:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud
Aktifkan API composer.googleapis.com:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud services enable composer.googleapis.com
API
Gunakan metode services.enable untuk mengaktifkan
API composer.googleapis.com.
Terraform
Gunakan resource google_project_service
untuk mengonfigurasi composer.googleapis.com API.
Mengaktifkan layanan yang diperlukan oleh DAG Anda
Selain layanan yang diperlukan oleh Managed Airflow, aktifkan semua layanan yang digunakan DAG Anda, misalnya:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Anda dapat menemukan nama *.googleapis.com dari layanan di halaman API yang ditautkan dari halaman API Explorer.
Menonaktifkan layanan Managed Airflow
Bagian ini menjelaskan cara menonaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum Anda menonaktifkan layanan
Untuk menonaktifkan layanan Managed Airflow, Anda harus memiliki izin Identity and Access Management yang benar. Untuk mempelajari persyaratan IAM untuk Service Usage, lihat halaman Service Usage untuk Kontrol Akses.
Pastikan semua lingkungan Managed Airflow di project Anda telah dihapus. Menonaktifkan API akan menghapus bagian project tenant lingkungan Managed Airflow secara permanen, dan lingkungan ini menjadi tidak dapat digunakan.
Untuk menghindari biaya tambahan, selesaikan langkah-langkah berikut untuk setiap lingkungan sebelum Anda menonaktifkan Cloud Composer API:
- Jeda DAG.
- Jika diperlukan, ekspor data lingkungan, seperti DAG dari bucket lingkungan.
- Hapus lingkungan Anda, termasuk resource yang tidak dihapus secara otomatis.
Nonaktifkan Cloud Composer API
Untuk menonaktifkan layanan Managed Airflow:
Konsol
Di konsol Google Cloud , buka halaman Cloud Composer API.
Klik Kelola.
Klik Disable API.
gcloud
Jalankan perintah gcloud services disable:
gcloud services disable composer.googleapis.com
API
Gunakan metode services.disable untuk menonaktifkan
composer.googleapis.com API.
Terraform
Hapus konfigurasi untuk composer.googleapis.com API. Anda biasanya
menggunakan resource google_project_service
untuk mengonfigurasi layanan Google Cloud .
Penghentian penggunaan layanan yang tidak diperlukan oleh Managed Airflow (Gen 3)
Kami menghentikan penggunaan API yang tidak diperlukan oleh Managed Airflow (Gen 3).
Dependensi API berikut belum dilepaskan dan dijadwalkan untuk dilepaskan dari Cloud Composer API pada masa mendatang:
- sqladmin.googleapis.com
API berikut menjadi sepenuhnya dapat dilepas. Menonaktifkan API ini tidak akan menyebabkan penonaktifan Cloud Composer API:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
Semua API yang tercantum sebagai terlepas tidak lagi diaktifkan secara otomatis saat Anda mengaktifkan Cloud Composer API. Untuk membuat lingkungan Managed Airflow (Gen 2) di project baru, aktifkan grup API yang tidak terlampir selain Cloud Composer API.
Lingkungan Managed Airflow (Gen 3) dan Managed Airflow (Gen 2) yang sudah ada di project tempat Cloud Composer API sudah diaktifkan tidak terpengaruh oleh perubahan ini. Anda dapat melakukan hal berikut:
Jika project Anda hanya memiliki lingkungan Managed Airflow (Gen 3), Anda dapat menonaktifkan API yang dilepaskan secara manual.
Jika project Anda memiliki lingkungan Managed Airflow (Gen 2), sebaiknya tetap aktifkan API ini karena menonaktifkannya dapat menyebabkan malfungsi lingkungan.
Jika Anda menggunakan skrip otomatisasi untuk menyediakan lingkungan Managed Airflow (Gen 2), pastikan API yang tercantum diaktifkan selain Cloud Composer API. Anda dapat mengaktifkannya secara manual atau dengan perintah gcloud CLI.