Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Halaman ini menjelaskan cara mengaktifkan dan menonaktifkan layanan Managed Service untuk Apache Airflow di project Google Cloud Anda.
Untuk mengetahui informasi tentang pengelolaan layanan di Google Cloud, lihat Mengaktifkan dan Menonaktifkan Layanan.
Untuk mengetahui daftar layanan yang diperlukan oleh Managed Airflow dalam konfigurasi Kontrol Layanan VPC, lihat Mengonfigurasi Kontrol Layanan VPC.
Layanan yang diperlukan oleh Managed Service untuk Apache Airflow
Bagian ini menjelaskan layanan yang diperlukan oleh Managed Airflow (Legacy Gen 1). Dalam beberapa kasus, administrator organisasi atau project dapat membatasi layanan Google yang dapat digunakan dalam project mereka.
Layanan berikut diperlukan oleh Managed Airflow (Legacy Gen 1):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
- cloudkms.googleapis.com, jika Anda menggunakan kunci Cloud KMS atau CMEK
secretmanager.googleapis.com, jika Anda menggunakan Secret Manager sebagai backend secret
deploymentmanager.googleapis.com
Layanan Google seperti Cloud DNS atau IAM sudah diizinkan secara default di sebagian besar project.
Mengaktifkan layanan Managed Airflow
Bagian ini menjelaskan cara mengaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum Anda mengaktifkan layanan
Untuk mengaktifkan layanan Managed Airflow, Anda harus memiliki izin Identity and Access Management yang benar, yang tersedia dalam peran Service Usage Admin.
Pastikan penagihan diaktifkan di project Anda.
Mengaktifkan Cloud Composer API
Konsol
Aktifkan Cloud Composer API:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud
Aktifkan composer.googleapis.com API:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
gcloud services enable composer.googleapis.com
API
Gunakan metode services.enable untuk mengaktifkan
API composer.googleapis.com.
Terraform
Gunakan resource google_project_service
untuk mengonfigurasi composer.googleapis.com API.
Mengaktifkan layanan yang diperlukan oleh DAG Anda
Selain layanan yang diperlukan oleh Managed Airflow, aktifkan semua layanan yang digunakan DAG Anda, misalnya:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Anda dapat menemukan nama *.googleapis.com layanan di halaman API yang ditautkan dari halaman API Explorer.
Menonaktifkan layanan Managed Airflow
Bagian ini menjelaskan cara menonaktifkan layanan Managed Airflow di project Google Cloud Anda.
Sebelum Anda menonaktifkan layanan
Untuk menonaktifkan layanan Managed Airflow, Anda harus memiliki izin Identity and Access Management yang benar. Untuk mempelajari persyaratan IAM untuk Service Usage, lihat halaman Service Usage untuk Kontrol Akses.
Pastikan semua lingkungan Managed Airflow di project Anda telah dihapus. Menonaktifkan API akan menghapus bagian project tenant dari lingkungan Managed Airflow secara permanen, dan lingkungan ini tidak dapat digunakan.
Agar tidak dikenai biaya tambahan, selesaikan langkah-langkah berikut untuk setiap lingkungan sebelum Anda menonaktifkan Cloud Composer API:
- Jeda DAG.
- Jika diperlukan, ekspor data lingkungan, seperti DAG dari bucket lingkungan.
- Hapus lingkungan Anda, termasuk resource yang tidak dihapus secara otomatis.
Menonaktifkan Cloud Composer API
Untuk menonaktifkan layanan Managed Airflow:
Konsol
Di konsol Google Cloud , buka halaman Cloud Composer API.
Klik Kelola.
Klik Disable API.
gcloud
Jalankan perintah gcloud services disable:
gcloud services disable composer.googleapis.com
API
Gunakan metode services.disable untuk menonaktifkan
composer.googleapis.com API.
Terraform
Hapus konfigurasi untuk composer.googleapis.com API. Anda biasanya menggunakan resource google_project_service untuk mengonfigurasi layanan Google Cloud .
Penghentian layanan yang tidak diperlukan oleh Managed Airflow (Gen 3)
Kami akan menghentikan API yang tidak diperlukan oleh Managed Airflow (Gen 3).
Dependensi API berikut belum dilepas dan dijadwalkan untuk dilepas dari Cloud Composer API di masa mendatang:
- sqladmin.googleapis.com
- pubsub.googleapis.com
API berikut menjadi sepenuhnya dapat dilepas. Menonaktifkan API ini tidak akan menyebabkan penonaktifan Cloud Composer API:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
Semua API yang tercantum sebagai terpisah tidak lagi diaktifkan secara otomatis saat Anda mengaktifkan Cloud Composer API. Untuk membuat lingkungan Managed Airflow (Gen 2) di project baru, aktifkan grup API terpisah selain Cloud Composer API.
Lingkungan Managed Airflow (Gen 3) dan Managed Airflow (Gen 2) yang sudah ada dalam project yang sudah mengaktifkan Cloud Composer API tidak akan terpengaruh oleh perubahan ini. Anda dapat melakukan hal berikut:
Jika project Anda hanya memiliki lingkungan Managed Airflow (Gen 3), Anda dapat menonaktifkan API yang dilepas secara manual.
Jika project Anda memiliki lingkungan Managed Airflow (Gen 2), sebaiknya biarkan API ini tetap aktif karena menonaktifkannya dapat menyebabkan lingkungan tidak berfungsi.
Jika Anda menggunakan skrip otomatisasi untuk menyediakan lingkungan Managed Airflow (Gen 2), pastikan API yang tercantum diaktifkan selain Cloud Composer API. Anda dapat mengaktifkannya secara manual atau dengan perintah gcloud CLI.