Untuk lebih mendukung kesuksesan dan preferensi pelanggan yang terus meningkat terhadap solusi OSS, Cloud Composer berkembang menjadi Managed Service for Apache Airflow. Perubahan nama ini meningkatkan pemahaman pelanggan tentang portofolio kami sekaligus memperkuat komitmen kami untuk menjadi ekosistem cloud yang paling terbuka.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Mengonfigurasi Kontrol Layanan VPC

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Kontrol Layanan VPC memungkinkan organisasi menentukan perimeter di sekitar Google Cloud resource untuk mengurangi risiko pemindahan data yang tidak sah.

Lingkungan Managed Airflow dapat di-deploy dalam perimeter layanan. Dengan mengonfigurasi lingkungan Anda menggunakan Kontrol Layanan VPC, Anda dapat menjaga privasi data sensitif sekaligus memanfaatkan kemampuan orkestrasi alur kerja yang terkelola sepenuhnya di Managed Airflow.

Dukungan Kontrol Layanan VPC untuk Managed Airflow berarti:

Managed Airflow kini dapat dipilih sebagai layanan yang diamankan di dalam perimeter Kontrol Layanan VPC.
Semua resource pokok yang digunakan oleh Managed Airflow dikonfigurasi untuk mendukung arsitektur Kontrol Layanan VPC dan mengikuti aturannya.

Men-deploy lingkungan Managed Airflow dengan Kontrol Layanan VPC akan memberi Anda:

Mengurangi risiko pemindahan data yang tidak sah.
Perlindungan terhadap eksposur data karena kontrol akses yang salah dikonfigurasi.
Mengurangi risiko pengguna berbahaya menyalin data ke resource yang tidak sah, atau penyerang eksternal mengakses resource dari internet.Google Cloud Google Cloud

Tentang Kontrol Layanan VPC di Managed Airflow

Semua batasan jaringan Kontrol Layanan VPC juga berlaku untuk lingkungan Managed Airflow Anda. Lihat dokumentasi Kontrol Layanan VPC untuk mengetahui detailnya.

Jika lingkungan Managed Airflow dilindungi oleh perimeter, akses ke repositori PyPI publik akan dibatasi. Lihat Menginstal paket PyPI di Kontrol Layanan VPC untuk mengetahui informasi selengkapnya.
Jika lingkungan Anda menggunakan jaringan IP Pribadi, semua traffic internal dirutekan ke jaringan VPC Anda, kecuali traffic ke API, layanan, dan domain Google yang tersedia untuk lingkungan IP Pribadi melalui Akses Google Pribadi.
Bergantung pada cara Anda mengonfigurasi jaringan VPC, lingkungan IP Pribadi dapat memperoleh akses ke internet melalui jaringan VPC Anda.
Managed Airflow tidak mendukung penggunaan identitas pihak ketiga dalam aturan ingress dan egress untuk mengizinkan operasi UI Apache Airflow. Namun, Anda dapat menggunakan jenis identitas ANY_IDENTITY dalam aturan ingress dan egress untuk mengizinkan akses ke semua identitas, termasuk identitas pihak ketiga. Untuk mengetahui informasi selengkapnya tentang jenis identitas ANY_IDENTITY, lihat Aturan ingress dan egress.
Dalam mode Kontrol Layanan VPC, akses ke server web dilindungi oleh perimeter dan akses dari luar perimeter diblokir. Untuk mengizinkan akses dari luar perimeter layanan, konfigurasi tingkat akses atau aturan ingress dan egress sesuai kebutuhan. Selain itu, Anda dapat membatasi akses ke server web untuk rentang IP tertentu.

Tentang konektivitas ke Google API dan layanan Google di Kontrol Layanan VPC

Managed Airflow (Gen 3) merutekan traffic ke layanan Google melalui restricted.googleapis.com, yang memungkinkan akses ke API, layanan, dan domain Google yang didukung oleh rentang ini.

Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui restricted.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.

Lingkungan Managed Airflow (Gen 3) memblokir panggilan ke API, layanan, dan domain Google yang tidak ada dalam daftar API dan layanan yang diperlukan. Jika Anda ingin memanggil API dari DAG:

Pastikan layanan mendukung Kontrol Layanan VPC.
Tambahkan layanan ke layanan yang dibatasi.
Tambahkan layanan ke layanan yang dapat diakses VPC.

Misalnya, jika Anda menggunakan Operator VertexAI, tambahkan aiplatform.googleapis.com ke layanan terbatas dan layanan yang dapat diakses VPC.

Untuk mengetahui informasi selengkapnya tentang cara menambahkan layanan ke perimeter, lihat Mengelola perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Di Managed Airflow (Gen 3), layanan yang tidak mendukung Kontrol Layanan VPC dan tidak tersedia melalui restricted.googleapis.com tidak dapat diakses dari lingkungan yang dilindungi dengan Kontrol Layanan VPC. Pembatasan ini ditambahkan di Managed Airflow (Gen 3) untuk meningkatkan keamanan lingkungan. Meskipun Managed Airflow (Gen 2) memungkinkan konfigurasi akses ke layanan yang tidak didukung tersebut, sebaiknya hindari melakukannya di lingkungan yang dilindungi oleh Kontrol Layanan VPC.

Membuat lingkungan dalam perimeter

Langkah-langkah berikut diperlukan untuk men-deploy Managed Airflow di dalam perimeter:

Aktifkan Access Context Manager API dan Cloud Composer API untuk project Anda. Lihat Mengaktifkan API sebagai referensi.
Buat perimeter dengan mengikuti petunjuk konfigurasi perimeter dalam dokumentasi Kontrol Layanan VPC. Pastikan daftar layanan yang dibatasi mencakup semua layanan yang digunakan oleh Managed Airflow, selain layanan lain yang ingin Anda batasi:
- Cloud Composer API (composer.googleapis.com)
- Artifact Registry API (artifactregistry.googleapis.com)
- Compute Engine API (compute.googleapis.com)
- Kubernetes Engine API (container.googleapis.com)
- Container File System API (containerfilesystem.googleapis.com)
- Cloud DNS API (dns.googleapis.com)
- Service Account Credentials API (iamcredentials.googleapis.com)
- Cloud Logging API (logging.googleapis.com)
- Cloud Monitoring API (monitoring.googleapis.com)
- Cloud Pub/Sub API (pubsub.googleapis.com)
- Cloud SQL Admin API (sqladmin.googleapis.com)
- Cloud Storage API (storage.googleapis.com)
- Untuk semua layanan lain yang digunakan oleh DAG Anda:
  1. Tambahkan layanan ke layanan yang dibatasi.
  2. Tambahkan layanan ke layanan yang dapat diakses VPC.
Buat lingkungan Managed Airflow baru:
1. Gunakan Google Cloud CLI untuk membuat lingkungan Anda.
2. Aktifkan IP Pribadi dengan argumen --enable-private-environment.
3. Tentukan parameter akses untuk server web dengan argumen --web-server-allow-all, --web-server-allow-ip, atau --web-server-deny-all. Untuk mengetahui informasi selengkapnya tentang cara menggunakan argumen ini, lihat Membuat lingkungan. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.
4. Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
  
  Contoh:
```
gcloud composer environments create example-environment \
  --location us-central1 \
  --enable-private-environment \
  --web-server-allow-all \
  --enable-private-builds-only
```
Secara default, akses ke Airflow UI dan API hanya diizinkan dari dalam perimeter keamanan. Jika Anda ingin membuatnya tersedia di luar perimeter keamanan, konfigurasi tingkat akses atau aturan ingress dan egress.

Menambahkan lingkungan yang ada ke perimeter

Anda dapat menambahkan project yang berisi lingkungan ke perimeter jika lingkungan Anda menggunakan IP Pribadi dan penginstalan paket PyPI dari repositori publik dinonaktifkan.

Untuk memperbarui lingkungan Managed Airflow (Gen 3) yang ada ke konfigurasi ini:

Pastikan Anda telah membuat atau mengonfigurasi perimeter seperti yang dijelaskan di bagian sebelumnya.
Gunakan Google Cloud CLI untuk mengupdate lingkungan Anda.
Aktifkan IP Pribadi dengan argumen --enable-private-environment.
Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
Jika diperlukan, konfigurasi akses ke server web Airflow. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Menginstal paket PyPI di Kontrol Layanan VPC

Dalam konfigurasi Kontrol Layanan VPC default, Managed Airflow hanya mendukung penginstalan paket PyPI dari repositori pribadi yang dapat dijangkau dari ruang alamat IP internal jaringan VPC.

Semua lingkungan Managed Airflow dalam perimeter Kontrol Layanan VPC tidak memiliki akses ke repositori PyPI publik secara default.

Menginstal dari repositori pribadi

Konfigurasi yang direkomendasikan adalah menyiapkan repositori PyPI pribadi:

Isi dengan paket yang telah diseleksi dan digunakan oleh organisasi Anda, lalu konfigurasi Managed Airflow untuk menginstal dependensi Python dari repositori pribadi.

Menginstal dari repositori publik

Untuk menginstal paket PyPI dari repositori eksternal:

Buat repositori jarak jauh Artifact Registry.
Beri repositori ini akses ke sumber upstream.
Konfigurasi Airflow untuk menginstal paket dari repositori Artifact Registry.

Log Kontrol Layanan VPC

Saat memecahkan masalah pembuatan lingkungan, Anda dapat menganalisis log audit yang dibuat oleh Kontrol Layanan VPC.

Selain pesan log lainnya, Anda dapat memeriksa log untuk mendapatkan informasi tentang akun layanan cloud-airflow-prod@system.gserviceaccount.com dan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com yang mengonfigurasi komponen lingkungan Anda.

Layanan Airflow terkelola menggunakan akun layanan cloud-airflow-prod@system.gserviceaccount.com untuk mengelola komponen project tenant di lingkungan Anda.

Akun layanan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, yang juga dikenal sebagai Akun Layanan Agen Layanan Composer, mengelola komponen lingkungan di project layanan dan host.