Data yang disimpan di Cloud Storage

Managed Airflow (Generasi 3) | Managed Airflow (Generasi 2) | Managed Airflow (Generasi 1 Lama)

Halaman ini menjelaskan data yang disimpan Managed Service untuk Apache Airflow untuk lingkungan Anda di Cloud Storage.

Saat Anda membuat lingkungan, Managed Airflow akan membuat bucket Cloud Storage dan mengaitkan bucket tersebut dengan lingkungan Anda. Nama bucket didasarkan pada wilayah lingkungan, nama, dan ID acak seperti us-central1-b1-6efabcde-bucket.

Managed Airflow menyinkronkan folder tertentu di bucket lingkungan Anda ke komponen Airflow yang berjalan di lingkungan Anda. Misalnya, saat Anda memperbarui file dengan kode DAG Airflow di bucket lingkungan, komponen Airflow juga akan menerima versi yang diperbarui. Managed Airflow menggunakan Cloud Storage FUSE untuk sinkronisasi.

Catatan: Menghapus lingkungan Anda tidak akan menghapus bucket lingkungan. Untuk menghindari biaya yang ditagihkan ke akun Penagihan Cloud Anda, download data Anda, lalu hapus bucket Cloud Storage.

Folder di bucket Cloud Storage

Folder	Jalur penyimpanan	Direktori yang dipetakan	Deskripsi
DAG	gs://bucket-name/dags	/home/airflow/gcs/dags	Menyimpan DAG untuk lingkungan Anda.
Plugin	gs://bucket-name/plugins	/home/airflow/gcs/plugins	Menyimpan plugin kustom Anda, seperti operator Airflow kustom internal, hook, sensor, atau antarmuka.
Data	gs://bucket-name/data	/home/airflow/gcs/data	Menyimpan data yang dihasilkan dan digunakan oleh tugas.
Log	gs://bucket-name/logs	/home/airflow/gcs/logs	Menyimpan log Airflow untuk tugas. Log juga tersedia di UI Airflow dan di tab Logs di Google Cloud konsol.

Managed Airflow menyinkronkan folder secara satu arah: dari bucket ke komponen Airflow. Sinkronisasi satu arah berarti perubahan lokal di folder ini pada komponen Airflow akan ditimpa.

Penting: Konten folder data/ disinkronkan ke scheduler dan worker Airflow. Folder ini tidak disinkronkan ke pemicu Airflow atau server web. Terapkan saran dari batasan umum terkait untuk menyinkronkan file ke server web Airflow.

Sinkronisasi data memiliki konsistensi tertunda. Untuk mengirim pesan dari satu operator ke operator lain, gunakan XComs.

Pertimbangan kapasitas

Data dari folder dags/, plugins/, dan data/ disinkronkan ke scheduler dan worker Airflow.

Konten folder plugins/ disinkronkan ke server web Airflow.

Perhatian: Jangan memasukkan data lebih dari 100 MB ke dalam folder /dags atau /plugins. Hindari menyimpan file tambahan yang dihasilkan oleh komponen Airflow di folder ini.

Semakin banyak data yang dimasukkan ke dalam folder ini, semakin banyak ruang yang digunakan di penyimpanan lokal komponen Airflow. Menyimpan terlalu banyak data di dags/ dan plugins/ dapat mengganggu operasi Anda dan menyebabkan masalah seperti:

• Worker atau scheduler kehabisan penyimpanan lokal dan dikeluarkan karena ruang yang tidak mencukupi di disk lokal komponen.

• Sinkronisasi file dari folder dags/ dan plugins/ ke worker dan scheduler memerlukan waktu yang lama.

• Sinkronisasi file dari folder dags/ dan plugins/ ke worker dan scheduler menjadi tidak mungkin. Misalnya, Anda menyimpan file 2 GB di folder dags/, tetapi disk lokal worker Airflow hanya dapat menampung 1 GB. Selama sinkronisasi, worker kehabisan penyimpanan lokal dan sinkronisasi tidak dapat diselesaikan.

Folder DAG dan plugin

Untuk menghindari kegagalan eksekusi DAG, simpan DAG, plugin, dan modul Python Anda di folder dags/ atau plugins/, meskipun modul Python Anda tidak berisi DAG atau plugin.

Misalnya, Anda menggunakan DataFlowPythonOperator yang mereferensikan pipeline Dataflow py_file. py_file tersebut tidak berisi DAG atau plugin, tetapi Anda tetap harus menyimpannya di folder dags/ atau plugins/.

Folder data

Penting: Secara umum, konten folder data/ tidak disinkronkan ke komponen Airflow secara default.

Ada skenario saat file tertentu dari folder data/ disinkronkan ke komponen Airflow tertentu. Misalnya, saat Managed Service untuk Apache Airflow mencoba membaca file tertentu untuk pertama kalinya selama:

• Penguraian DAG: Saat file dibaca untuk pertama kalinya selama penguraian DAG, Managed Service untuk Apache Airflow akan menyinkronkannya ke scheduler yang mengurai DAG.

• Eksekusi DAG: Saat file dibaca untuk pertama kalinya selama eksekusi DAG, Managed Service untuk Apache Airflow akan menyinkronkannya ke worker yang menjalankan eksekusi.

Komponen Airflow memiliki penyimpanan lokal yang terbatas, jadi pertimbangkan untuk menghapus file yang didownload untuk mengosongkan ruang disk di komponen Anda. Perhatikan bahwa penggunaan penyimpanan lokal juga dapat meningkat untuk sementara jika Anda memiliki tugas serentak yang mendownload file yang sama ke satu worker Airflow.

Catatan: Jangan memasukkan modul Python yang diperlukan selama penguraian DAG ke dalam folder data/. Hal ini dapat berdampak negatif pada latensi penguraian DAG dan penjadwalan tugas Anda.

Folder log

Folder logs/ disinkronkan dari worker Airflow ke bucket lingkungan menggunakan Cloud Storage API.

Kuota Cloud Storage API dihitung berdasarkan jumlah data yang dipindahkan, sehingga jumlah tugas Airflow yang dijalankan sistem Anda dapat meningkatkan penggunaan Cloud Storage API: semakin banyak tugas yang Anda jalankan, semakin besar file log Anda.

Catatan: Dalam kasus yang jarang terjadi, Anda mungkin meningkatkan level log dari INFO ke DEBUG, seperti yang dijelaskan dalam Memecahkan masalah DAG. Perhatikan bahwa operasi tersebut menghasilkan log tambahan dan dapat meningkatkan biaya sinkronisasi dan penyimpanan Anda.

Sinkronisasi dengan server web

Folder plugins/ otomatis disinkronkan ke server web sehingga plugin dapat dimuat oleh UI Airflow.

Penting: Konten folder data/ tidak disinkronkan ke server web.

Langkah berikutnya

• Melihat log
• Mengelola DAG
• Menulis DAG