Mengonfigurasi snapshot terjadwal

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mengonfigurasi lingkungan Anda untuk menyimpan snapshot sesuai jadwal.

Untuk mengetahui informasi selengkapnya tentang cara kerja snapshot lingkungan dan cara menyimpan snapshot secara manual, lihat Menyimpan dan memuat snapshot.

Cara kerja snapshot terjadwal

Saat Anda mengaktifkan snapshot terjadwal, Cloud Composer akan menyimpan snapshot lingkungan Anda secara berkala ke bucket Cloud Storage.

Jika Anda membuat snapshot secara manual, Cloud Composer akan menyimpan snapshot di bucket lingkungan secara default. Untuk snapshot terjadwal, sebaiknya simpan snapshot di bucket terpisah. Dengan begitu, Anda dapat menyiapkan izin dan konfigurasi siklus proses untuk bucket ini. Satu bucket dapat menyimpan snapshot dari beberapa lingkungan, dan Anda juga dapat membuat bucket yang redundan di seluruh region.

Sebelum memulai

• Untuk mengetahui informasi selengkapnya tentang persyaratan dan batasan snapshot, lihat Menyimpan dan memuat snapshot.

Membuat bucket untuk snapshot terjadwal

Buat bucket untuk snapshot terjadwal. Pertimbangkan cara Anda ingin menggunakan snapshot lingkungan. Jika merupakan bagian dari rencana pemulihan dari bencana, gunakan bucket yang redundan di seluruh region atau bucket di region yang berbeda, sehingga Anda memiliki akses ke data meskipun terjadi gangguan layanan regional penuh. Jika tidak, bucket di region yang sama dengan lingkungan mungkin lebih cocok, dan dalam hal ini Anda mengurangi biaya transfer data antar-region.

Mengonfigurasi izin untuk bucket

Peringatan: Snapshot dapat berisi informasi sensitif, seperti ekstra koneksi dan sandi Airflow, yang dapat didekripsi dari snapshot lingkungan. Sebaiknya batasi akses ke bucket hanya untuk entitas tepercaya.

Untuk mengurangi risiko keamanan ini, Anda dapat menyimpan informasi sensitif yang digunakan oleh DAG Airflow, seperti kunci atau sandi, di Secret Manager. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Secret Manager untuk lingkungan Anda.

Konfigurasi izin berikut:

• Akun layanan lingkungan Anda harus memiliki izin baca dan tulis untuk bucket ini. Misalnya, peran Storage Object Admin memiliki izin tersebut.

• Akun pengguna tidak memerlukan izin tambahan apa pun untuk bucket memuat snapshot dari bucket tersebut, kecuali jika Anda ingin melihat konten bucket dari konsol Google Cloud . Dalam hal ini, akun pengguna harus memiliki izin baca pada bucket.

Menetapkan konfigurasi siklus proses untuk bucket

Untuk menghemat biaya penyimpanan, Anda dapat mengonfigurasi aturan yang menghapus snapshot lingkungan setelah jangka waktu tertentu.

Misalnya, untuk otomatis menghapus snapshot yang lebih lama dari 30 hari:

1. Tetapkan konfigurasi siklus proses untuk bucket.
2. Tentukan tindakan Delete object.
3. Pilih Usia dan 30 hari sebagai kondisi.

Mengaktifkan jadwal snapshot untuk lingkungan Anda

Konsol

1. Di konsol Google Cloud , buka halaman Environments.

   Buka Lingkungan

2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di Konfigurasi pemulihan > Jadwal snapshot, klik Edit. Panel Jadwal snapshot akan terbuka.

5. Di panel Jadwal snapshot, pilih Buat snapshot secara berkala, sesuai dengan jadwal yang ditentukan.

6. Di daftar drop-down Frekuensi jadwal, pilih harian, mingguan, atau periode kustom untuk snapshot.

   Anda dapat menentukan jadwal kustom dengan format unix-cron. Misalnya, untuk menyimpan snapshot setiap 30 menit, tentukan */30 * * * *.

7. Di kolom Lokasi snapshot, pilih folder bucket tempat Anda ingin menyimpan snapshot.

gcloud

Perbarui konfigurasi lingkungan Anda. Argumen berikut menentukan parameter untuk snapshot terjadwal:

• --enable-scheduled-snapshot-creation mengaktifkan snapshot terjadwal.
• --snapshot-location menentukan folder bucket tempat Anda ingin menyimpan snapshot.

• --snapshot-creation-schedule menentukan frekuensi snapshot lingkungan harus diambil, dalam format unix-cron. Misalnya, untuk membuat snapshot setiap 30 menit, tentukan */30 * * * *.

• --snapshot-schedule-timezone menentukan zona waktu untuk jadwal. Nilai ini adalah selisih waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://SNAPSHOTS_FOLDER" \
    --snapshot-creation-schedule "CRON_EXPRESSION" \
    --snapshot-schedule-timezone "TIME_ZONE"

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada.
• SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.
• CRON_EXPRESSION dengan jadwal, dalam format unix-cron.
• TIME_ZONE dengan zona waktu untuk jadwal.

Contoh (setiap hari pukul 04.00, UTC+01):

gcloud composer environments update example-environment \
    --location us-central1 \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://example-bucket/environment_snapshots" \
    --snapshot-creation-schedule "0 4 * * *" \
    --snapshot-schedule-timezone "UTC+01"

API

Buat permintaan API environments.patch.

Dalam permintaan ini:

1. Dalam parameter updateMask, tentukan mask config.recoveryConfig.scheduledSnapshotsConfig untuk menggantikan konfigurasi snapshot terjadwal yang ada.

2. Dalam isi permintaan, tentukan konfigurasi untuk snapshot:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": true,
           "snapshot_location": "gs://SNAPSHOTS_FOLDER",
           "snapshot_creation_schedule": "CRON_EXPRESSION",
           "time_zone": "TIME_ZONE"
         }
       }
     }
   }
   

   Ganti:

   • SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.

   • CRON_EXPRESSION dengan jadwal, dalam format unix-cron.

   • TIME_ZONE dengan zona waktu untuk jadwal. Nilai ini adalah selisih waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

   Contoh (setiap hari pukul 04.00, UTC+01):

     // PATCH https://composer.googleapis.com/v1/projects/example-project/
     // locations/us-central1/environments/example-environment?updateMask=
     // config.recoveryConfig.scheduledSnapshotsConfig
       {
         "config": {
           "recoveryConfig": {
             "scheduledSnapshotsConfig": {
               "enabled": true,
               "snapshot_location": "gs://example-bucket/environment_snapshots",
               "snapshot_creation_schedule": "0 4 * * *",
               "time_zone": "UTC+01"
             }
           }
         }
       }
   

Terraform

scheduled_snapshots_config di blok recovery_config menentukan parameter untuk snapshot terjadwal:

• enabled mengaktifkan snapshot terjadwal.
• snapshot_location menentukan folder bucket tempat Anda ingin menyimpan snapshot.
• snapshot_creation_schedule menentukan frekuensi snapshot lingkungan harus diambil, dalam format unix-cron. Misalnya, untuk membuat snapshot setiap 30 menit, tentukan */30 * * * *.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://SNAPSHOTS_FOLDER"
      snapshot_creation_schedule = "CRON_EXPRESSION"
      time_zone = "TIME_ZONE"
    }
  }
}

Ganti:

• SNAPSHOTS_FOLDER dengan URI folder bucket tempat menyimpan snapshot.

• CRON_EXPRESSION dengan jadwal, dalam format unix-cron.

• TIME_ZONE dengan zona waktu untuk jadwal. Nilai ini adalah selisih waktu dan tidak memperhitungkan perubahan waktu musim panas. Nilai yang valid adalah dari UTC-12 hingga UTC+12. Contoh: UTC, UTC-01, UTC+03.

Contoh (setiap hari pukul 04.00, UTC+01):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://example-bucket/environment_snapshots"
      snapshot_creation_schedule = "0 4 * * *"
      time_zone = "UTC+01"
    }
  }
}

Menonaktifkan snapshot terjadwal

Jika Anda menonaktifkan snapshot terjadwal, semua snapshot yang ada yang sudah diambil tidak akan diubah atau dihapus. Snapshot ini tetap berada di lokasi tempat snapshot tersebut disimpan.

Konsol

1. Di konsol Google Cloud , buka halaman Environments.

   Buka Lingkungan

2. Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di Konfigurasi pemulihan > Jadwal snapshot, klik Edit. Panel Jadwal snapshot akan terbuka.

5. Di panel Jadwal snapshot, pilih Jangan buat snapshot secara otomatis.

gcloud

Perbarui konfigurasi lingkungan Anda. Argumen --disable-scheduled-snapshot-creation menonaktifkan snapshot terjadwal.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-scheduled-snapshot-creation

Ganti:

• ENVIRONMENT_NAME dengan nama lingkungan.
• LOCATION dengan region tempat lingkungan berada.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-scheduled-snapshot-creation

API

Buat permintaan API environments.patch.

Dalam permintaan ini:

1. Dalam parameter updateMask, tentukan mask config.recoveryConfig.scheduledSnapshotsConfig.enabled untuk mengganti nilai kolom enabled.

2. Dalam isi permintaan, tentukan nilai baru:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": false
         }
       }
     }
   }
   

Contoh:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.recoveryConfig.scheduledSnapshotsConfig.enabled
{
"config": {
  "recoveryConfig": {
    "scheduledSnapshotsConfig": {
      "enabled": false
    }
  }
}
}

Terraform

Untuk menonaktifkan snapshot terjadwal, tetapkan kolom enabled di blok scheduled_snapshots_config ke false:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
    }
  }
}

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
      // Other scheduled snapshots parameters
    }
  }
}

Langkah berikutnya

• Menyimpan dan memuat snapshot lingkungan
• Pemulihan dari bencana dengan snapshot
• Access control