Mengonfigurasi disk sementara untuk tugas Cloud Run

Pratinjau — Menggunakan pemasangan volume Cloud Run untuk memasang disk sementara

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Cloud Run menyediakan volume disk sementara yang hanya ada selama durasi instance Anda. Fitur ini memungkinkan Anda menentukan jumlah disk yang diperlukan dan lokasi untuk memasangnya. Cloud Run kemudian akan mengalokasikan jumlah disk tersebut ke resource Anda.

Disk otomatis disediakan, diformat sebelumnya ke ext4, dan dienkripsi dengan kunci khusus instance saat startup. Disk sementara membuat volume Anda sehingga pengguna dapat membaca atau menulis ke disk tersebut. Karena penyimpanannya bersifat sementara, semua data akan dihapus secara permanen saat instance dimatikan. Hal ini mencakup penonaktifan yang disebabkan oleh:

• Error instance
• Penyelesaian tugas job (berhasil atau gagal)

Disk dikhususkan untuk instance tertentu dan tidak dibagikan ke instance lain. Anda memiliki kontrol atas struktur sistem file dengan titik pemasangan yang dapat dikonfigurasi untuk setiap volume.

Sebelum mematikan instance, Cloud Run mengirimkan sinyal SIGTERM ke semua container dalam instance, yang menunjukkan dimulainya periode 10 detik sebelum penonaktifan yang sebenarnya terjadi. Pada saat itu, Cloud Run mengirimkan sinyal SIGKILL. Anda dapat menggunakan jangka waktu 10 detik ini untuk melakukan operasi pembersihan seperti melakukan putaran terakhir penyalinan konten disk ke penyimpanan persisten.

Kasus penggunaan

Anda dapat menggunakan disk sementara untuk hal berikut:

• Workload pemrosesan data: Saat memproses file data besar di Cloud Run, Anda biasanya menyimpan seluruh file dalam memori atau mengatur pemisahannya menjadi bagian yang lebih kecil. Dengan penyimpanan sementara, Anda tidak perlu membayar memori dalam jumlah besar untuk membuat salinan lokal data Anda yang bersifat sementara. Anda juga dapat memproses set data yang lebih besar.
• Caching: Dalam kasus penggunaan penayangan web, data caching di disk, bukan mengambil dari penyimpanan jarak jauh, dapat mengoptimalkan latensi aplikasi Anda.

Batas penyimpanan dan instance

Batasan berikut berlaku:

• Batas penyimpanan instance: setiap instance dibatasi hingga 10 GB ruang total secara default. Jika perlu, minta penambahan kuota.
• Batas volume instance: setiap instance dibatasi hingga maksimum 10 volume.
• Batas project: setiap project dibatasi hingga 100 GB per region secara default. Jika perlu, minta penambahan kuota.

Meminta penambahan kuota

Project yang menggunakan disk sementara Cloud Run di region untuk pertama kalinya akan otomatis diberikan batas 10 GB per instance, per region, dan batas 100 GB per project, per region.

Jika memerlukan kapasitas tambahan, Anda harus meminta penambahan kuota untuk tugas Cloud Run. Gunakan link yang disediakan di tombol berikut untuk meminta kuota yang Anda butuhkan.

Kuota saat ini	Link kuota
10 GB per instance	Minta kuota yang lebih besar per instance
100 GB per project	Minta kuota yang lebih besar per project

Untuk mengetahui informasi selengkapnya tentang cara meminta penambahan kuota, lihat Cara menambah kuota.

Batasan

Batasan berikut berlaku:

• Disk sementara hanya tersedia di lingkungan eksekusi generasi kedua. Secara default, tugas Cloud Run menggunakan lingkungan eksekusi generasi kedua.
• Migrasi langsung tidak didukung. Artinya, tugas Cloud Run akan menjadi kurang andal, terutama tugas yang berjalan lama.

Jalur yang tidak diizinkan

Cloud Run tidak mengizinkan Anda memasang volume di /dev, /proc, atau /sys, atau di subdirektorinya.

Region yang didukung

Fitur disk sementara tersedia di region berikut:

• Untuk workload non-GPU, disk sementara tersedia di:
  • asia-northeast1 (Tokyo)
  • europe-west1 (Belgia) CO₂ Rendah
  • northamerica-northeast1 (Montreal) CO₂ Rendah
  • northamerica-northeast2 (Toronto) CO₂ Rendah
  • us-central1 (Iowa) CO_{2 Rendah}
  • us-east1 (South Carolina)
  • us-east4 (North Virginia)
  • us-west1 (Oregon) CO_{2 Rendah}
• Jika Anda menggunakan GPU, disk sementara tersedia di semua region yang mendukung GPU.

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Instal dan lakukan inisialisasi gcloud CLI.
2. Perbarui komponen:

   gcloud components update

3. Tinjau halaman harga Cloud Run untuk CPU, memori, dan traffic keluar jaringan. Seluruh ukuran disk yang disediakan dan masa aktif instance yang menggunakannya akan berkontribusi pada biaya Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi disk sementara, minta administrator untuk memberi Anda peran IAM berikut:

• Developer Cloud Run (roles/run.developer) di tugas Cloud Run
• Pengguna Akun Layanan (roles/iam.serviceAccountUser) di identitas layanan

Untuk mengetahui daftar peran dan izin IAM yang terkait dengan Cloud Run, lihat Peran IAM Cloud Run dan Izin IAM Cloud Run. Jika tugas Cloud Run Anda berinteraksi dengan Google Cloud API, seperti Library Klien Cloud, lihat panduan konfigurasi identitas layanan. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat izin deployment dan mengelola akses.

Membuat dan memasang disk sementara

Anda dapat membuat dan memasang disk sementara menggunakan Google Cloud konsol, Google Cloud CLI, YAML, atau Terraform:

Konsol

1. Di Google Cloud konsol, buka halaman Tugas Cloud Run:

   Buka Cloud Run

2. Klik Deploy container untuk mengisi halaman setelan tugas awal. Jika Anda mengonfigurasi tugas yang sudah ada, pilih tugas, lalu klik Lihat dan edit konfigurasi tugas.

3. Klik Container, Koneksi, Keamanan untuk memperluas halaman properti tugas.

4. Klik tab Container.

   

   • Di bagian Referensi:
     • Pilih Disk Sementara.
     • Tentukan ukuran Disk Sementara dari menu.
     • Masukkan jalur pemasangan.

5. Klik Buat atau Perbarui.

gcloud

Untuk menambahkan volume dan memasangnya:

gcloud beta run jobs update JOB \
    --add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
    --add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH

Ganti kode berikut:

• JOB: nama tugas Anda.
• VOLUME_NAME: nama yang ingin Anda berikan ke volume Anda.
• SIZE: ukuran disk—misalnya, 100Gi. Ukuran harus minimal 10Gi untuk volume ephemeral-disk.
• MOUNT_PATH: jalur relatif tempat Anda memasang volume, misalnya, /mnt/my-volume.

YAML

1. Jika Anda membuat tugas baru, lewati langkah ini. Jika Anda memperbarui tugas yang sudah ada, download konfigurasi YAML-nya:

   gcloud run jobs describe JOB_NAME --format export > job.yaml

2. Konfigurasi file YAML:

   apiVersion: run.googleapis.com/v1
   kind: Job
   metadata:
     name: JOB
     labels:
       cloud.googleapis.com/location: REGION
     annotations:
       run.googleapis.com/launch-stage: BETA
   spec:
     template:
       spec:
         template:
           spec:
             volumes:
             - name: VOLUME_NAME
               emptyDir:
                 medium: Disk
                 sizeLimit: SIZE
             containers:
             - image: IMAGE_URL
               volumeMounts:
               - name: VOLUME_NAME
                 mountPath: MOUNT_PATH
   

   Ganti kode berikut:

   • JOB: nama tugas Anda.
   • REGION: Google Cloud region.
   • IMAGE_URL: referensi ke image container—misalnya, us-docker.pkg.dev/cloudrun/container/job:latest.
   • VOLUME_NAME: nama yang ingin Anda berikan ke volume Anda.
   • MOUNT_PATH: jalur relatif tempat Anda memasang volume, misalnya, /mnt/my-volume.
   • SIZE: ukuran disk—misalnya, 100Gi. Ukuran harus minimal 10Gi untuk volume ephemeral-disk.

3. Buat atau perbarui tugas menggunakan perintah berikut:

   gcloud run jobs replace job.yaml

   Perintah gcloud run jobs replace secara default menggunakan file job.yaml jika ada.

Terraform

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Tambahkan kode berikut ke resource google_cloud_run_v2_job di konfigurasi Terraform Anda:

  resource "google_cloud_run_v2_job" "default" {
    name     = "JOB"
    location = "REGION"
    deletion_protection = "true"
    launch_stage = "BETA"
    template {
      template {
        containers {
          image = "IMAGE_URL"
      volume_mounts {
        name = "VOLUME_NAME"
        mount_path = "MOUNT_PATH"
      }
        }
        volumes {
          name = "VOLUME_NAME"
      empty_dir {
        medium = "DISK"
        size_limit = "SIZE"
      }
        }
      }
    }
    lifecycle {
      ignore_changes = [
        launch_stage,
      ]
    }
  }

Ganti kode berikut:

• JOB: nama tugas Anda.
• REGION: Google Cloud region.
• IMAGE_URL: referensi ke image container—misalnya, us-docker.pkg.dev/cloudrun/container/job:latest.
• VOLUME_NAME: nama yang ingin Anda berikan ke volume Anda.
• MOUNT_PATH: jalur relatif tempat Anda memasang volume, misalnya, /mnt/my-volume.
• SIZE: ukuran disk—misalnya, 100Gi. Ukuran harus minimal 10Gi untuk volume ephemeral-disk.

Membaca dan menulis ke volume

Jika menggunakan fitur pemasangan volume Cloud Run, Anda akan mengakses volume yang terpasang menggunakan library yang sama dalam bahasa pemrograman yang Anda gunakan untuk membaca dan menulis file di sistem file lokal.

Hal ini sangat berguna jika Anda menggunakan container yang sudah ada yang mengharapkan data disimpan di sistem file lokal dan menggunakan operasi sistem file reguler untuk mengaksesnya.

Cuplikan berikut mengasumsikan pemasangan volume dengan mountPath yang ditetapkan ke /mnt/my-volume.

Nodejs

Gunakan modul Sistem File untuk membuat file baru atau menambahkan ke file yang sudah ada di volume, /mnt/my-volume:

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

Python

Tulis ke file yang disimpan dalam volume, /mnt/my-volume:

f = open("/mnt/my-volume/sample-logfile.txt", "a")

Go

Gunakan paket os untuk membuat file baru yang disimpan dalam volume, /mnt/my-volume:

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

Java

Gunakan class Java.io.File untuk membuat file log dalam volume, /mnt/my-volume:

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Menghapus dan menghapus volume dan pemasangan volume

Anda dapat menghapus semua volume dan pemasangan atau menghapus volume dan pemasangan volume satu per satu.

Menghapus semua volume dan pemasangan volume

Untuk menghapus semua volume dan pemasangan volume dari tugas satu container, jalankan perintah berikut:

gcloud run jobs update JOB \
    --clear-volumes
    --clear-volume-mounts

Jika Anda memiliki beberapa container, ikuti konvensi CLI sidecar untuk menghapus volume dan pemasangan volume:

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Menghapus volume dan pemasangan volume satu per satu

Untuk menghapus volume, Anda juga harus menghapus semua pemasangan volume yang menggunakan volume tersebut.

Untuk menghapus volume atau pemasangan volume satu per satu, gunakan flag remove-volume dan remove-volume-mount:

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH

Praktik terbaik

Ikuti praktik terbaik berikut untuk mengelola data sementara secara efektif dan mengoptimalkan performa penyimpanan.

Menyalin ke penyimpanan persisten

Jika Anda ingin menyalin konten disk sementara ke penyimpanan persisten, seperti bucket Cloud Storage, sebaiknya salin secara bertahap, bukan mengandalkan periode tenggang SIGTERM ke SIGKILL selama 10 detik. Lihat Kontrak runtime container untuk mengetahui informasi selengkapnya tentang penonaktifan paksa.

Cloud Run dapat membaca dan menulis dari Cloud Storage tanpa penyiapan jaringan tambahan. Untuk mencapai performa yang optimal, sebaiknya rutekan traffic ke dan dari Cloud Storage melalui jaringan VPC menggunakan VPC Langsung.

Metode ini berfungsi jika Anda tidak memerlukan resource Cloud Run untuk mengakses internet. Jika Anda memerlukan akses internet, siapkan Cloud NAT, atau lihat Traffic internal ke Google API.

Untuk mengonfigurasi traffic keluar VPC Langsung dengan tugas, selesaikan langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Cloud Run:

   Buka Cloud Run

2. Jika Anda mengonfigurasi tugas baru, klik tab Tugas , lalu pilih Deploy container. Isi halaman setelan tugas awal sesuai kebutuhan. Jika Anda mengonfigurasi tugas yang sudah ada, klik tugas, lalu klik Lihat dan edit konfigurasi tugas.

3. Klik Container, Koneksi, Keamanan untuk memperluas halaman properti tugas.

4. Klik tab Koneksi.

5. Klik Hubungkan ke VPC untuk traffic keluar.

6. Klik Kirim traffic langsung ke VPC.

7. Di kolom Network, pilih jaringan VPC yang ingin Anda kirimi traffic.

8. Di kolom Subnet, pilih subnet tempat alamat IP diterima oleh tugas Anda. Anda dapat menjalankan beberapa tugas di subnet yang sama.

9. Untuk Perutean traffic, pilih salah satu Rutekan semua traffic ke VPC untuk mengirim semua traffic keluar melalui jaringan VPC.

10. Klik Buat atau Perbarui.

11. Untuk memverifikasi bahwa tugas Anda berada di jaringan VPC, klik tugas tersebut, lalu klik tab Konfigurasi. Jaringan dan subnet tercantum dalam kartu VPC.

12. Aktifkan Akses Google Pribadi di subnet yang Anda hubungkan.

Memecahkan masalah

Jika Anda melihat kecepatan jaringan yang lambat saat mendownload data dalam jumlah besar ke disk sementara, ikuti langkah-langkah untuk mengaktifkan VPC Langsung. Jika VPC Langsung tidak diaktifkan, Anda akan melihat kecepatan transfer jaringan yang lebih lambat.