Meningkatkan kapasitas instance Managed Lustre

Anda dapat meningkatkan kapasitas penyimpanan instance Managed Lustre. Kapasitas tidak dapat dikurangi.

Saat meningkatkan kapasitas instance, Anda dapat terus menggunakan instance tersebut saat operasi update sedang berlangsung.

Batasan terkait peningkatan kapasitas

Untuk tingkat performa dengan dua ukuran langkah yang berbeda, kapasitas instance saat ini menentukan ukuran maksimum yang mungkin.

Jika kapasitas instance berada pada atau di bawah nilai minimum ukuran langkah, ukurannya dapat ditingkatkan hingga nilai minimum itu sendiri. Kuota ini tidak dapat diperluas melebihi batas ini.

Misalnya, di paket 250 MBps per TiB, batas perubahan ukuran langkah adalah 10.224.000 GiB. Setiap instance yang dibuat dengan kapasitas pada atau di bawah batas ini hanya dapat diperluas hingga batas 10.224.000 GiB tersebut.

Menghitung kapasitas baru Anda

Anda dapat memperbarui kapasitas instance hingga nilai maksimum yang diizinkan untuk tingkat performa dan ukuran langkahnya. Nilai ini adalah sebagai berikut:

Tingkat performa Kapasitas min. Kapasitas maksimum Ukuran langkah
1.000 MBps per TiB 9.000 GiB 10.008.000 GiB (9,5 PiB) Untuk kapasitas penyimpanan hingga 2.556.000 GiB: 9.000 GiB
Untuk kapasitas penyimpanan yang lebih besar: 72.000 GiB
500 MBps per TiB 18.000 GiB 20.016.000 GiB (19,1 PiB) Untuk kapasitas penyimpanan hingga 5.112.000 GiB: 18.000 GiB
Untuk kapasitas penyimpanan yang lebih besar: 144.000 GiB
250 MBps per TiB 36.000 GiB 40.032.000 GiB (38,2 PiB) Untuk kapasitas penyimpanan hingga 10.224.000 GiB: 36.000 GiB
Untuk kapasitas penyimpanan yang lebih besar: 288.000 GiB
125 MBps per TiB 72.000 GiB 20.448.000 GiB (19,5 PiB) 72.000 GiB
Dinamis (25 MBps per TiB) 472.000 GiB 84.016.000 GiB (80,1 PiB) 472.000 GiB

Kapasitas yang diperbarui harus merupakan kelipatan dari ukuran langkah dan tidak boleh melebihi maksimum untuk ukuran langkah tersebut.

Project Google Cloud Anda memiliki kuota throughput dan kapasitas yang memengaruhi kapasitas yang tersedia per jaringan Virtual Private Cloud (VPC) per zona. Anda mungkin perlu meminta kuota throughput atau kapasitas tambahan sebelum meningkatkan kapasitas instance. Lihat Kuota dan batas untuk mengetahui detailnya.

Kalkulator kapasitas

Gunakan kalkulator berikut untuk menemukan kapasitas yang valid untuk tingkat performa yang Anda pilih.

Memperbarui kapasitas instance

Anda dapat menggunakan konsol Google Cloud atau Google Cloud CLI untuk memperbarui kapasitas instance.

Konsol Google Cloud

  1. Buka halaman Managed Lustre di konsol Google Cloud .

    Buka Managed Lustre

  2. Klik Instance name dari instance yang akan diupdate. Halaman ringkasan instance akan ditampilkan.

  3. Klik Edit.

  4. Masukkan nilai kapasitas penyimpanan baru. Nilai harus sama dengan atau kurang dari kapasitas maksimum yang diizinkan, dan harus merupakan kelipatan dari ukuran langkah. Lihat Menghitung kapasitas baru untuk nilai ini.

  5. Klik Kirim.

gcloud

Gunakan perintah gcloud lustre instances update untuk meningkatkan kapasitas penyimpanan instance Anda:

gcloud lustre instances update INSTANCE_NAME \
  --location=LOCATION \
  --capacity-gib=NEW_CAPACITY

Dengan:

  • INSTANCE_NAME adalah instance yang akan diupdate.
  • LOCATION adalah zona tempat instance berada.
  • NEW_CAPACITY adalah kapasitas penyimpanan baru untuk instance ini dalam gibibyte (GiB). Nilai tidak boleh melebihi kapasitas maksimum yang diizinkan dan harus merupakan kelipatan dari ukuran langkah. Lihat Menghitung kapasitas baru untuk nilai ini.

REST

Untuk mengupdate instance menggunakan REST API, kirim permintaan PATCH ke endpoint spesifiknya:

PATCH https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances/INSTANCE_NAME?updateMask=capacityGib
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "capacityGib": NEW_CAPACITY
}

Dengan nilai berikut yang harus ditentukan:

  • PROJECT_ID adalah project ID Google Cloud Anda.
  • ZONE adalah zona Google Cloud instance.
  • INSTANCE_NAME adalah nama instance Managed Lustre yang akan diupdate.
  • updateMask=capacityGib menentukan kolom yang akan diperbarui. Kolom hanya akan ditimpa jika ada di mask.
  • NEW_CAPACITY adalah kapasitas penyimpanan baru untuk instance ini dalam gibibyte (GiB). Nilai tidak boleh melebihi kapasitas maksimum yang diizinkan dan harus merupakan kelipatan dari ukuran langkah. Lihat Menghitung kapasitas baru Anda untuk nilai ini.

Lihat referensi API instances.patch untuk mengetahui detail selengkapnya.

Setelah permintaan update dikirim, Managed Lustre akan memeriksa kuota yang tersedia. Jika kuota mencukupi, kapasitas instance akan ditingkatkan selama jangka waktu tertentu, bergantung pada perubahan ukuran. Peningkatan dapat memerlukan waktu dari 20 menit hingga satu jam atau lebih.

Anda dapat terus menggunakan instance selama operasi update.

Melihat status update

Anda dapat melihat status permintaan update dari antarmuka berikut.

Konsol Google Cloud

  1. Buka halaman Managed Lustre di konsol Google Cloud .

    Buka Managed Lustre

  2. Klik nama instance dalam daftar. Halaman Instance Details akan muncul, yang mencakup status permintaan update instance Anda saat ini.

gcloud

Secara default, perintah gcloud lustre instances update menunggu penyelesaian sebelum menampilkan prompt shell:

Request issued for: [my-instance]
Waiting for operation [projects/my-project/locations/us-central1-a/operations/operation-1234567890-123] to complete...

Setelah selesai, command line akan menampilkan Updated instance [my-instance] bersama dengan detail instance, termasuk kapasitas yang diperbarui.

Jika Anda menjalankan perintah update dengan flag --async, atau perlu mengkueri status update dari command line, Anda dapat mengambil detail operasi untuk melihat apakah instance telah selesai diupdate:

gcloud lustre operations describe OPERATION_ID \
  --location=ZONE

Saat instance sedang diupdate, respons akan menampilkan nilai done: false. Setelah selesai, done akan ditetapkan ke true.

Contoh:

$ gcloud lustre operations describe operation-1234567890-123abc456-789def012-a1b2c3d4 \
    --location=us-central1-a

done: false
metadata:
  '@type': type.googleapis.com/google.cloud.lustre.v1.OperationMetadata
  apiVersion: v1
  createTime: '2025-08-27T18:13:49.771203623Z'
  requestedCancellation: false
  target: projects/my-project/locations/us-central1-a/instances/my-instance
  verb: update
name: projects/my-project/locations/us-central1-a/operations/operation-1234567890-123abc456-789def012-a1b2c3d4

REST

Untuk mengkueri status operasi update, gunakan ID operasi dari respons. ID operasi memiliki format berikut:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Kirim permintaan ke endpoint berikut:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Jika berhasil, isi respons akan berisi instance Operation.

Performa setelah meningkatkan kapasitas

Throughput maksimum instance Managed Lustre ditentukan oleh kapasitas penyimpanan dan tingkat performanya. Meningkatkan kapasitas penyimpanan instance yang ada juga akan meningkatkan throughput maksimumnya.

Peningkatan performa mungkin tidak terlihat hingga data baru ditulis. Performa throughput meningkat secara bertahap seiring data baru ditulis dan didistribusikan ulang di seluruh penyimpanan tambahan.

Error 'No space left on device'

Saat sistem file Anda mendekati kapasitas penuh (biasanya penggunaan lebih dari 90%), Anda mungkin mulai menerima error No space left on device atau FILESYSTEM_NO_SPACE_ON_DEVICE (ENOSPC) prematur, meskipun alat pemantauan menunjukkan bahwa ruang kosong gabungan masih tersedia.

Perilaku ini dapat terjadi karena beberapa mekanisme yang mendasari dalam sistem file terdistribusi:

  • Ketidakseimbangan OST: Lustre membagi data file ke beberapa Target Penyimpanan Objek (OST). Namun, pola workload tertentu dapat mengisi satu OST, terlepas dari konfigurasi striping Anda. Penyebab umumnya mencakup penulisan file dalam mode penambahan (O_APPEND) atau mempertahankan file besar yang tidak ditautkan.

  • Error pasca-perluasan: Anda mungkin terus menerima error ENOSPC bahkan setelah menambahkan kapasitas ke cluster. Meskipun memperluas kapasitas akan menambahkan OST baru, tindakan ini tidak otomatis menyeimbangkan kembali file yang sudah ada ke target yang baru ditambahkan.

  • Pemberian ruang klien: Klien Compute Engine secara dinamis mencadangkan bagian kapasitas disk untuk performa yang lebih baik. Ruang hibah yang dicadangkan ini mengurangi kumpulan fisik yang tersedia, yang berarti metrik kapasitas mungkin tidak mencerminkan ruang yang telah diklaim oleh klien terdistribusi.

  • Kehabisan inode: Workload yang menghasilkan jutaan file dapat menghabiskan inode yang tersedia di sistem file sebelum mencapai batas penyimpanan fisik, sehingga menyebabkan error ENOSPC saat pembuatan file baru.

Strategi mitigasi yang direkomendasikan:

  • Pantau kapasitas dan siapkan pemberitahuan: Pantau pemanfaatan kapasitas per-OST dan metrik inode individual selain kapasitas cluster gabungan. Jalankan perintah lfs df dari klien yang terpasang untuk melihat penggunaan kapasitas per target, gunakan lfs df -i untuk penggunaan inode per target, atau lihat Memantau instance dan operasi untuk mengetahui detail tentang metrik pemantauan.

    Siapkan pemberitahuan otomatis untuk dipicu saat kapasitas gabungan atau pemakaian OST individual melebihi 80% (lihat Membuat pemberitahuan kapasitas penyimpanan).

  • Tingkatkan kapasitas: Setelah kapasitas gabungan mencapai 80-90%, pertimbangkan untuk meningkatkan kapasitas instance Managed Lustre Anda. Anda mungkin perlu meminta kuota tambahan sebelum melakukan ekspansi.

  • Menyeimbangkan ulang penyimpanan: Gunakan perintah lfs migrate, sebaiknya dalam mode non-pemblokiran (-n), untuk mentransisikan file secara manual dari OST yang terlalu banyak digunakan ke OST yang lebih kosong atau yang baru ditambahkan.

  • Periksa file yang tidak ditautkan di klien: File yang tidak ditautkan dan terbuka adalah file besar yang tetap terbuka oleh suatu proses bahkan setelah tidak ditautkan dari namespace sistem file. File tanpa induk ini tetap berada di disk, menggunakan ruang, tetapi tidak terlihat dalam daftar direktori standar. Dalam hal ini, metrik kapasitas Cloud Monitoring dan perintah lfs df melaporkan penggunaan ruang yang lebih tinggi daripada du atau lfs find. Gunakan perintah lsof pada klien untuk mengidentifikasi file ini dengan mencari entri yang ditandai sebagai (deleted). Setelah diidentifikasi, menghentikan proses yang menahan handle file atau memulai ulang aplikasi akan mengosongkan ruang sistem file.