Membuat instance Managed Lustre

Instance Google Cloud Managed Lustre adalah sistem file Lustre lengkap di cloud. Volume ini dapat dipasang ke VM Compute Engine atau ke cluster Google Kubernetes Engine (GKE). Anda mengakses data di instance menggunakan terminologi POSIX standar.

Saat membuat instance Managed Lustre, Anda harus menentukan properti berikut:

  • Nama instance, yang digunakan oleh Google Cloud.
  • Nama sistem file, yang digunakan oleh alat sisi klien seperti lfs.
  • Kapasitas penyimpanan dalam gibibyte (GiB). Kapasitas dapat berkisar dari 9.000 GiB hingga 84.016.000 GiB (80,1 PiB). Ukuran maksimum instance bergantung pada tingkat performanya.
  • Tingkat performa. Managed Lustre menawarkan paket performa mulai dari 125 MBps per TiB hingga 1000 MBps per TiB, serta paket Dinamis yang mengoptimalkan performa berdasarkan pola akses data, dengan throughput gabungan sebesar 25 MBps per TiB.
  • Lokasi. Untuk mendapatkan performa terbaik, tempatkan instance Anda di zona yang sama dengan VM klien atau cluster GKE Anda.
  • Jaringan VPC untuk instance ini. Jaringan ini harus sama dengan yang digunakan untuk VM atau cluster Anda.

Tingkat performa dan kapasitas penyimpanan maksimum

Managed Lustre menawarkan 4 tingkat performa yang ditetapkan, dan tingkat Dinamis. Tingkat performa memengaruhi ukuran instance minimum dan maksimum, serta ukuran langkah antara nilai kapasitas yang dapat diterima. Anda tidak dapat mengubah tingkat performa instance setelah dibuat.

Lihat Tingkat performa untuk mengetahui detailnya.

Anda dapat meningkatkan kapasitas penyimpanan instance setelah dibuat, hingga nilai maksimum yang diizinkan untuk tingkat performa dan ukuran langkahnya.

Kalkulator kapasitas

Pilih tingkat performa dan masukkan kapasitas target Anda untuk menemukan ukuran valid terdekat. Ukuran yang valid dibulatkan ke atas berdasarkan ukuran minimum dan ukuran langkah tingkat.

Kuota

Project Anda memiliki kuota untuk throughput dan kapasitas yang digunakan saat Anda membuat instance. Jika Anda tidak memiliki kuota yang cukup di zona instance dan jaringan VPC untuk ukuran instance dan tingkat performa yang Anda pilih, permintaan pembuatan akan gagal. Untuk mengetahui informasi selengkapnya, baca Kuota dan batas.

Izin yang diperlukan

Untuk membuat instance Managed Lustre baru, Anda harus memiliki izin IAM Managed Lustre Admin (roles/lustre.admin) untuk project Anda.

Lihat Kontrol akses dengan IAM untuk mengetahui detailnya.

Anda juga harus mengaktifkan Managed Lustre API.

Membuat instance

Anda dapat membuat instance Managed Lustre baru dari antarmuka berikut.

gcloud

Untuk membuat instance Managed Lustre baru, gunakan perintah gcloud lustre instances create:

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Nilai berikut harus ditentukan:

  • INSTANCE_ID adalah nama instance Managed Lustre ini. Lingkungan ini harus:

    • Hanya menggunakan huruf kecil, angka, dan tanda hubung.
    • Awali dengan huruf.
    • Berisi antara 1-63 karakter.
    • Diakhiri dengan angka atau huruf.
    • Unik dalam project dan lokasi.

  • --per-unit-storage-throughput adalah throughput maksimum instance dalam MBps per TiB. Nilai yang valid adalah 0, 125, 250, 500, dan 1000. Pilihan throughput Anda memengaruhi kapasitas penyimpanan minimum dan maksimum instance.

    Untuk menentukan Paket dinamis, tetapkan ke 0 dan sertakan flag --dynamic-tier-options-mode=DEFAULT_CACHE. Contoh:

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib adalah kapasitas penyimpanan instance dalam gibibyte (GiB). Nilai yang diizinkan bergantung pada tingkat throughput penyimpanan yang Anda tentukan. Lihat bagian Tingkat performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  • --filesystem adalah nama yang akan ditetapkan ke sistem file Lustre ini. Nama ini digunakan oleh perintah sisi klien, termasuk mount dan lfs. Panjangnya harus 8 karakter atau kurang, hanya boleh berisi huruf dan/atau angka, dan peka huruf besar/kecil.

    Sebaiknya pilih nama yang unik di semua instance Managed Lustre dalam VPC. Hal ini memungkinkan beberapa instance digunakan dari satu node GKE.

  • --location harus berupa zona Google Cloud yang valid dan didukung oleh Managed Lustre. Lihat Lokasi yang didukung untuk mengetahui daftar lengkapnya.

  • --network adalah jalur lengkap jaringan VPC tempat instance berada, dalam format projects/PROJECT_ID/global/networks/NETWORK. Lihat Mengonfigurasi jaringan VPC.

  • --project adalah project ID Google Cloud Anda.

Flag opsional adalah sebagai berikut:

  • --dynamic-tier-options-mode menentukan Tingkat dinamis untuk instance ini. Tetapkan nilai flag ini ke DEFAULT_CACHE dan tetapkan --per-unit-storage-throughput=0 untuk mengaktifkan paket Dinamis.

  • --kms-key-name menentukan kunci enkripsi yang dikelola pelanggan untuk mengenkripsi instance ini. Lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre untuk mengetahui detailnya.

  • --maintenance-policy-weekly-windows dan --maintenance-policy-exclusion-window menentukan kebijakan pemeliharaan untuk instance ini. Lihat Peristiwa dan kebijakan pemeliharaan untuk mengetahui detailnya.

  • --async (opsional) menjalankan perintah secara asinkron. Alih-alih menunggu pembuatan instance selesai, Google Cloud CLI menampilkan ID operasi yang dapat digunakan untuk mengkueri status perintah.

Permintaan yang berhasil akan menampilkan ID operasi:

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

Pembuatan instance memerlukan waktu sekitar 15 menit untuk instance dengan kapasitas 9.000 GiB, hingga beberapa jam untuk instance dengan kapasitas 84.016.000 GiB (80,1 PiB). Lihat Status pembuatan instance kueri untuk mengetahui petunjuk cara memeriksa status permintaan Anda.

REST

Untuk membuat instance menggunakan REST API, kirim permintaan ke endpoint berikut:

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string
}

Nilai berikut harus ditentukan:

  • PROJECT_ID adalah project ID Google Cloud Anda.

  • ZONE harus berupa zona Google Cloud yang valid dan didukung oleh Managed Lustre. Lihat Lokasi yang didukung untuk mengetahui daftar lengkapnya.

  • INSTANCE_ID adalah nama instance Managed Lustre ini. Lingkungan ini harus:

    • Hanya menggunakan huruf kecil, angka, dan tanda hubung.
    • Awali dengan huruf.
    • Berisi antara 1-63 karakter.
    • Diakhiri dengan angka atau huruf.
    • Unik dalam project dan lokasi.

  • filesystem adalah nama yang akan ditetapkan ke sistem file Lustre ini. Nama ini digunakan oleh perintah sisi klien, termasuk mount dan lfs. Panjangnya harus 8 karakter atau kurang, hanya boleh berisi huruf dan/atau angka, dan peka huruf besar/kecil.

    Sebaiknya pilih nama sistem file yang unik di semua instance Managed Lustre dalam VPC. Hal ini memungkinkan beberapa instance digunakan dari satu node GKE.

  • perUnitStorageThroughput adalah throughput maksimum instance dalam MBps per TiB. Nilai yang valid adalah 0, 125, 250, 500, dan 1000. Pilihan throughput Anda memengaruhi kapasitas penyimpanan minimum dan maksimum instance.

    Untuk menentukan Paket dinamis, tetapkan ini ke 0 dan sertakan objek dynamicTierOptions. Contoh:

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib adalah kapasitas penyimpanan instance dalam gibibyte (GiB). Nilai yang diizinkan bergantung pada tingkat throughput penyimpanan yang Anda tentukan. Lihat bagian Tingkat performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  • network adalah jalur lengkap jaringan VPC tempat instance berada, dalam format projects/PROJECT_ID/global/networks/NETWORK. Lihat Mengonfigurasi jaringan VPC.

Kolom berikut bersifat opsional:

  • dynamicTierOptions mengaktifkan Paket dinamis untuk instance ini. Kolom mode dalam objek dynamicTierOptions harus ditetapkan ke DEFAULT_CACHE dan perUnitStorageThroughput harus ditetapkan ke 0 untuk mengaktifkan paket Dinamis.

  • kmsKey menentukan kunci enkripsi yang dikelola pelanggan untuk mengenkripsi instance ini. Lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre untuk mengetahui detailnya.

API ini mendukung kolom opsional tambahan untuk instance. Lihat dokumentasi referensi resource Instance untuk mengetahui daftar lengkap dan deskripsinya.

Konsol Google Cloud

  1. Buka halaman Managed Lustre di konsol Google Cloud .

    Buka Managed Lustre

  2. Klik Create. Halaman Create an instance akan ditampilkan.

  3. Masukkan Nama instance yang unik dan, jika perlu, deskripsi. Nama instance digunakan oleh Google Cloud untuk mengidentifikasi instance ini.

  4. Masukkan nama Filesystem. Ini adalah nama yang digunakan oleh alat sisi klien seperti lfs. Panjangnya harus 8 karakter atau kurang, hanya boleh berisi huruf dan/atau angka, dan peka huruf besar/kecil.

  5. Pilih region dan zona untuk membuat instance ini. Anda harus menempatkan instance di region dan zona yang sama dengan VM Compute Engine atau cluster Google Kubernetes Engine yang akan terhubung ke instance tersebut.

  6. Pilih tingkat performa untuk instance ini.

  7. Tentukan kapasitas penyimpanan dalam gibibyte (GiB) untuk instance Anda. Nilai yang valid bergantung pada tingkat throughput penyimpanan yang Anda pilih. Lihat bagian Tingkat performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  8. Dari bagian Encryption, pilih Google-managed encryption key atau Cloud Key Management Service key. Untuk mengetahui informasi tentang opsi kunci Cloud Key Management Service, lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre.

  9. Opsional: Untuk mengontrol kapan pemeliharaan dapat dilakukan pada instance ini, luaskan bagian Maintenance policy dan konfigurasikan masa pemeliharaan atau periode pengecualian. Lihat Peristiwa dan kebijakan pemeliharaan untuk mengetahui detailnya.

  10. Pilih Network yang Anda buat di Membuat jaringan VPC.

Bagian Summary di halaman akan diperbarui untuk menampilkan perkiraan biaya berdasarkan pilihan Anda.

Klik Kirim untuk melanjutkan. Proses pembuatan instance memerlukan waktu 15 menit hingga satu jam, bergantung pada kapasitas instance.

Membuat kueri status pembuatan instance

Anda dapat mengkueri status permintaan pembuatan dari antarmuka berikut.

gcloud

Untuk mengkueri status operasi pembuatan, Anda bisa mendapatkan operasi atau instance.

Untuk mendapatkan instance:

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

Status pembuatan adalah nilai state.

Untuk mendapatkan operasi, gunakan ID operasi dari respons pembuatan instance. ID operasi memiliki format berikut:

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

Status pembuatan adalah nilai done.

Setelah instance dibuat, hasil permintaan get pada instance tersebut mirip dengan respons berikut.

Catat alamat IP di kolom mountPoint dan nama sistem file Anda; Anda akan memerlukan nilai ini saat memasang instance.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Untuk mengkueri status operasi pembuatan, gunakan ID operasi dari respons. ID operasi memiliki format berikut:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Kirim permintaan ke endpoint berikut:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Jika berhasil, isi respons akan berisi instance Operation.

Konsol Google Cloud

  1. Buka halaman Managed Lustre di konsol Google Cloud .

    Buka Managed Lustre

  2. Klik nama instance dalam daftar. Halaman Instance Details akan muncul, yang mencakup status permintaan pembuatan instance Anda saat ini.

Pemecahan masalah

Rentang alamat IP habis

Jika pembuatan instance gagal dengan error rentang alamat IP habis:

FAILED_PRECONDITION: Invalid resource state for "NETWORK_RANGES_NOT_AVAILABLE": IP address range exhausted

atau:

Private Service Access IP address range exhausted or does not exist.

Ikuti petunjuk di bagian Mengonfigurasi akses layanan pribadi untuk mengubah koneksi pribadi yang ada guna menambahkan rentang alamat IP.

Sebaiknya gunakan panjang awalan minimal /20 (4.096 alamat).

Jaringan belum di-peering

Jika pembuatan instance gagal dengan error peering jaringan:

INVALID_ARGUMENT: the network has not been peered with Google managed services.

Error ini terjadi jika jaringan VPC yang ditentukan di --network belum di-peering dengan layanan yang dikelola Google menggunakan Akses Layanan Pribadi.

Untuk mengatasi masalah ini, ikuti petunjuk di bagian Membuat dan mengonfigurasi VPC untuk mengalokasikan rentang alamat IP dan membuat koneksi peering VPC.

Langkah berikutnya