Membuat instance Managed Lustre

Instance Google Cloud Managed Lustre adalah sistem file Lustre lengkap di cloud. Instance ini dapat dipasang ke VM Compute Engine atau ke cluster Google Kubernetes Engine (GKE). Anda mengakses data di instance menggunakan terminologi POSIX standar.

Saat membuat instance Managed Lustre, Anda harus menentukan properti berikut:

  • Nama instance, yang digunakan oleh Google Cloud.
  • Nama sistem file, yang digunakan oleh alat sisi klien seperti lfs.
  • Kapasitas penyimpanan dalam gibibyte (GiB). Kapasitas dapat berkisar dari 9.000 GiB hingga 84.016.000 GiB (80,1 PiB). Ukuran maksimum instance bergantung pada paket performanya.
  • Paket performa. Managed Lustre menawarkan paket performa mulai dari 125 MBps per TiB hingga 1000 MBps per TiB, serta paket Dinamis yang mengoptimalkan performa berdasarkan pola akses data, dengan throughput gabungan sebesar 25 MBps per TiB.
  • Lokasi. Untuk performa terbaik, tempatkan instance Anda di zona yang sama dengan VM klien atau cluster GKE.
  • Jaringan VPC untuk instance ini. Jaringan ini harus sama dengan yang digunakan untuk VM atau cluster Anda.
  • Apakah instance ini akan diakses dari cluster GKE. Karena Lustre dan GKE menggunakan port 988 secara default, setelan ini mengubah port Lustre untuk menghindari konflik.

Paket performa dan kapasitas penyimpanan maksimum

Managed Lustre menawarkan 4 paket performa yang ditetapkan, dan paket Dinamis. Paket performa memengaruhi ukuran instance minimum dan maksimum, serta ukuran langkah antara nilai kapasitas yang dapat diterima. Anda tidak dapat mengubah paket performa instance setelah dibuat.

Lihat Paket performa untuk mengetahui detailnya.

Anda dapat meningkatkan kapasitas penyimpanan instance setelah dibuat, hingga nilai maksimum yang diizinkan untuk paket performa dan ukuran langkahnya.

Kalkulator kapasitas

Pilih paket performa dan masukkan kapasitas target Anda untuk menemukan ukuran valid terdekat. Ukuran yang valid dibulatkan berdasarkan ukuran langkah dan minimum paket.

Kuota kapasitas penyimpanan

Kuota kapasitas penyimpanan yang tersedia bergantung pada banyak faktor, termasuk lokasi instance Anda dan paket performa yang diminta.

Kuota kapasitas penyimpanan default Anda adalah per Virtual Private Cloud (VPC) jaringan per zona dan dibagikan di semua paket performa. Penggunaan kapasitas dalam satu paket akan mengurangi kuota kapasitas penyimpanan yang tersedia di paket lainnya.

Lihat Kuota dan batas untuk mengetahui detailnya.

Izin yang diperlukan

Untuk membuat instance Managed Lustre baru, Anda harus memiliki izin IAM Admin Managed Lustre (roles/lustre.admin) untuk project Anda.

Lihat Kontrol akses dengan IAM untuk mengetahui detailnya.

Anda juga harus mengaktifkan Managed Lustre API.

Membuat instance

Anda dapat membuat instance Managed Lustre baru dari antarmuka berikut.

gcloud

Untuk membuat instance Managed Lustre baru, gunakan perintah gcloud lustre instances create:

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Nilai berikut harus ditentukan:

  • INSTANCE_ID adalah nama instance Managed Lustre ini. Nama ini harus:

    • Hanya berisi huruf kecil, angka, dan tanda hubung.
    • Diawali dengan huruf.
    • Berada di antara 1-63 karakter.
    • Diakhiri dengan angka atau huruf.
    • Unik dalam project dan lokasi.

  • --per-unit-storage-throughput adalah throughput maksimum instance dalam MBps per TiB. Nilai yang valid adalah 0, 125, 250, 500, dan 1000. Pilihan throughput Anda memengaruhi kapasitas penyimpanan minimum dan maksimum instance.

    Untuk menentukan paket Dinamis, tetapkan nilai ini ke 0 dan sertakan flag --dynamic-tier-options-mode=DEFAULT_CACHE. Contoh:

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib adalah kapasitas penyimpanan instance dalam gibibyte (GiB). Nilai yang diizinkan bergantung pada paket throughput penyimpanan yang Anda tentukan. Lihat bagian Paket performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  • --filesystem adalah nama yang akan ditetapkan ke sistem file Lustre ini. Nama ini digunakan oleh perintah sisi klien, termasuk mount dan lfs. Panjangnya harus 8 karakter atau kurang, hanya dapat berisi huruf dan/atau angka, dan bersifat peka huruf besar/kecil.

    Sebaiknya pilih nama yang unik di semua instance Managed Lustre di VPC. Hal ini memungkinkan beberapa instance digunakan dari satu node GKE.

  • --location harus berupa zona valid yang didukung oleh Managed Lustre. Google Cloud Lihat Lokasi yang didukung untuk mengetahui daftar lengkapnya.

  • --network adalah jalur lengkap jaringan VPC tempat instance berada, dalam format projects/PROJECT_ID/global/networks/NETWORK. Lihat Mengonfigurasi jaringan VPC.

  • --project adalah Google Cloud project ID.

Flag opsional adalah sebagai berikut:

  • --dynamic-tier-options-mode menentukan paket Dinamis untuk instance ini. Tetapkan nilai flag ini ke DEFAULT_CACHE dan tetapkan --per-unit-storage-throughput=0 untuk mengaktifkan paket Dinamis.

  • --kms-key-name menentukan kunci enkripsi yang dikelola pelanggan yang akan digunakan untuk mengenkripsi instance ini. Lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre untuk mengetahui detailnya.

  • --gke-support-enabled membuat instance yang dapat digunakan oleh cluster Google Kubernetes Engine. Tindakan ini menetapkan Lustre LNet accept_port ke 6988.

    Untuk terhubung dari VM Compute Engine saat --gke-support-enabled ditentukan, Anda harus memperbarui file konfigurasi LNet di VM. Lihat Mengonfigurasi LNet untuk instance gke-support-enabled.

  • --async (opsional) menjalankan perintah secara asinkron. Daripada menunggu pembuatan instance selesai, Google Cloud CLI akan menampilkan ID operasi yang dapat digunakan untuk membuat kueri status perintah.

Permintaan yang berhasil akan menampilkan ID operasi:

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

Pembuatan instance memerlukan waktu sekitar 15 menit untuk instance dengan kapasitas 9.000 GiB, hingga beberapa jam untuk instance dengan kapasitas 84.016.000 GiB (80,1 PiB). Lihat Membuat kueri status pembuatan instance untuk mengetahui petunjuk cara memeriksa status permintaan Anda.

REST

Untuk membuat instance menggunakan REST API, kirim permintaan ke endpoint berikut:

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string,
  "gkeSupportEnabled": boolean
}

Nilai berikut harus ditentukan:

  • PROJECT_ID adalah Google Cloud project ID.

  • ZONE harus berupa zona valid yang didukung oleh Managed Lustre. Google Cloud Lihat Lokasi yang didukung untuk mengetahui daftar lengkapnya.

  • INSTANCE_ID adalah nama instance Managed Lustre ini. Nama ini harus:

    • Hanya berisi huruf kecil, angka, dan tanda hubung.
    • Diawali dengan huruf.
    • Berada di antara 1-63 karakter.
    • Diakhiri dengan angka atau huruf.
    • Unik dalam project dan lokasi.

  • filesystem adalah nama yang akan ditetapkan ke sistem file Lustre ini. Nama ini digunakan oleh perintah sisi klien, termasuk mount dan lfs. Panjangnya harus 8 karakter atau kurang, hanya dapat berisi huruf dan/atau angka, dan bersifat peka huruf besar/kecil.

    Sebaiknya pilih nama sistem file yang unik di semua instance Managed Lustre di VPC. Hal ini memungkinkan beberapa instance digunakan dari satu node GKE.

  • perUnitStorageThroughput adalah throughput maksimum instance dalam MBps per TiB. Nilai yang valid adalah 0, 125, 250, 500, dan 1000. Pilihan throughput Anda memengaruhi kapasitas penyimpanan minimum dan maksimum instance.

    Untuk menentukan paket Dinamis, tetapkan nilai ini ke 0 dan sertakan objek dynamicTierOptions. Contoh:

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib adalah kapasitas penyimpanan instance dalam gibibyte (GiB). Nilai yang diizinkan bergantung pada paket throughput penyimpanan yang Anda tentukan. Lihat bagian Paket performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  • network adalah jalur lengkap jaringan VPC tempat instance berada, dalam format projects/PROJECT_ID/global/networks/NETWORK. Lihat Mengonfigurasi jaringan VPC.

Kolom berikut bersifat opsional:

  • dynamicTierOptions mengaktifkan paket Dinamis untuk instance ini. Kolom mode dalam objek dynamicTierOptions harus ditetapkan ke DEFAULT_CACHE dan perUnitStorageThroughput harus 0 untuk mengaktifkan paket Dinamis.

  • kmsKey menentukan kunci enkripsi yang dikelola pelanggan yang akan digunakan untuk mengenkripsi instance ini. Lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre untuk mengetahui detailnya.

  • gkeSupportEnabled menentukan bahwa instance ini dapat digunakan oleh cluster Google Kubernetes Engine. Tindakan ini menetapkan Lustre LNet accept_port ke 6988.

    Untuk terhubung dari VM Compute Engine saat gkeSupportEnabled ditentukan, Anda harus memperbarui file konfigurasi LNet di VM. Lihat Mengonfigurasi LNet untuk instance gke-support-enabled.

API ini mendukung kolom opsional tambahan untuk instance. Lihat dokumentasi referensi resource Instance untuk mengetahui daftar lengkap dan deskripsinya.

Google Cloud Konsol

  1. Buka halaman Managed Lustre di Google Cloud Konsol.

    Buka Managed Lustre

  2. Klik Create. Halaman Create an instance akan ditampilkan.

  3. Masukkan Instance name yang unik dan, secara opsional, deskripsi. Nama instance digunakan oleh Google Cloud untuk mengidentifikasi instance ini.

  4. Masukkan nama Filesystem. Nama ini digunakan oleh alat sisi klien seperti lfs. Panjangnya harus 8 karakter atau kurang, hanya dapat berisi huruf dan/atau angka, dan bersifat peka huruf besar/kecil.

  5. Pilih region dan zona tempat instance ini akan dibuat. Anda harus menempatkan instance di region dan zona yang sama dengan VM Compute Engine atau cluster Google Kubernetes Engine yang akan terhubung dengannya.

  6. Pilih paket performa untuk instance ini.

  7. Tentukan kapasitas penyimpanan instance Anda dalam gibibyte (GiB). Nilai yang valid bergantung pada paket throughput penyimpanan yang Anda pilih. Lihat bagian Paket performa dan kapasitas penyimpanan maksimum untuk mengetahui detailnya.

  8. Dari bagian Encryption, pilih Google-managed encryption key atau Cloud Key Management Service key. Untuk mengetahui informasi tentang opsi kunci Cloud Key Management Service, lihat Kunci enkripsi yang dikelola pelanggan untuk Managed Lustre.

  9. Jika Anda akan terhubung ke instance ini dari cluster GKE, pilih Enable GKE support. Opsi ini menetapkan Lustre LNet accept_port ke 6988.

    Untuk terhubung dari VM Compute Engine saat Enable GKE support ditentukan, Anda harus memperbarui file konfigurasi LNet di VM. Lihat Mengonfigurasi LNet untuk instance gke-support-enabled.

  10. Pilih Network yang Anda buat di Membuat jaringan VPC.

Bagian Summary di halaman akan diperbarui untuk menampilkan perkiraan biaya berdasarkan pilihan Anda.

Klik Submit untuk melanjutkan. Proses pembuatan instance memerlukan waktu 15 menit hingga satu jam, bergantung pada kapasitas instance.

Membuat kueri status pembuatan instance

Anda dapat membuat kueri status permintaan pembuatan dari antarmuka berikut.

gcloud

Untuk membuat kueri status operasi pembuatan, Anda dapat memperoleh operasi atau instance.

Untuk mendapatkan instance:

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

Status pembuatan adalah nilai state.

Untuk mendapatkan operasi, gunakan ID operasi dari respons pembuatan instance. ID operasi memiliki format berikut:

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

Status pembuatan adalah nilai done.

Setelah instance dibuat, hasil permintaan get pada instance akan mirip dengan respons berikut.

Perhatikan alamat IP di kolom mountPoint dan nama sistem file Anda; Anda akan memerlukan nilai ini saat memasang instance.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Untuk membuat kueri status operasi pembuatan, gunakan ID operasi dari respons. ID operasi memiliki format berikut:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Kirim permintaan ke endpoint berikut:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Jika berhasil, isi respons akan berisi instance Operasi.

Google Cloud Konsol

  1. Buka halaman Managed Lustre di Google Cloud Konsol.

    Buka Managed Lustre

  2. Klik nama instance dalam daftar. Halaman Instance Details akan muncul, yang mencakup status permintaan pembuatan instance Anda saat ini.

Langkah berikutnya