Storage

Halaman ini menjelaskan konsep penyimpanan Google Distributed Cloud (khusus software) untuk VMware.

Ringkasan

Google Distributed Cloud terintegrasi dengan sistem penyimpanan file atau blok eksternal melalui:

• Driver vSphere Container Storage Interface (CSI)
• Driver CSI pihak ketiga
• Plugin volume bawaan Kubernetes

Datastore vSphere

Saat membuat cluster admin, Anda menentukan datastore vSphere yang ada untuk data etcd cluster.

Saat membuat cluster pengguna, Anda dapat menggunakan datastore yang sama dengan cluster admin, atau Anda dapat menentukan datastore yang berbeda. Anda juga dapat menentukan datastores untuk setiap kumpulan node.

Datastore vSphere yang digunakan oleh cluster admin dan pengguna dapat didukung oleh NFS, vSAN, atau VMFS pada perangkat blok, seperti array penyimpanan eksternal. Di lingkungan multi-host, setiap perangkat blok harus dilampirkan ke semua host di lingkungan, dan datastore harus dikonfigurasi di setiap host melalui opsi Mount Datastore on Additional Hosts.

StorageClasses

Saat membuat PersistentVolumeClaim, Anda dapat menentukan StorageClass yang memberikan informasi tentang cara penyimpanan akan disediakan. Jika Anda tidak menentukan StorageClass, StorageClass default akan digunakan.

StorageClass cluster admin

Di cluster admin, ada StorageClass bernama standard, dan StorageClass ini ditetapkan sebagai StorageClass default. standard StorageClass mencantumkan plugin volume dalam hierarki vSphere sebagai penyedia.

Untuk melihat standard StorageClass:

kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get storageclass \
    standard --output yaml

Dalam output, Anda dapat melihat bahwa standard adalah StorageClass default dan penyedianya adalah plugin volume dalam hierarki vSphere, kubernetes.io/vsphere-volume. Anda juga dapat melihat nama datastore vSphere.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
  ...
  labels:
    bundle.gke.io/component-name: admin-storage-class
  name: standard
...
parameters:
  datastore: vsanDatastore
provisioner: kubernetes.io/vsphere-volume
...

StorageClass cluster pengguna

Di cluster pengguna, ada StorageClass bernama standard dan StorageClass lainnya bernama standard-rwo.

standard-rwo StorageClass ditetapkan sebagai StorageClass default, dan mencantumkan driver CSI vSphere sebagai penyedia.

Untuk melihat standard-rwo StorageClass:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get storageclass \
    standard-rwo --output yaml

Dalam output, Anda dapat melihat bahwa standard-rwo adalah StorageClass default dan penyedianya adalah driver CSI vSphere, csi.vsphere.vmware.com. Anda juga dapat melihat URL penyimpanan data vSphere:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
    ...
  labels:
    bundle.gke.io/component-name: user-vsphere-csi-driver-addon
    ...
  name: standard-rwo
...
parameters:
  datastoreURL: ds:///vmfs/volumes/vsan:52fb6ca22be2454e-e67f620175964a9f/
provisioner: csi.vsphere.vmware.com
...

Catatan: Jika Anda menyetel storage.vSphereCSIDisabled ke true dalam file konfigurasi cluster pengguna, cluster tidak akan memiliki StorageClass bernama standard-rwo. Hal ini tidak masalah jika Anda menyediakan driver CSI sendiri, dan Anda tidak memiliki PersistentVolume yang menggunakan plugin penyimpanan vSphere dalam hierarki.

Plugin volume bawaan Kubernetes

Kubernetes dilengkapi dengan sejumlah plugin volume dalam hierarki. Namun, sebagian besar plugin volume dalam hierarki ini sudah tidak digunakan lagi (termasuk plugin volume dalam hierarki vSphere). Untuk mengetahui informasi selengkapnya, lihat project migrasi CSI.

Migrasi CSI untuk driver penyimpanan vSphere

Sebelumnya, plugin volume vSphere dalam hierarki adalah penyedia untuk StorageClass default di cluster pengguna. Namun, plugin volume vSphere dalam hierarki kini tidak digunakan lagi, dan driver CSI vSphere adalah penyedia untuk StorageClass default di cluster pengguna. Sebaiknya gunakan driver CSI vSphere, bukan plugin volume in-tree.

Mulai versi 1.15 Google Distributed Cloud, fitur migrasi CSI Kubernetes diaktifkan secara default untuk plugin volume vSphere dalam hierarki. Artinya, jika workload menggunakan volume vSphere dalam tree, semua panggilan operasi penyimpanan internal akan otomatis dialihkan ke driver CSI vSphere.

Misalnya, PersistentVolumeClaim menentukan StorageClass standard, yang mencantumkan plugin volume dalam hierarki vSphere, kubernetes.io/vsphere-volume, sebagai penyedia. Kemudian, setiap workload yang menggunakan PersistentVolumeClaim tersebut akan memiliki panggilan operasi penyimpanan yang dialihkan ke driver CSI vSphere, csi.vsphere.vmware.com.

Pemeriksaan preflight

Saat Anda membuat cluster baru atau mengupgrade cluster, ada pemeriksaan awal yang memastikan lingkungan Anda cocok untuk migrasi CSI.

Misalnya, pemeriksaan preflight:

• Pastikan versi vCenter dan ESXI Anda sudah sesuai.
• Pastikan driver CSI vSphere diaktifkan jika ada PersistentVolume vSphere dalam struktur.
• Pastikan vSphere StorageClasses tidak memiliki parameter tertentu yang diabaikan setelah Migrasi CSI.
• Verifikasi anotasi pada PersistentVolume dan PersistentVolumeClaim dalam pohon yang dibuat secara statis yang diperlukan untuk Migrasi CSI.
• Verifikasi bahwa cluster dapat berhasil menjalankan workload menggunakan volume CSI yang disediakan oleh driver CSI vSphere.

Untuk mengetahui informasi selengkapnya, lihat Menjalankan pemeriksaan preflight.

Masalah umum

Ada beberapa masalah umum terkait Driver CSI vSphere. Untuk informasi dan solusinya, lihat bagian Masalah Umum dalam catatan rilis Driver CSI VMWare vSphere 3.0.

Menyelesaikan migrasi ke CSI

Dengan fitur migrasi CSI Kubernetes yang diaktifkan secara default di 1.15, PersistentVolume yang didukung oleh plugin volume vSphere dalam struktur terus berfungsi di lingkungan khusus CSI, hanya mengalihkan panggilan operasi plugin dalam struktur ke plugin CSI. Karena spesifikasi PersistentVolume tidak dapat diubah, spesifikasi akan sama dengan plugin volume dalam struktur.

Oleh karena itu, set fitur CSI lengkap seperti fitur Ekspansi Volume dan Snapshot Volume tidak tersedia untuk volume tersebut. Untuk memanfaatkan fitur ini, workload stateful harus sepenuhnya dimigrasikan ke CSI dengan membuat ulang spesifikasi resource Kubernetes dengan kolom CSI. Kami telah mengembangkan alat otomatis untuk membantu memigrasikan workload stateful ke CSI tanpa periode nonaktif aplikasi yang akan memungkinkan Anda menggunakan set fitur CSI lengkap.

Menggunakan driver pihak ketiga

Jika ingin menyediakan volume penyimpanan selain datastore vSphere, Anda dapat membuat StorageClass baru di cluster yang menggunakan driver penyimpanan yang berbeda. Kemudian, Anda dapat menetapkan StorageClass sebagai default cluster, atau mengonfigurasi workload untuk menggunakan StorageClass (contoh StatefulSet).

Partner penyimpanan

Kami telah berpartner dengan banyak vendor penyimpanan untuk memenuhi syarat sistem penyimpanan mereka dengan Google Distributed Cloud. Lihat daftar lengkap partner penyimpanan yang memenuhi syarat.

Perluasan volume

Anda dapat memperluas ukuran volume persisten setelah volume tersebut disediakan dengan mengedit permintaan kapasitas di PersistentVolumeClaim. Anda dapat melakukan ekspansi online saat volume sedang digunakan oleh Pod, atau ekspansi offline saat volume tidak digunakan.

Untuk driver CSI vSphere, ekspansi offline tersedia di vSphere versi >= 7.0, dan ekspansi online tersedia di vSphere versi >= 7.0 Update 2.

standard-rwo StorageClass menetapkan allowVolumeExpansion ke benar (true) secara default untuk cluster yang baru dibuat dan berjalan di >= vSphere 7.0. Anda dapat menggunakan perluasan online dan offline untuk volume menggunakan StorageClass ini. Untuk cluster yang diupgrade, karena StorageClass tidak diubah saat upgrade cluster, saat cluster diupgrade dari 1.7 ke 1.8, setelan allowVolumeExpansion di standard-rwo tetap tidak disetel, yang berarti ekspansi volume tidak diizinkan.

Untuk mengetahui informasi selengkapnya tentang ekspansi volume, lihat Menggunakan ekspansi volume.

Snapshot Volume CSI

Anda dapat membuat snapshot penyimpanan persisten menggunakan resource VolumeSnapshot dan VolumeSnapshotClass. Untuk menggunakan fitur ini di volume CSI, driver CSI harus mendukung snapshot volume, dan penampung sidecar external-snapshotter harus disertakan dalam deployment driver CSI.

Untuk mengetahui informasi selengkapnya tentang snapshot volume, lihat Menggunakan snapshot volume.

Pengontrol snapshot CSI di-deploy secara otomatis saat Anda membuat cluster.

Pembersihan volume

Saat Anda menghapus cluster pengguna, volume yang disediakan oleh driver CSI vSphere tidak akan dihapus. Anda harus menghapus semua volume, PersistentVolumeClaims, dan StatefulSets sebelum menghapus cluster.

Pemecahan masalah

Lihat Memecahkan Masalah Penyimpanan.

Bacaan lebih lanjut

• Volume persisten di Google Kubernetes Engine

• Volume Persisten

• Kelas Penyimpanan

• Container Storage Interface di Kubernetes