הגדרת מנהל התקן ה-CSI של Cloud Storage FUSE ל-GKE

בדף הזה מוסבר איך להגדיר את הדרייבר של Cloud Storage FUSE CSI ל-GKE ולהכין אותו לשימוש.

כדי להשתמש במנהל התקן ה-CSI של Cloud Storage FUSE, מבצעים את השלבים הבאים:

יצירת קטגוריה של Cloud Storage

אם עדיין לא עשיתם זאת, יוצרים את קטגוריות Cloud Storage. תתבצע הרכבה של הדליים האלה כנפחים באשכול GKE. כדי לשפר את הביצועים, מגדירים את Location type ל-Region ובוחרים אזור שתואם לאשכול GKE.

Google Cloud

הפעלת מנהל התקן ה-CSI של Cloud Storage FUSE

צריך לפעול לפי השלבים הבאים, בהתאם לסוג האשכולות שבהם אתם משתמשים: GKE Autopilot או אשכולות רגילים. כדי ליהנות מחוויית Kubernetes מנוהלת באופן מלא, מומלץ להשתמש באשכול Autopilot. כדי לבחור את המצב שהכי מתאים לעומסי העבודה שלכם, אפשר לעיין במאמר בחירת מצב פעולה של GKE.

טייס אוטומטי

מנהל התקן ה-CSI של Cloud Storage FUSE מופעל כברירת מחדל באשכולות של Autopilot. אפשר לדלג אל הגדרת גישה לקטגוריות של Cloud Storage.

רגילה

אם מנהל התקן ה-CSI של Cloud Storage FUSE מופעל באשכול Standard, אפשר לדלג אל הגדרת גישה לקטגוריות של Cloud Storage.

מנהל התקן ה-CSI של Cloud Storage FUSE לא מופעל כברירת מחדל באשכולות רגילים. כדי ליצור אשכול רגיל עם מנהל התקן ה-CSI של Cloud Storage FUSE מופעל, אפשר להשתמש בפקודה gcloud container clusters create:

gcloud container clusters create CLUSTER_NAME \
    --addons GcsFuseCsiDriver \
    --cluster-version=VERSION \
    --location=LOCATION \
    --workload-pool=PROJECT_ID.svc.id.goog

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: השם של האשכול.
  • ‫VERSION: מספר הגרסה של GKE. צריך לבחור בגרסה 1.24 ואילך.
  • ‫LOCATION: האזור או התחום של Compute Engine שבו נמצא האשכול.
  • PROJECT_ID: מזהה הפרויקט.

כדי להפעיל את הדרייבר באשכול קיים מסוג Standard, משתמשים בפקודה gcloud container clusters update:

gcloud container clusters update CLUSTER_NAME \
    --update-addons GcsFuseCsiDriver=ENABLED \
    --location=LOCATION

כדי לוודא שמנהל התקן ה-CSI של Cloud Storage FUSE מופעל באשכול, מריצים את הפקודה הבאה:

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID \
    --format="value(addonsConfig.gcsFuseCsiDriverConfig.enabled)"

הגדרת גישה לקטגוריות של Cloud Storage

מנהל התקן ה-CSI של Cloud Storage FUSE משתמש באיחוד שירותי אימות הזהות של עומסי עבודה ב-GKE כדי שתוכלו להגדיר הרשאות מפורטות לגבי האופן שבו פודים של GKE יכולים לגשת לנתונים שמאוחסנים ב-Cloud Storage.

כדי להפוך את קטגוריות Cloud Storage לנגישות לאשכול GKE, צריך לבצע אימות באמצעות איחוד זהויות של עומסי עבודה ל-GKE עם קטגוריית Cloud Storage שרוצים לצרף למפרט ה-Pod:

  1. אם לא הפעלתם את איחוד הזהויות של עומסי עבודה ל-GKE, צריך לפעול לפי השלבים האלה כדי להפעיל אותו. אם רוצים להשתמש במאגר צמתים קיים, צריך להפעיל באופן ידני את איחוד הזהויות של עומסי עבודה ל-GKE במאגר הצמתים אחרי שמפעילים את איחוד הזהויות של עומסי עבודה ל-GKE באשכול.

  2. מקבלים פרטי כניסה לאשכול:

    gcloud container clusters get-credentials CLUSTER_NAME \
    --location=LOCATION

    מחליפים את מה שכתוב בשדות הבאים:

  3. יוצרים מרחב שמות לשימוש ב-Kubernetes ServiceAccount. אפשר גם להשתמש במרחב השמות default או בכל מרחב שמות קיים.

    kubectl create namespace NAMESPACE

    מחליפים את NAMESPACE בשם של מרחב השמות ב-Kubernetes של חשבון השירות ב-Kubernetes.

  4. יוצרים חשבון שירות ב-Kubernetes לשימוש האפליקציה. אפשר גם להשתמש בכל חשבון שירות קיים של Kubernetes בכל מרחב שמות, כולל חשבון השירות default של Kubernetes.

    kubectl create serviceaccount KSA_NAME \
    --namespace NAMESPACE

    מחליפים את KSA_NAME בשם של חשבון השירות של Kubernetes.

  5. מקצים לחשבון השירות ב-Kubernetes אחד מתפקידי ה-IAM ל-Cloud Storage. פועלים לפי השלבים האלה, בהתאם לשאלה אם אתם מעניקים לחשבון השירות של Kubernetes גישה רק לקטגוריה ספציפית של Cloud Storage, או גישה גלובלית לכל הקטגוריות בפרויקט.

    גישה לקטגוריה ספציפית

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
    --member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/KSA_NAME" \
    --role "ROLE_NAME"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫BUCKET_NAME: שם הקטגוריה שלכם ב-Cloud Storage.
    • ‫PROJECT_NUMBER: מספר הפרויקט של אשכול GKE. כדי למצוא את מספר הפרויקט, אפשר להיעזר במאמר זיהוי פרויקטים.
    • ‫PROJECT_ID: מזהה הפרויקט של אשכול GKE.
    • ‫NAMESPACE: השם של מרחב השמות ב-Kubernetes עבור חשבון השירות ב-Kubernetes.
    • ‫KSA_NAME: השם של חשבון השירות החדש של Kubernetes.
    • ‫ROLE_NAME: תפקיד ה-IAM להקצאה לחשבון השירות של Kubernetes.
      • לעומסי עבודה של קריאה בלבד, משתמשים בתפקיד Storage Object Viewer‏ (roles/storage.objectViewer).
      • עבור עומסי עבודה של קריאה וכתיבה, משתמשים בתפקיד 'משתמש אובייקט אחסון' (roles/storage.objectUser).

    גישה גלובלית לקטגוריות

    gcloud projects add-iam-policy-binding GCS_PROJECT \
    --member "principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/KSA_NAME" \
    --role "ROLE_NAME"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫GCS_PROJECT: מזהה הפרויקט של דלי ה-Cloud Storage.
    • ‫PROJECT_NUMBER: מספר הפרויקט של אשכול GKE. כדי למצוא את מספר הפרויקט, אפשר להיעזר במאמר זיהוי פרויקטים.
    • ‫PROJECT_ID: מזהה הפרויקט של אשכול GKE.
    • ‫NAMESPACE: השם של מרחב השמות ב-Kubernetes עבור חשבון השירות ב-Kubernetes.
    • ‫KSA_NAME: השם של חשבון השירות החדש של Kubernetes.
    • ‫ROLE_NAME: תפקיד ה-IAM להקצאה לחשבון השירות של Kubernetes.
      • לעומסי עבודה של קריאה בלבד, משתמשים בתפקיד Storage Object Viewer‏ (roles/storage.objectViewer).
      • עבור עומסי עבודה של קריאה וכתיבה, משתמשים בתפקיד 'משתמש אובייקט אחסון' (roles/storage.objectUser).

הגדרת גישה ל-Pods עם רשת מארחת

בגרסאות של אשכול GKE שקודמות לגרסה 1.33.3-gke.1226000, מנהל התקן ה-CSI של Cloud Storage FUSE לא תומך ב-Pods שפועלים ברשת המארח (hostNetwork: true) בגלל מגבלות של איחוד זהויות של עומסי עבודה ל-GKE. עם זאת, בגרסאות מאוחרות יותר של GKE, אפשר להגדיר אימות מאובטח לתרמילי Pod מופעלים כשמשתמשים במנהל התקן ה-CSI של Cloud Storage FUSE כדי לטעון קטגוריות של Cloud Storage.hostNetwork התמיכה ברשת המארחת זמינה רק באשכולות GKE רגילים.

חשוב לוודא שקלאסטר ה-GKE עומד בדרישות הבאות:

  • גם רמת הבקרה וגם מאגרי הצמתים באשכול GKE Standard צריכים להיות בגרסה 1.33.3-gke.1226000 ומעלה.
  • מפעילים את Workload Identity באשכול.
  • נותנים את הרשאות ה-IAM הנדרשות לחשבון השירות של Kubernetes שבו הפוד עם hostNetwork מופעל משתמש כדי לגשת לקטגוריה של Cloud Storage. מידע נוסף זמין במאמר בנושא אימות ל-Cloud Storage FUSE.

כדי לאפשר לקבוצות ה-Pod שלכם HostNetwork לגשת לנפחי Cloud Storage, אתם מציינים את מאפיין הנפח hostNetworkPodKSA: "true" בהגדרת ה-Pod או PersistentVolume. ההגדרה המדויקת משתנה בהתאם לאופן שבו מנהלים את קובץ ה-sidecar של Cloud Storage FUSE.

קבצים נלווים מנוהלים

הקטע הזה רלוונטי אם GKE מזריק ומנהל באופן אוטומטי את קובץ ה-sidecar של Cloud Storage FUSE ב-Pods. האפשרות הזו היא ברירת המחדל וההגדרה המומלצת למנהל התקן ה-CSI של Cloud Storage FUSE.

נפח זמני

קובץ המניפסט של ה-Pod הבא מגדיר נפח זמני ל-Pod‏ HostNetwork כדי לגשת לקטגוריה של Cloud Storage.

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
  namespace: ns1
  annotations:
    gke-gcsfuse/volumes: "true"
spec:
  serviceAccountName: test-ksa-ns1
  hostNetwork: true
  containers:
  - image: busybox
    name: busybox
    command:
      - sleep
      - "3600"
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: test-bucket
        hostNetworkPodKSA: "true"

נפח אחסון מתמיד

קובץ ה-manifest של ה-PV הבא מגדיר PV ל-Pod של HostNetwork כדי לגשת לקטגוריה של Cloud Storage.

apiVersion: v1
kind: PersistentVolume
metadata:
name: gcp-cloud-storage-csi-pv
spec:
accessModes:
- ReadWriteMany
capacity:
  storage: 5Gi
persistentVolumeReclaimPolicy: Retain
# storageClassName does not need to refer to an existing StorageClass object.
storageClassName: test-storage-class
mountOptions:
  - uid=1001
  - gid=3003
csi:
  driver: gcsfuse.csi.storage.gke.io
  volumeHandle: test-wi-host-network-2
  volumeAttributes:
    hostNetworkPodKSA: "true"

סיידקארים פרטיים

הקטע הזה רלוונטי אם אתם מנהלים באופן ידני את קונטיינר ה-sidecar של Cloud Storage FUSE בתוך ה-Pods או משתמשים בתמונת sidecar בהתאמה אישית.

קובץ האימג' של ה-sidecar צריך להתבסס על מנהל התקן ה-CSI של Cloud Storage FUSE בגרסה v1.17.2 ואילך.

נפח זמני

קובץ המניפסט של ה-Pod הבא מגדיר נפח זמני ל-Pod‏ HostNetwork כדי לגשת לקטגוריה של Cloud Storage.

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
  namespace: ns1
  annotations:
    gke-gcsfuse/volumes: "true"
spec:
  serviceAccountName: test-ksa-ns1
  hostNetwork: true
  containers:
  - image: busybox
    name: busybox
    command:
      - sleep
      - "3600"
    volumeMounts:
    - name: gcs-fuse-csi-ephemeral
      mountPath: /data
  volumes:
  - name: gcs-fuse-csi-ephemeral
    csi:
      driver: gcsfuse.csi.storage.gke.io
      volumeAttributes:
        bucketName: test-bucket
        hostNetworkPodKSA: "true"
        identityProvider: "https://container.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_NAME"

בשדה identityProvider, מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: המיקום של האשכול.
  • ‫CLUSTER_NAME: השם של אשכול GKE Standard.

נפח אחסון מתמיד

קובץ ה-manifest של ה-PV הבא מגדיר PV ל-Pod של HostNetwork כדי לגשת לקטגוריה של Cloud Storage.

apiVersion: v1
kind: PersistentVolume
metadata:
name: gcp-cloud-storage-csi-pv
spec:
accessModes:
- ReadWriteMany
capacity:
  storage: 5Gi
persistentVolumeReclaimPolicy: Retain
# storageClassName does not need to refer to an existing StorageClass object.
storageClassName: test-storage-class
mountOptions:
  - uid=1001
  - gid=3003
csi:
  driver: gcsfuse.csi.storage.gke.io
  volumeHandle: test-wi-host-network-2
  volumeAttributes:
    hostNetworkPodKSA: "true"
    identityProvider: "https://container.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_NAME"

בשדה identityProvider, מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: המיקום של האשכול.
  • ‫CLUSTER_NAME: השם של אשכול GKE Standard.

המאמרים הבאים