הקצאה ושימוש באחסון זמני שמגובה על ידי כונן SSD מקומי

בדף הזה מוסבר איך להקצות אחסון SSD מקומי באשכולות Google Kubernetes Engine‏ (GKE), ואיך להגדיר עומסי עבודה כדי להשתמש בנתונים מאחסון זמני שמגובה ב-SSD מקומי ומצורף לצמתים באשכול.

מידע נוסף על תמיכה ב-SSD מקומי ב-GKE זמין במאמר מידע על אחסון ב-SSD מקומי.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:

  • מפעילים את ממשק Google Kubernetes Engine API.
    • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-CLI של Google Cloud למשימה הזו, צריך להתקין ואז להפעיל את gcloud CLI. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא יתמכו בהרצת הפקודות שמופיעות במסמך הזה.

יצירת אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי

משתמשים ב-Google Cloud CLI כדי ליצור אשכול או מאגר צמתים עם אחסון זמני שמגובה על ידי SSD מקומי.

אפשר להשתמש באפשרות --ephemeral-storage-local-ssd כדי לצרף אחסון מקומי זמני בניהול מלא, שמגובה בכרכים של כונני SSD מקומיים. נפח האחסון הזה קשור למחזור החיים של ה-Pods. כששולחים בקשות ל-Pods לאחסון זמני, מערכת GKE מתזמנת אותם להרצה בצמתים שבהם מוגדרים נפחי SSD מקומיים כאחסון זמני. אם אתם רוצים שליטה מפורטת יותר ב-SSD המקומי, מומלץ להשתמש במקום זאת באחסון בלוקים גולמי שמגובה ב-SSD מקומי.

אם הפעלתם מידרוג אוטומטי של האשכול, ‏ GKE יבצע מידרוג אוטומטי של הצמתים כשהאשכול יזדקק לנפח אחסון זמני נוסף. ה-Pods יכולים לגשת לנתונים בנפחי SSD מקומיים דרך נפח emptyDir.

הפקודה ב-CLI של gcloud שמריצים כדי ליצור את האשכול או את מאגר הצמתים תלויה בדור סדרת המכונות של סוג המכונה שנבחר. לדוגמה, סוגי המכונות N1 ו-N2 שייכים לסדרת מכונות מהדור הראשון ומהדור השני בהתאמה, בעוד שסוגי המכונות C3 שייכים לסדרת מכונות מהדור השלישי.

יצירת אשכול עם SSD מקומי

דור ראשון או דור שני

אם אתם משתמשים בסוג מכונה מסדרת מכונות מהדור הראשון או השני, אתם צריכים ליצור את האשכול על ידי ציון האפשרות --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS. האפשרות הזו מקצה את המספר שצוין של כרכים של SSD מקומי בכל צומת לשימוש באחסון זמני של kubelet.

ההגדרות האלה חלות רק על מאגר הצמתים שמוגדר כברירת מחדל. אם מאגרי צמתים נוספים צריכים SSD מקומי, צריך לציין זאת במהלך יצירת מאגר הצמתים.

כדי ליצור אשכול שפועל בגרסה GKE 1.25.3-gke.1800 או בגרסה מאוחרת יותר, שבה מאגר ברירת המחדל משתמש בנפחי SSD מקומיים, מריצים את הפקודה הבאה:

gcloud container clusters create CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE \
    --release-channel CHANNEL_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול.
  • ‫NUMBER_OF_DISKS: מספר נפחי ה-SSD המקומיים שיוקצו לכל צומת. הנפחים האלה משולבים לנפח לוגי יחיד במהלך הגדרת הצומת. המספר המקסימלי של נפחים משתנה בהתאם לסוג המכונה ולאזור. חשוב לדעת: חלק מהקיבולת של ה-SSD המקומי שמור לשימוש המערכת.
  • ‫MACHINE_TYPE: סוג המכונה שבה רוצים להשתמש. זהו שדה חובה, כי אי אפשר להשתמש ב-SSD מקומי עם סוג ברירת המחדל e2-medium.
  • ‫CHANNEL_NAME: ערוץ הפצה שכולל גרסאות GKE מאוחרות יותר מ-1.25.3-gke.1800. אם אתם לא רוצים להשתמש בערוץ הפצה, אתם יכולים גם להשתמש בדגל --cluster-version במקום בדגל --release-channel, ולציין גרסה תקינה שמאוחרת מגרסה 1.25.3-gke.1800. כדי לקבוע את הגרסאות התקינות, משתמשים בפקודה gcloud container get-server-config.

דור שלישי או דור רביעי

אם משתמשים בסוג מכונה מסדרת מכונות מהדור השלישי או הרביעי, לא צריך לציין אפשרויות של SSD מקומי כשיוצרים אשכול. מספר הדיסקים שמצורפים לכל צומת תלוי בסוג המכונה.

כדי ליצור אשכול, מריצים את הפקודה הבאה:

gcloud container clusters create CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --cluster-version CLUSTER_VERSION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול.
  • ‫MACHINE_TYPE: סוג המכונה לשימוש מסדרת מכונות מהדור השלישי או הרביעי.
  • ‫CLUSTER_VERSION: גרסה של אשכול GKE שתומכת ב-SSD מקומי בסוגי מכונות מסדרת מכונות מהדור השלישי או הרביעי.

יצירת מאגר צמתים עם SSD מקומי

דור ראשון או דור שני

כדי ליצור מאגר צמתים שפועל ב-GKE גרסה 1.25.3-gke.1800 ואילך ומשתמש בנפחי SSD מקומיים, מריצים את הפקודה הבאה:

gcloud container node-pools create POOL_NAME \
    --cluster=CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫POOL_NAME: השם של מאגר הצמתים החדש.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫NUMBER_OF_DISKS: מספר נפחי ה-SSD המקומיים שיוקצו לכל צומת. הנפחים האלה משולבים לנפח לוגי יחיד במהלך הגדרת הצומת. המספר המקסימלי של נפחים משתנה בהתאם לסוג המכונה ולאזור. שימו לב: חלק מהקיבולת של ה-SSD המקומי שמור לשימוש המערכת.
  • ‫MACHINE_TYPE: סוג המכונה שבה רוצים להשתמש. חובה למלא את השדה הזה, כי אי אפשר להשתמש ב-SSD מקומי עם סוג ברירת המחדל e2-medium.

דור שלישי או דור רביעי

אם משתמשים בסוג מכונה מסדרת מכונות מהדור השלישי או הרביעי, לא צריך לציין אפשרויות של SSD מקומי כשיוצרים מאגר צמתים. מספר אמצעי האחסון שמצורפים לכל צומת תלוי בסוג המכונה.

כדי ליצור מאגר צמתים, מריצים את הפקודה הבאה:

gcloud container node-pools create POOL_NAME \
  --cluster=CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --node-version NODE_VERSION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫POOL_NAME: השם של מאגר הצמתים החדש.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫MACHINE_TYPE: סוג המכונה לשימוש מסדרת מכונות מהדור השלישי או הרביעי.
  • ‫NODE_VERSION: גרסה של מאגר צמתים ב-GKE שתומכת בכונן SSD מקומי בסוגי מכונות מסדרת מכונות מהדור השלישי או הרביעי.

הצמתים במאגר הצמתים נוצרים עם cloud.google.com/gke-ephemeral-storage-local-ssd=trueתווית. כדי לוודא שהתוויות נוספו, מריצים את הפקודה הבאה:

kubectl describe node NODE_NAME

שימוש באחסון זמני שמגובה על ידי SSD מקומי עם אשכולות Autopilot

אתם יכולים להשתמש בכונני SSD מקומיים לאחסון זמני כשאתם מגדירים את ה-Pods באחת מהדרכים הבאות:

  • אתם בוחרים במפורש סדרת מכונות להרצת ה-Pods ומציינים את cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector או הזמנת קיבולת עם כונני SSD מקומיים. מידע נוסף על בחירת סדרת מכונות ב-Autopilot
  • אתם מבקשים סוג GPU שתומך ב-SSD מקומי ומציינים את cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector או הזמנת קיבולת עם SSD מקומי. ב-GPU מסוג NVIDIA H100 ‏ (80GB) וב-GPU מסוג NVIDIA A100 ‏ (80GB) תמיד נעשה שימוש בכונני SSD מקומיים לאחסון זמני, ואי אפשר לציין את בורר הצמתים עבור ה-GPU האלה. מידע נוסף על בקשת יחידות GPU ב-Autopilot זמין במאמר בקשת יחידות GPU במאגרי התגים.

רשימת סדרות המכונות שתומכות ב-SSD מקומי ב-Autopilot

בקשה של כונני SSD מקומיים ישירות במניפסטים של עומסי עבודה

כדי להשתמש ב-SSD מקומי לאחסון זמני, מוסיפים את ‫nodeSelector‏ cloud.google.com/gke-ephemeral-storage-local-ssd: "true" למניפסט של עומס העבודה. לדוגמה, במניפסט של ה-Pod הבא נבחרו כונני SSD מקומיים כאחסון זמני ל-Pods של GPU:

apiVersion: v1
kind: Pod
metadata:
  name: l4-localssd-pod
spec:
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      requests:
        cpu: 16
        memory: 64Gi
        ephemeral-storage: 800Gi
      limits:
       cpu: 16
       memory: 64Gi
       ephemeral-storage: 800Gi
       nvidia.com/gpu: 8
  nodeSelector:
    cloud.google.com/gke-accelerator: nvidia-l4
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"

בקשה של כונני SSD מקומיים עם הזמנות של נפח אחסון

אם אתם משתמשים בשמירת קיבולת ב-Compute Engine כדי לשמור מכונות עם SSD מקומי, מצב Autopilot מצרף את ה-SSD המקומי שזמין בשמירה לצמתים שלכם, ולא צריך לבחור במפורש SSD מקומי במניפסט של עומס העבודה. מידע נוסף על שימוש בהזמנות עם Autopilot זמין במאמר שימוש בהזמנות קיבולת באשכולות Autopilot.

לדוגמה, במניפסט של ה-Pod הבא נבחרת הזמנה ספציפית עם כונני SSD מקומיים:

apiVersion: v1
kind: Pod
metadata:
  name: local-ssd-pod
spec:
  nodeSelector:
    cloud.google.com/machine-family: MACHINE_SERIES
    cloud.google.com/reservation-name: localssd-count-reservation
    cloud.google.com/reservation-affinity: "specific"
  containers:
  - name: my-container
    image: "k8s.gcr.io/pause"
    resources:
      requests:
        cpu: 6
        memory: "25Gi"
        ephemeral-storage: "100Gi"
      limits:
        cpu: 12
        memory: "50Gi"
        ephemeral-storage: "200Gi"

מחליפים את MACHINE_SERIES בסדרת מכונות נתמכת שתומכת גם בכונני SSD מקומיים. אם סדרת המכונות שציינתם לא תומכת בכונני SSD מקומיים, הפריסה תיכשל ותוצג שגיאה.

סדרות מכונות שתומכות ב-Local SSD ב-Autopilot

אשכולות Autopilot תומכים בשימוש בכונני SSD מקומיים לאחסון זמני עם סדרות המכונות הבאות:

‫ (רק עם הזמנת קיבולת)
‫ (רק עם הזמנת קיבולת)
‫ (רק עם הזמנת קיבולת)
‫ (רק עם הזמנת קיבולת)
‫ (רק עם הזמנת קיבולת)
(תמיד בחבילה)
‫ (רק עם הזמנת קיבולת)
(תמיד בחבילה)
(תמיד בחבילה)
(תמיד בחבילה)
(תמיד בחבילה)
‫ (למעט ההגדרה של שמינית GPU, ‏ g4-standard-6)

שימוש בפרמטר API מדור קודם

האפשרות --local-ssd-count היא פרמטר API מדור קודם שתומך ב-SSD מקומי של SCSI. סדרת המכונות מהדור השלישי של Compute Engine לא תומכת ב-SCSI, אלא רק ב-NVMe. מומלץ להשתמש באפשרות הזו רק עם אשכולות של Windows Server. אם אתם משתמשים כרגע בפרמטר API מדור קודם באשכולות Linux, מומלץ להשתמש באפשרות --ephemeral-storage-local-ssd במקום זאת.

אחסון SSD מקומי באשכולות של Windows Server

כשמשתמשים ב-Local SSD עם אגודות של צמתים שמופעלים ב-Windows Server, צריך להתחבר לצומת ולפרמט את אמצעי האחסון לפני שמשתמשים בו. בדוגמה הבאה, אמצעי האחסון של ה-SSD המקומי מעוצב עם מערכת הקבצים NTFS. אפשר גם ליצור ספריות מתחת לנפח. בדוגמה הזו, הספריות נמצאות בדיסק D.

PS C:\> Get-Disk | Where partitionstyle -eq 'raw' | Initialize-Disk -PartitionStyle MBR -PassThru | New-Partition -AssignDriveLetter -UseMaximumSize | Format-Volume -FileSystem ntfs -Confirm:$false
PS C:\> mkdir D:\test-ssd

גישה לנפחי אחסון מקומיים מסוג SSD

בדוגמה הבאה אפשר לראות איך ניגשים לאחסון זמני שמגובה על ידי SSD מקומי.

שטח אחסון זמני כנפח emptyDir

אפשר להגדיר מאגר צמתים ב-GKE כך שישתמש ב-SSD מקומי לאחסון זמני, כולל נפחי אחסון emptyDir.

במניפסט של ה-Pod הבא נעשה שימוש ב-emptyDir ובבורר הצמתים cloud.google.com/gke-ephemeral-storage-local-ssd. אפשר להשתמש בטכניקה דומה למניפסטים של פריסות או למניפסטים של StatefulSet.

כשבוחרים את בקשת המשאב של האחסון הזמני, צריך לקחת בחשבון את הקיבולת של ה-SSD המקומי ששמורה לשימוש המערכת.

apiVersion: v1
kind: Pod
metadata:
  name: POD_NAME
spec:
  containers:
    - name: CONTAINER_NAME
      image: "registry.k8s.io/pause"
      resources:
        requests:
          ephemeral-storage: "200Gi"
      volumeMounts:
        - mountPath: /cache
          name: scratch-volume
  nodeSelector:
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"
  volumes:
    - name: scratch-volume
      emptyDir: {}

פתרון בעיות

הוראות לפתרון בעיות מופיעות במאמר פתרון בעיות באחסון ב-GKE.

המאמרים הבאים