הקצאה ושימוש באחסון זמני שמגובה על ידי כונן SSD מקומי

בדף הזה מוסבר איך להקצות אחסון ב-SSD מקומי באשכולות של Google Kubernetes Engine‏ (GKE), ואיך להגדיר עומסי עבודה לצריכת נתונים מאחסון זמני שמגובה ב-SSD מקומי ומחובר לצמתים באשכול.

למידע נוסף על תמיכה ב-SSD מקומי ב-GKE, קראו את המאמר מידע על אחסון ב-SSD מקומי.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
    • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שבגרסאות קודמות של ה-CLI של gcloud אי אפשר להריץ את הפקודות שבמסמך הזה.

יצירת אשכול או מאגר צמתים עם אחסון זמני שמגובה ב-SSD מקומי

אתם יכולים להשתמש ב-Google Cloud CLI כדי ליצור אשכול או מאגר צמתים עם אחסון זמני שמגובה ב-SSD מקומי.

משתמשים באפשרות --ephemeral-storage-local-ssd כדי לצרף אחסון מקומי זמני בניהול מלא, שמגובה בנפחי SSD מקומיים. האחסון הזה קשור למחזור החיים של ה-Pods. כשפודים מבקשים אחסון זמני, GKE מתזמן אותם להפעלה בצמתים שבהם נפחי Local SSD מוגדרים כאחסון זמני. אם אתם רוצים שליטה מפורטת או מיוחדת יותר על כונני ה-SSD המקומיים, מומלץ להשתמש באחסון בלוקים גולמיים שמגובה ב-SSD מקומי.

אם הפעלתם התאמה אוטומטית לעומס באשכול, GKE יתאים אוטומטית את הצמתים לעומס כשהאשכול יצטרך עוד נפח אחסון זמני. ה-Pods יכולים לגשת לנתונים בנפחי Local SSD דרך הנפח emptyDir.

הפקודה של ה-CLI של gcloud שאתם מריצים כדי ליצור את האשכול או את מאגר הצמתים תלויה בדור של סדרת המכונות של סוג המכונה שבחרתם. לדוגמה, סוגי המכונות N1 ו-N2 שייכים לסדרת מכונות מהדור הראשון והשני, בהתאמה, וסוגי המכונות C3 שייכים לסדרת מכונות מהדור השלישי.

יצירת אשכול עם Local SSD

דור ראשון או שני

אם אתם משתמשים בסוג מכונה מסדרת מכונות מהדור הראשון או השני, צרו את האשכול באמצעות האפשרות --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS. האפשרות הזו מקצה את המספר שצוין של נפחי SSD מקומיים בכל צומת, לשימוש באחסון זמני של kubelet.

ההגדרות האלה חלות רק על מאגר הצמתים שמוגדר כברירת מחדל. אם מאגרי הצמתים הבאים צריכים SSD מקומי, צריך לציין את זה במהלך יצירת מאגר הצמתים.

כדי ליצור אשכול שפועל בגרסה 1.25.3-gke.1800 של GKE או בגרסה מאוחרת יותר, שבה מאגר ברירת המחדל משתמש בנפחי SSD מקומיים, מריצים את הפקודה הבאה:

gcloud container clusters create CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE \
    --release-channel CHANNEL_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול.
  • ‫NUMBER_OF_DISKS: מספר אמצעי האחסון מסוג SSD מקומי שצריך להקצות בכל צומת. במהלך הגדרת הצומת, אמצעי האחסון האלה משולבים לאמצעי אחסון לוגי אחד. מספר אמצעי האחסון המקסימלי משתנה בהתאם לסוג המכונה ולאזור. שימו לב שחלק מהקיבולת של ה-SSD המקומי שמורה לשימוש המערכת.
  • ‫MACHINE_TYPE: סוג המכונה שבה משתמשים. השדה הזה נדרש כי אי אפשר להשתמש ב-SSD מקומי עם סוג ברירת המחדל e2-medium.
  • CHANNEL_NAME: ערוץ הפצה שכולל גרסאות GKE חדשות יותר מ-1.25.3-gke.1800. אם אתם מעדיפים לא להשתמש בערוץ הפצה, אתם יכולים להשתמש בדגל --cluster-version במקום בדגל --release-channel, ולציין גרסה תקינה שמאוחרת יותר מ-‎1.25.3-gke.1800. כדי לראות את הגרסאות התקינות, משתמשים בפקודה gcloud container get-server-config.

דור שלישי או רביעי

אם אתם משתמשים בסוג מכונה מסדרת מכונות מהדור השלישי או הרביעי, אתם לא צריכים לציין אפשרויות של Local SSD כשאתם יוצרים אשכול. מספר הדיסקים שמחוברים לכל צומת תלוי בסוג המכונה.

כדי ליצור אשכול, מריצים את הפקודה הבאה:

gcloud container clusters create CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --cluster-version CLUSTER_VERSION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול.
  • ‫MACHINE_TYPE: סוג המכונה שבה משתמשים מסדרת מכונות מהדור השלישי או הרביעי.
  • ‫CLUSTER_VERSION: גרסת אשכול GKE שתומכת ב-SSD מקומי בסוגי מכונות מסדרת מכונות מהדור השלישי או הרביעי.

יצירת מאגר צמתים עם Local SSD

דור ראשון או שני

כדי ליצור מאגר צמתים שפועל ב-GKE בגרסה 1.25.3-gke.1800 ואילך, שמשתמש בנפחי SSD מקומיים, מריצים את הפקודה הבאה:

gcloud container node-pools create POOL_NAME \
    --cluster=CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫POOL_NAME: השם של מאגר הצמתים החדש.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫NUMBER_OF_DISKS: מספר אמצעי האחסון מסוג SSD מקומי שצריך להקצות בכל צומת. במהלך הגדרת הצומת, אמצעי האחסון האלה משולבים לאמצעי אחסון לוגי אחד. מספר אמצעי האחסון המקסימלי משתנה בהתאם לסוג המכונה ולאזור. שימו לב שחלק מהקיבולת של ה-SSD המקומי שמורה לשימוש המערכת.
  • ‫MACHINE_TYPE: סוג המכונה שבה משתמשים. השדה הזה נדרש, כי אי אפשר להשתמש ב-SSD מקומי עם סוג ברירת המחדל e2-medium.

דור שלישי או רביעי

אם אתם משתמשים בסוג מכונה מסדרת מכונות מהדור השלישי או הרביעי, אתם לא צריכים לציין אפשרויות של Local SSD כשאתם יוצרים מאגר צמתים. מספר אמצעי האחסון שמחוברים לכל צומת תלוי בסוג המכונה.

כדי ליצור מאגר צמתים, מריצים את הפקודה הבאה:

gcloud container node-pools create POOL_NAME \
  --cluster=CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --node-version NODE_VERSION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫POOL_NAME: השם של מאגר הצמתים החדש.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫MACHINE_TYPE: סוג המכונה שבה משתמשים מסדרת מכונות מהדור השלישי או הרביעי.
  • ‫NODE_VERSION: גרסה של מאגר צמתים ב-GKE שתומכת ב-SSD מקומי בסוגי מכונות מסדרת מכונות מהדור השלישי או הרביעי.

הצמתים במאגר הצמתים נוצרים עם התווית cloud.google.com/gke-ephemeral-storage-local-ssd=true. כדי לאמת את התוויות, מריצים את הפקודה הבאה:

kubectl describe node NODE_NAME

שימוש באחסון זמני שמגובה ב-SSD מקומי עם אשכולות Autopilot

אתם יכולים להשתמש בכונני SSD מקומיים לאחסון זמני כשאתם מגדירים את ה-Pods באחת מהדרכים הבאות:

  • אתם בוחרים במפורש סדרת מכונות להרצת ה-Pods ומציינים את cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector או הזמנת קיבולת עם כונני Local SSD. מידע נוסף על בחירת סדרת מכונות ב-Autopilot זמין במאמר אופטימיזציה של ביצועי Pod ב-Autopilot באמצעות בחירת סדרת מכונות.
  • אתם מבקשים סוג GPU שתומך ב-SSD מקומיים ומציינים את cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector או שמירת קיבולת שיש בה SSD מקומיים. מעבדי GPU מסוג NVIDIA H100 (80GB)‎ ו-NVIDIA A100 (80GB)‎ תמיד משתמשים בכונני Local SSD לאחסון זמני, ואי אפשר לציין את בורר הצמתים למעבדי ה-GPU האלה. מידע נוסף על בקשת GPUs ב-Autopilot זמין במאמר בקשת GPUs בקונטיינרים.

במאמר סדרות של מכונות שתומכות ב-SSD מקומי ב-Autopilot מפורטות סדרות המכונות שתואמות ל-SSD מקומי.

בקשת כונני SSD מקומיים ישירות במניפסטים של עומסי עבודה

כדי להשתמש ב-SSD מקומי לאחסון זמני, מוסיפים את ה-nodeSelector cloud.google.com/gke-ephemeral-storage-local-ssd: "true" למניפסט של עומס העבודה. לדוגמה, במניפסט הבא של Pod נבחרים כונני SSD מקומיים כאחסון זמני ל-GPU Pods:

apiVersion: v1
kind: Pod
metadata:
  name: l4-localssd-pod
spec:
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      requests:
        cpu: 16
        memory: 64Gi
        ephemeral-storage: 800Gi
      limits:
       cpu: 16
       memory: 64Gi
       ephemeral-storage: 800Gi
       nvidia.com/gpu: 8
  nodeSelector:
    cloud.google.com/gke-accelerator: nvidia-l4
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"

בקשת כונני SSD מקומיים עם הזמנות קיבולת

אם אתם משתמשים בשמירת קיבולת ב-Compute Engine כדי לשמור מכונות עם כונני SSD מקומיים, Autopilot מצרף לצמתים כונני SSD מקומיים זמינים מהמקום ששמרתם, ואתם לא צריכים לבחור באופן מפורש כונני SSD מקומיים במניפסט של עומס העבודה. איך משתמשים בהזמנות ב-Autopilot

לדוגמה, במניפסט הבא של Pod נבחרה הקצאה ספציפית עם כונני SSD מקומיים:

apiVersion: v1
kind: Pod
metadata:
  name: local-ssd-pod
spec:
  nodeSelector:
    cloud.google.com/machine-family: MACHINE_SERIES
    cloud.google.com/reservation-name: localssd-count-reservation
    cloud.google.com/reservation-affinity: "specific"
  containers:
  - name: my-container
    image: "k8s.gcr.io/pause"
    resources:
      requests:
        cpu: 6
        memory: "25Gi"
        ephemeral-storage: "100Gi"
      limits:
        cpu: 12
        memory: "50Gi"
        ephemeral-storage: "200Gi"

מחליפים את MACHINE_SERIES בסדרת מכונות נתמכת שתומכת גם בכונני SSD מקומיים. אם סדרת המכונות שציינתם לא תומכת בכונני SSD מקומיים, הפריסה תיכשל ותופיע הודעת שגיאה.

סדרות מכונות שתומכות ב-Local SSD ב-Autopilot

באשכולות Autopilot אפשר להשתמש בכונני SSD מקומיים לאחסון זמני בסדרות המכונות הבאות:

(רק עם הזמנת קיבולת)
(רק עם הזמנת קיבולת)
(רק עם הזמנת קיבולת)
(רק עם הזמנת קיבולת)
(רק עם הזמנת קיבולת)
(תמיד מקובצים)
(תמיד מקובצים)
(תמיד מקובצים)
(רק עם הזמנת קיבולת)
(תמיד מקובצים)
(תמיד מקובצים)
(תמיד מקובצים)
(תמיד מקובצים)
(חוץ מההגדרה של שמינית GPU, ‏ g4-standard-6)

שימוש בפרמטר של ה-API הקודם

האפשרות --local-ssd-count היא פרמטר API מדור קודם שתומך ב-SCSI Local SSD. סדרת המכונות מהדור השלישי של Compute Engine לא תומכת ב-SCSI, אלא רק ב-NVMe. צריך להשתמש באפשרות הזו רק עם אשכולות של Windows Server. אם אתם משתמשים כרגע בפרמטר ה-API הקודם באשכולות של Linux, מומלץ להשתמש במקום זאת באפשרות --ephemeral-storage-local-ssd.

אחסון SSD מקומי באשכולות של Windows Server

כשמשתמשים ב-Local SSD עם אשכולות שמריצים מאגרי צמתים של Windows Server, צריך להתחבר לצומת ולפרמט את אמצעי האחסון לפני שמשתמשים בו. בדוגמה הבאה, נפח ה-SSD המקומי מעוצב באמצעות מערכת הקבצים NTFS. אפשר גם ליצור ספריות בתוך אמצעי האחסון. בדוגמה הזו, הספריות נמצאות בדיסק D.

PS C:\> Get-Disk | Where partitionstyle -eq 'raw' | Initialize-Disk -PartitionStyle MBR -PassThru | New-Partition -AssignDriveLetter -UseMaximumSize | Format-Volume -FileSystem ntfs -Confirm:$false
PS C:\> mkdir D:\test-ssd

גישה לנפחי SSD מקומיים

בדוגמה הבאה אפשר לראות איך ניגשים לאחסון זמני שמגובה ב-SSD מקומי.

אחסון זמני כנפח emptyDir

אפשר להגדיר מאגר צמתים ב-GKE כך שישתמש ב-SSD מקומי לאחסון זמני, כולל נפחי emptyDir.

במניפסט הבא של Pod נעשה שימוש ב-emptyDir ובבורר צמתים של cloud.google.com/gke-ephemeral-storage-local-ssd. אפשר להשתמש בשיטה דומה למניפסטים של פריסה או למניפסטים של StatefulSet.

כשבוחרים את בקשת המשאבים לאחסון זמני, צריך להביא בחשבון את הקיבולת של כונן ה-SSD המקומי ששמורה לשימוש המערכת.

apiVersion: v1
kind: Pod
metadata:
  name: POD_NAME
spec:
  containers:
    - name: CONTAINER_NAME
      image: "registry.k8s.io/pause"
      resources:
        requests:
          ephemeral-storage: "200Gi"
      volumeMounts:
        - mountPath: /cache
          name: scratch-volume
  nodeSelector:
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"
  volumes:
    - name: scratch-volume
      emptyDir: {}

פתרון בעיות

הוראות לפתרון בעיות מפורטות במאמר פתרון בעיות באחסון ב-GKE.

המאמרים הבאים