כדי להצפין את נתוני עומסי העבודה של ה-GPU שנמצאים בשימוש, אתם יכולים להריץ את עומסי העבודה בצמתים מוצפנים של Confidential Google Kubernetes Engine. בדף הזה מוסבר למהנדסי אבטחה ולמפעילים איך לשפר את אבטחת הנתונים בעומסי עבודה מואצים, כמו משימות AI/ML. אתם צריכים להכיר את המושגים הבאים:
מידע על הרצת עומסי עבודה של GPU בצמתים של Confidential GKE
כדי לבקש צומתי Confidential GKE לעומסי העבודה של ה-GPU, אתם יכולים להשתמש באחת מהשיטות הבאות:
- הקצאה אוטומטית של Confidential GKE Nodes לעומסי העבודה ב-GPU באמצעות ComputeClasses ב-GKE. אפשר להשתמש בשיטה הזו באשכולות במצב Autopilot ובאשכולות במצב Standard. מידע נוסף זמין בקטע שימוש ב-ComputeClasses להרצת עומסי עבודה של GPU בצומתי Confidential GKE Node.
- להגדיר באופן ידני צומתי Confidential GKE באשכולות או במאגרי הצמתים הרגילים. מידע נוסף זמין בקטע הגדרה ידנית של צומתי GKE חסויים ב-GKE Standard.
מגבלות
במצב אוטומטי יש תמיכה רק במעבדי GPU מסוג NVIDIA H100 (80GB) עם Confidential GKE Node.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שבגרסאות קודמות של ה-CLI של gcloud אי אפשר להריץ את הפקודות שבמסמך הזה.
דרישות
לא משנה באיזו שיטה תבחרו להגדיר את צומתי Confidential GKE, אתם צריכים לעמוד בכל הדרישות הבאות:
- הצמתים חייבים להיות באזור שתומך ב-NVIDIA Confidential Computing. מידע נוסף זמין במאמר אזורים.
- הצמתים חייבים להשתמש בסוג מכונה נתמך, בטכנולוגיית Confidential Computing וב-GPU. למידע נוסף, קראו את המאמר סוגי מכונות.
- צריכה להיות לכם מכסה של מכונות שניתנות להפסקה לפני הזמן בשביל ה-GPU שאתם רוצים להשתמש בהם במיקומי הצמתים. לדוגמה, אם אתם משתמשים במעבדי GPU מסוג NVIDIA H100 (80GB), אתם צריכים מכסה ל-
compute.googleapis.com/preemptible_nvidia_h100_gpus. איך רואים ומנהלים את המכסות?
בנוסף לדרישות האלה, עליכם לעמוד בתנאים ספציפיים בהתאם לשיטת ההגדרה של Confidential GKE Nodes שבחרתם, כפי שמתואר בטבלה הבאה:
| שיטת ההגדרה | דרישות | מגבלות |
|---|---|---|
| ComputeClasses |
|
|
| הגדרה ידנית במצב רגיל |
|
|
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות ליצירת Confidential GKE Nodes, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט Google Cloud :
-
יצירת צומתי Confidential GKE:
אדמין של אשכול Kubernetes Engine (
roles/container.clusterAdmin) -
פריסת עומסי עבודה ב-GPU:
מפתח Kubernetes Engine (
roles/container.developer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
שימוש ב-ComputeClasses להרצת עומסי עבודה של GPU חסויים
אתם יכולים להגדיר את צומתי Confidential GKE ב-ComputeClass. ComputeClasses הם משאבים בהתאמה אישית של Kubernetes שמאפשרים להגדיר באופן הצהרתי את הגדרות הצומת להתאמה אוטומטית לעומס (autoscaling) ולתזמון ב-GKE. אתם יכולים לפעול לפי השלבים שבקטע הזה בכל אשכול Autopilot או Standard שפועל בגרסת GKE 1.33.3-gke.1392000 ואילך.
כדי להשתמש ב-ComputeClass להרצת עומסי עבודה של GPU בצומתי Confidential GKE, בצעו את השלבים הבאים:
שומרים את המניפסט הבא של ComputeClass כקובץ YAML:
apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: COMPUTECLASS_NAME spec: nodePoolConfig: confidentialNodeType: CONFIDENTIAL_COMPUTE_TECHNOLOGY priorityDefaults: location: zones: ['ZONE1','ZONE2'] priorities: - gpu: type: GPU_TYPE count: GPU_COUNT driverVersion: default spot: true activeMigration: optimizeRulePriority: true nodePoolAutoCreation: enabled: true whenUnsatisfiable: DoNotScaleUpמחליפים את מה שכתוב בשדות הבאים:
-
COMPUTECLASS_NAME: שם ל-ComputeClass.
CONFIDENTIAL_COMPUTE_TECHNOLOGY: טכנולוגיית Confidential Computing שבה משתמשים, כמוTDX. בוחרים טכנולוגיה שנתמכת על ידי ה-GPU שבו רוצים להשתמש.
ZONE1,ZONE2: רשימה מופרדת בפסיקים של אזורים שבהם רוצים ליצור צמתים, למשל['us-central1-a','us-central1-b']. מציינים את האזורים שתומכים בטכנולוגיית Confidential Computing ובסוג המכונה שבהם רוצים להשתמש. מידע נוסף זמין במאמר אזורים.
GPU_TYPE: סוג ה-GPU שבו רוצים להשתמש, למשלnvidia-h100-80gb.
GPU_COUNT: מספר יחידות ה-GPU שצריך לצרף לכל צומת. צריך לציין ערך שנתמך ב-Confidential VM לסוג ה-GPU. לדוגמה, אם בוחרים בסוג ה-GPUnvidia-h100-80gb, צריך לציין את הערך1בשדה הזה.
-
יוצרים את ה-ComputeClass:
kubectl apply -f PATH_TO_MANIFESTמחליפים את
PATH_TO_MANIFESTבנתיב לקובץ המניפסט של ComputeClass.כדי להריץ את עומס העבודה של ה-GPU בצומתי Confidential GKE, בוחרים את ComputeClass במניפסט של עומס העבודה. לדוגמה, שומרים את מניפסט הפריסה הבא, שבוחר ComputeClass ומעבדי GPU, כקובץ YAML:
apiVersion: apps/v1 kind: Deployment metadata: name: confidential-gpu-deployment labels: app: conf-gpu spec: selector: matchLabels: app: conf-gpu replicas: 1 template: metadata: labels: app: conf-gpu spec: nodeSelector: cloud.google.com/compute-class: COMPUTECLASS_NAME containers: - name: example-app image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0 resources: limits: cpu: "4" memory: "16Gi" nvidia.com/gpu: GPU_REQUEST requests: cpu: "4" memory: "16Gi"מחליפים את מה שכתוב בשדות הבאים:
-
COMPUTECLASS_NAME: השם של ComputeClass שיצרתם. -
GPU_REQUEST: מספר יחידות ה-GPU שבהן משתמשים בקונטיינר. צריך לציין ערך שקטן או שווה לערך שציינתם בשדהgpu.countשל ComputeClass.
-
יוצרים את הפריסה:
kubectl apply -f PATH_TO_DEPLOYMENT_MANIFESTמחליפים את
PATH_TO_DEPLOYMENT_MANIFESTבנתיב למניפסט של הפריסה.
כשיוצרים את עומס העבודה של ה-GPU, GKE משתמש בהגדרות של ComputeClass כדי ליצור צומתי Confidential GKE עם יחידות GPU מצורפות.
הגדרה ידנית של Confidential GKE Node ב-GKE Standard
אתם יכולים להריץ עומסי עבודה של GPU בצומתי Confidential GKE באשכולות או במאגרי צמתים במצב Standard.
הפעלת Confidential GKE Nodes באשכולות Standard חדשים
אתם יכולים להפעיל את Confidential GKE Nodes בכל אשכול Standard, כך שכל מאגר צומתי GPU שתיצרו ישתמש באותה טכנולוגיית Confidential Computing. כשיוצרים אשכול חדש במצב Standard שמשתמש בצומתי Confidential GKE לעומסי עבודה של GPU, צריך לוודא שמציינים את הגדרות האשכול הבאות:
- מיקום: אזור או תחום שתומכים ב-NVIDIA Confidential Computing. מידע נוסף זמין במאמר אזורים.
- Confidential Computing type: טכנולוגיית Confidential Computing שתומכת במעבדי GPU. למידע נוסף, קראו את המאמר סוגי מכונות.
גרסת האשכול: אחת מהגרסאות הבאות, בהתאם לאופן שבו רוצים להתקין את מנהלי ההתקנים של ה-GPU:
- התקנה ידנית של מנהל התקן GPU: גרסה 1.32.2-gke.1297000 ואילך.
- התקנה אוטומטית של מנהל התקן GPU: גרסה 1.33.3-gke.1392000 ואילך.
אפשר להגדיר מעבדים גרפיים למאגר ברירת המחדל של הצמתים ש-GKE יוצר באשכול. עם זאת, מומלץ להשתמש במאגר נפרד של צמתים ל-GPU, כדי שלפחות מאגר אחד של צמתים באשכול יוכל להריץ כל עומס עבודה.
מידע נוסף זמין במאמר הפעלת צומתי GKE חסויים באשכולות רגילים.
שימוש ב-Confidential GKE Nodes עם מעבדי GPU במאגרי צמתים רגילים
אם באשכול לא מופעלים צומתי GKE חסויים, אתם יכולים להפעיל Confidential GKE Nodes במאגרים ספציפיים של צומתי GPU, חדשים או קיימים. מישור הבקרה ומאגרי הצמתים צריכים לעמוד בדרישות שמפורטות בקטע זמינות. כשמגדירים את מאגר הצמתים, אפשר לבחור אם להתקין את מנהלי ההתקנים של ה-GPU באופן אוטומטי או ידני.
כדי ליצור מאגר צמתים חדש של GPU שמשתמש ב-Confidential GKE Nodes, בוחרים באחת מהאפשרויות הבאות:
המסוף
במסוף Google Cloud , נכנסים לדף Kubernetes clusters:
לוחצים על השם של אשכול במצב רגיל שרוצים לשנות.
לוחצים על הכרטיסייה Nodes.
לוחצים על Create user-managed node pool. נפתח הדף הוספת מאגר צמתים.
בחלונית פרטי מאגר הצמתים, בצע את הפעולות הבאות:
בתפריט הניווט, לוחצים על Nodes.
בחלונית Configure node settings, מבצעים את הפעולות הבאות:
- בקטע Machine configuration, לוחצים על GPUs.
- בתפריט GPU type, בוחרים סוג GPU שנתמך ב-Confidential Computing.
- בתפריט Number of GPUs, בוחרים את מספר ה-GPU שרוצים לצרף לכל צומת. צריך לבחור ערך שנתמך בסוג ה-GPU שבחרתם. לדוגמה, אם בחרתם במעבדי GPU מסוג NVIDIA H100 (80GB), בחרו באפשרות 1.
- מוודאים שהאפשרות הפעלת שיתוף GPU לא מסומנת.
בקטע GPU Driver installation, בוחרים באחת מהאפשרויות הבאות:
בניהול Google: מערכת GKE מתקינה את מנהל ההתקן באופן אוטומטי. אם בוחרים באפשרות הזו, בתפריט הנפתח Version בוחרים אחת מהגרסאות הבאות של מנהל ההתקן:
- ברירת מחדל: התקנת גרסת ברירת המחדל של מנהל ההתקן לגרסת GKE של הצומת. נדרשת גרסת GKE 1.33.3-gke.1392000 ואילך.
- Latest: התקנת הגרסה העדכנית של מנהל ההתקן לגרסת GKE של הצומת. נדרשת גרסת GKE 1.33.3-gke.1392000 ואילך.
בניהול המשתמש: דילוג על התקנה אוטומטית של מנהל ההתקן. אם בוחרים באפשרות הזו, חובה להתקין באופן ידני מנהל התקן תואם של GPU. נדרשת גרסה 1.32.2-gke.1297000 ואילך.
בקטע Machine type, מוודאים שסוג המכונה הוא סוג מכונה עם GPU שנתמך על ידי Confidential VM לסוג ה-GPU שבחרתם.
בוחרים באפשרות הפעלת צמתים ב-VMs במודל Spot או הגדרת Flex-start VMs עם הקצאת משאבים בהמתנה.
כשמוכנים ליצור את מאגר הצמתים, לוחצים על Create.
gcloud
אתם יכולים ליצור מאגרי צמתים של GPU שמריצים צמתים של Confidential GKE במכונות וירטואליות במודל Spot או באמצעות מכונות וירטואליות מסוג Flex-start עם הקצאת משאבים בהמתנה.
יוצרים מאגר צמתים של GPU שמריץ צמתים של Confidential GKE במכונות וירטואליות מסוג Spot:
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --confidential-node-type=CONFIDENTIAL_COMPUTE_TECHNOLOGY \ --location=LOCATION \ --node-locations=NODE_LOCATION1,NODE_LOCATION2,... \ --spot \ --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=DRIVER_VERSION \ --machine-type=MACHINE_TYPEמחליפים את מה שכתוב בשדות הבאים:
-
NODE_POOL_NAME: שם למאגר הצמתים החדש. -
CLUSTER_NAME: השם של האשכול הקיים. -
CONFIDENTIAL_COMPUTE_TECHNOLOGY: טכנולוגיית Confidential Computing שבה משתמשים, כמוTDX. בוחרים טכנולוגיה שנתמכת על ידי ה-GPU שבו רוצים להשתמש. -
LOCATION: המיקום של מאגר הצמתים החדש. המיקום חייב לתמוך בשימוש במעבדים גרפיים בצמתים של Confidential GKE. -
NODE_LOCATION1,NODE_LOCATION2,...: רשימה מופרדת בפסיקים של אזורים שבהם הצמתים יופעלו. צריך לציין אזורים שתומכים בטכנולוגיית Confidential Computing ובסוג המכונה שבהם רוצים להשתמש. מידע נוסף זמין במאמר אזורים. -
GPU_TYPE: סוג ה-GPU שבו רוצים להשתמש, למשלnvidia-h100-80gb.
GPU_COUNT: מספר המעבדים הגרפיים שצריך לצרף לכל צומת. צריך לציין ערך שנתמך ב-Confidential VM לסוג ה-GPU. לדוגמה, אם בוחרים את סוג ה-GPUnvidia-h100-80gb, צריך לציין את הערך1בשדה הזה.
DRIVER_VERSION: גרסת מנהל ההתקן של ה-GPU שרוצים להתקין. מציינים את אחד מהערכים הבאים:-
default: התקנת גרסת ברירת המחדל של מנהל ההתקן לגרסת GKE של הצומת. נדרשת גרסת GKE 1.33.3-gke.1392000 ואילך. -
latest: התקנת גרסת הדרייבר העדכנית ביותר לגרסת ה-GKE של הצומת. נדרשת גרסת GKE 1.33.3-gke.1392000 ואילך. -
disabled: דילוג על התקנה אוטומטית של מנהל ההתקן. אם מציינים את הערך הזה, צריך להתקין באופן ידני מנהל התקן תואם של GPU. נדרשת גרסה 1.32.2-gke.1297000 ואילך.
-
-
MACHINE_TYPE: סוג המכונה שבה משתמשים לצמתים. צריך לציין סוג מכונת GPU שנתמך על ידי Confidential VM לסוג ה-GPU שבחרתם.
-
כדי ליצור מאגר צמתים של GPU שמריץ צמתים של Confidential GKE באמצעות מכונות וירטואליות מסוג Flex-start עם הקצאת משאבים בהמתנה:
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --node-locations=NODE_LOCATION1,NODE_LOCATION2,... \ --machine-type=MACHINE_TYPE \ --confidential-node-type=CONFIDENTIAL_COMPUTE_TECHNOLOGY \ --location=LOCATION \ --flex-start --enable-queued-provisioning \ --enable-autoscaling --num-nodes=0 --total-max-nodes=TOTAL_MAX_NODES \ --location-policy=ANY --no-enable-autorepair \ --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=DRIVER_VERSIONמחליפים את
TOTAL_MAX_NODESבמספר הצמתים המקסימלי שאליו מאגר הצמתים יכול לבצע התאמה אוטומטית לעומס.במאמר הרצת עומס עבודה בקנה מידה גדול באמצעות התחלה גמישה עם הקצאת משאבים בהמתנה מוסבר על אפשרויות ההגדרה של התחלה גמישה עם הקצאת משאבים בהמתנה.
כדי לעדכן את מאגרי הצמתים הקיימים לשימוש ב-Confidential Computing, קראו את המאמר עדכון של מאגר צמתים קיים.
התקנה ידנית של מנהלי התקנים של GPU שתומכים ב-Confidential GKE Node
אם לא הפעלתם התקנה אוטומטית של מנהלי התקנים כשיצרתם או עדכנתם את מאגרי הצמתים, אתם צריכים להתקין באופן ידני מנהל התקן GPU שתומך בצמתים של Confidential GKE.
השינוי הזה מחייב ליצור מחדש את הצמתים, מה שעלול לשבש את עומסי העבודה שפועלים. כדי לקבל פרטים על השינוי הספציפי הזה, חפשו את השורה המתאימה בטבלה שינויים ידניים שיוצרים מחדש את הצמתים באמצעות אסטרטגיית שדרוג צמתים בלי להתחשב במדיניות התחזוקה. מידע נוסף על עדכוני צמתים זמין במאמר תכנון לשיבושים בעדכוני צמתים.
להוראות, ראו את הכרטיסייה COS במאמר התקנה ידנית של מנהלי התקנים של NVIDIA GPU.
פתרון בעיות
למידע על פתרון בעיות, ראו פתרון בעיות ב-GPU ב-GKE.
המאמרים הבאים
- אימות השימוש של צומתי ה-GPU ב-Confidential GKE Nodes
- פריסת עומס עבודה בצומתי ה-GPU
- איך מריצים עומסי עבודה גדולים עם GPUs