‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

אימון מודל עם יחידות GPU במצב רגיל של GKE

Standard

במדריך למתחילים הזה נסביר איך פורסים מודל אימון עם מעבדי GPU ב-Google Kubernetes Engine ‏ (GKE) ומאחסנים את התחזיות ב-Cloud Storage. במדריך הזה משתמשים במודל TensorFlow ובאשכולות GKE Standard. אפשר גם להריץ את עומסי העבודה האלה באשכולות של Autopilot עם פחות שלבי הגדרה. הוראות מפורטות זמינות במאמר אימון מודל באמצעות GPU במצב GKE Autopilot.

המסמך הזה מיועד לאדמינים של GKE שיש להם אשכולות רגילים קיימים ורוצים להפעיל עומסי עבודה של GPU בפעם הראשונה.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Kubernetes Engine and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Kubernetes Engine and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

Enable the APIs

מפעילים את Cloud Shell במסוף Google Cloud .

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לאימון מודל ב-GPU, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

ניהול אשכולות GKE:‏ Kubernetes Engine Admin (roles/container.admin)
ניהול קטגוריות של Cloud Storage: אדמין של אחסון (roles/storage.admin)
הקצאת תפקידי IAM בפרויקט: אדמין IAM בפרויקט (roles/resourcemanager.projectIamAdmin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

שכפול המאגר לדוגמה

ב-Cloud Shell, מריצים את הפקודה הבאה:

git clone https://github.com/GoogleCloudPlatform/ai-on-gke/ ai-on-gke
cd ai-on-gke/tutorials-and-examples/gpu-examples/training-single-gpu

יצירת אשכול במצב רגיל ומאגר צמתים של GPU

אפשר להשתמש ב-Cloud Shell כדי:

יוצרים אשכול Standard שמשתמש באיחוד זהויות של עומסי עבודה ל-GKE ומתקינים את מנהל ההתקן של Cloud Storage FUSE:
```
gcloud container clusters create gke-gpu-cluster \
    --addons GcsFuseCsiDriver \
    --location=us-central1 \
    --num-nodes=1 \
    --workload-pool=PROJECT_ID.svc.id.goog
```
מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud.

יצירת האשכול עשויה להימשך כמה דקות.

יוצרים מאגר צמתים של GPU:

gcloud container node-pools create gke-gpu-pool-1 \
    --accelerator=type=nvidia-tesla-t4,count=1,gpu-driver-version=default \
    --machine-type=n1-standard-16 --num-nodes=1 \
    --location=us-central1 \
    --cluster=gke-gpu-cluster

יצירת קטגוריה של Cloud Storage

נכנסים לדף Create a bucket במסוף Google Cloud :

כניסה לדף Create a bucket
בשדה Name your bucket, מזינים את השם הבא:
```
PROJECT_ID-gke-gpu-bucket
```
לוחצים על Continue.
בשדה Location type, בוחרים באפשרות Region.
ברשימה Region, בוחרים באפשרות us-central1 (Iowa) ולוחצים על Continue.
בקטע בחירת סוג אחסון לנתונים, לוחצים על המשך.
בקטע Choose how to control access to objects, בוחרים באפשרות Uniform בשדה בקרת גישה.
לוחצים על יצירה.
בתיבת הדו-שיח Public access will be prevented, מוודאים שתיבת הסימון Enforce public access prevention on this bucket מסומנת, ולוחצים על Confirm.

הגדרת גישה לדלי באשכול באמצעות איחוד זהויות של עומסי עבודה ל-GKE

כדי לאפשר לאשכול לגשת לקטגוריה של Cloud Storage:

יוצרים Kubernetes ServiceAccount באשכול.
מקצים תפקידים ב-IAM לחשבון השירות של Kubernetes.

יצירת חשבון שירות של Kubernetes באשכול

ב-Cloud Shell, מבצעים את הפעולות הבאות:

יוצרים מרחב שמות של Kubernetes:
```
kubectl create namespace gke-ai-namespace
```

יוצרים חשבון שירות של Kubernetes במרחב השמות:

kubectl create serviceaccount gpu-k8s-sa --namespace=gke-ai-namespace

הקצאת תפקידי IAM ל-Kubernetes ServiceAccount

ב-Cloud Shell, מקצים את התפקידים "אדמין של אובייקטים באחסון" (roles/storage.objectAdmin) ו"שירות איסוף תובנות לגבי אחסון" (roles/storage.insightsCollectorService) לחשבון השירות של Kubernetes:

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-ai-namespace/sa/gpu-k8s-sa" \
    --role=roles/storage.objectAdmin \
    --condition=None
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-ai-namespace/sa/gpu-k8s-sa" \
    --role=roles/storage.insightsCollectorService \
    --condition=None

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
‫PROJECT_NUMBER: מספר הפרויקט ב- Google Cloud .

איך מוודאים של-Pods יש גישה לקטגוריה של Cloud Storage

ב-Cloud Shell, יוצרים את משתני הסביבה הבאים:
```
export K8S_SA_NAME=gpu-k8s-sa
export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket
```
מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud.
יוצרים Pod עם קונטיינר של TensorFlow:
```
envsubst < src/gke-config/standard-tensorflow-bash.yaml | kubectl --namespace=gke-ai-namespace apply -f -
```
הפקודה הזו מחליפה את משתני הסביבה שיצרתם בהפניות המתאימות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ואת $BUCKET_NAME בערכים המתאימים.

יוצרים קובץ לדוגמה בקטגוריה:

touch sample-file
gcloud storage cp sample-file gs://PROJECT_ID-gke-gpu-bucket

מחכים שה-Pod יהיה מוכן:

kubectl wait --for=condition=Ready pod/test-tensorflow-pod -n=gke-ai-namespace --timeout=180s

כשה-Pod מוכן, הפלט הוא:

pod/test-tensorflow-pod condition met

פותחים מעטפת (shell) במאגר TensorFlow:

kubectl -n gke-ai-namespace exec --stdin --tty test-tensorflow-pod --container tensorflow -- /bin/bash

מנסים לקרוא את הקובץ לדוגמה שיצרתם:
```
ls /data
```
הפלט מציג את קובץ הדוגמה.

בודקים את היומנים כדי לזהות את ה-GPU שמצורף ל-Pod:

python3 -m pip install 'tensorflow[and-cuda]'
python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

הפלט מראה את ה-GPU שמחובר ל-Pod, כמו בדוגמה הבאה:

...
PhysicalDevice(name='/physical_device:GPU:0',device_type='GPU')

יוצאים מהקונטיינר:
```
exit
```

מוחקים את ה-Pod לדוגמה:

kubectl delete -f src/gke-config/standard-tensorflow-bash.yaml \
    --namespace=gke-ai-namespace

אימון וחיזוי באמצעות מערך הנתונים `MNIST`

בקטע הזה מריצים עומס עבודה של אימון על מערך הנתונים לדוגמה MNIST.

מעתיקים את הנתונים לדוגמה לקטגוריה של Cloud Storage:

gcloud storage cp src/tensorflow-mnist-example gs://PROJECT_ID-gke-gpu-bucket/ --recursive

יוצרים את משתני הסביבה הבאים:

export K8S_SA_NAME=gpu-k8s-sa
export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket

בודקים את משימת האימון:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: batch/v1
kind: Job
metadata:
  name: mnist-training-job
spec:
  template:
    metadata:
      name: mnist
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-tesla-t4
      tolerations:
      - key: "nvidia.com/gpu"
        operator: "Exists"
        effect: "NoSchedule"
      containers:
      - name: tensorflow
        image: tensorflow/tensorflow:latest-gpu 
        command: ["/bin/bash", "-c", "--"]
        args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_train_distributed.py"]
        resources:
          limits:
            nvidia.com/gpu: 1
            cpu: 1
            memory: 3Gi
        volumeMounts:
        - name: gcs-fuse-csi-vol
          mountPath: /data
          readOnly: false
      serviceAccountName: $K8S_SA_NAME
      volumes:
      - name: gcs-fuse-csi-vol
        csi:
          driver: gcsfuse.csi.storage.gke.io
          readOnly: false
          volumeAttributes:
            bucketName: $BUCKET_NAME
            mountOptions: "implicit-dirs"
      restartPolicy: "Never"

פורסים את משימת האימון:
```
envsubst < src/gke-config/standard-tf-mnist-train.yaml | kubectl -n gke-ai-namespace apply -f -
```
הפקודה הזו מחליפה את משתני הסביבה שיצרתם בהפניות המתאימות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ואת $BUCKET_NAME בערכים המתאימים.

מחכים עד שהסטטוס של המשימה יהיה Completed:

kubectl wait -n gke-ai-namespace --for=condition=Complete job/mnist-training-job --timeout=180s

הפלט אמור להיראות כך:

job.batch/mnist-training-job condition met

בודקים את היומנים מהקונטיינר של TensorFlow:

kubectl logs -f jobs/mnist-training-job -c tensorflow -n gke-ai-namespace

בפלט מוצגים האירועים הבאים:

התקנת חבילות Python נדרשות
הורדת מערך הנתונים של MNIST
אימון המודל באמצעות GPU
שמירת המודל
הערכת המודל

...
Epoch 12/12
927/938 [============================>.] - ETA: 0s - loss: 0.0188 - accuracy: 0.9954
Learning rate for epoch 12 is 9.999999747378752e-06
938/938 [==============================] - 5s 6ms/step - loss: 0.0187 - accuracy: 0.9954 - lr: 1.0000e-05
157/157 [==============================] - 1s 4ms/step - loss: 0.0424 - accuracy: 0.9861
Eval loss: 0.04236088693141937, Eval accuracy: 0.9861000180244446
Training finished. Model saved

מחיקת עומס העבודה של האימון:

kubectl -n gke-ai-namespace delete -f src/gke-config/standard-tf-mnist-train.yaml

פריסת עומס עבודה של הסקה

בקטע הזה תפרסו עומס עבודה של היקשים שמקבל מערך נתונים לדוגמה כקלט ומחזיר חיזויים.

מעתיקים את התמונות לחיזוי לקטגוריה:

gcloud storage cp data/mnist_predict gs://PROJECT_ID-gke-gpu-bucket/ --recursive

בודקים את עומס העבודה של ההסקות:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: batch/v1
kind: Job
metadata:
  name: mnist-batch-prediction-job
spec:
  template:
    metadata:
      name: mnist
      annotations:
        gke-gcsfuse/volumes: "true"
    spec:
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-tesla-t4
      tolerations:
      - key: "nvidia.com/gpu"
        operator: "Exists"
        effect: "NoSchedule"
      containers:
      - name: tensorflow
        image: tensorflow/tensorflow:latest-gpu 
        command: ["/bin/bash", "-c", "--"]
        args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_batch_predict.py"]
        resources:
          limits:
            nvidia.com/gpu: 1
            cpu: 1
            memory: 3Gi
        volumeMounts:
        - name: gcs-fuse-csi-vol
          mountPath: /data
          readOnly: false
      serviceAccountName: $K8S_SA_NAME
      volumes:
      - name: gcs-fuse-csi-vol
        csi:
          driver: gcsfuse.csi.storage.gke.io
          readOnly: false
          volumeAttributes:
            bucketName: $BUCKET_NAME
            mountOptions: "implicit-dirs"
      restartPolicy: "Never"

פריסת עומס העבודה של ההסקה:
```
envsubst < src/gke-config/standard-tf-mnist-batch-predict.yaml | kubectl -n gke-ai-namespace apply -f -
```
הפקודה הזו מחליפה את משתני הסביבה שיצרתם בהפניות המתאימות במניפסט. אפשר גם לפתוח את המניפסט בכלי לעריכת טקסט ולהחליף את $K8S_SA_NAME ו-$BUCKET_NAME בערכים המתאימים.

מחכים עד שהסטטוס של המשימה יהיה Completed:

kubectl wait -n gke-ai-namespace --for=condition=Complete job/mnist-batch-prediction-job --timeout=180s

הפלט אמור להיראות כך:

job.batch/mnist-batch-prediction-job condition met

בודקים את היומנים מהקונטיינר של TensorFlow:

kubectl logs -f jobs/mnist-batch-prediction-job -c tensorflow -n gke-ai-namespace

הפלט הוא התחזית לכל תמונה ורמת הביטחון של המודל בתחזית, בדומה לזה:

Found 10 files belonging to 1 classes.
1/1 [==============================] - 2s 2s/step
The image /data/mnist_predict/0.png is the number 0 with a 100.00 percent confidence.
The image /data/mnist_predict/1.png is the number 1 with a 99.99 percent confidence.
The image /data/mnist_predict/2.png is the number 2 with a 100.00 percent confidence.
The image /data/mnist_predict/3.png is the number 3 with a 99.95 percent confidence.
The image /data/mnist_predict/4.png is the number 4 with a 100.00 percent confidence.
The image /data/mnist_predict/5.png is the number 5 with a 100.00 percent confidence.
The image /data/mnist_predict/6.png is the number 6 with a 99.97 percent confidence.
The image /data/mnist_predict/7.png is the number 7 with a 100.00 percent confidence.
The image /data/mnist_predict/8.png is the number 8 with a 100.00 percent confidence.
The image /data/mnist_predict/9.png is the number 9 with a 99.65 percent confidence.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud על המשאבים שיצרתם במדריך הזה, אפשר לבצע אחת מהפעולות הבאות:

להשאיר את אשכול GKE: מוחקים את המשאבים ב-Kubernetes באשכול ואת המשאבים של Google Cloud .
השארת הפרויקט של Google Cloud : מחיקת האשכול של GKE והמשאבים של Google Cloud
מחיקת הפרויקט

מחיקת משאבי Kubernetes באשכול ו Google Cloud המשאבים

מוחקים את מרחב השמות של Kubernetes ואת עומסי העבודה שפרסתם:

kubectl -n gke-ai-namespace delete -f src/gke-config/standard-tf-mnist-batch-predict.yaml
kubectl delete namespace gke-ai-namespace

מוחקים את הקטגוריה של Cloud Storage:
1. נכנסים לדף Buckets:
  
  כניסה לדף Buckets
2. מסמנים את התיבה של PROJECT_ID-gke-gpu-bucket.
3. לוחצים על מחיקה.
4. כדי לאשר את המחיקה, מקלידים DELETE ולוחצים על מחיקה.

מחיקת אשכול GKE והמשאבים ב- Google Cloud

מוחקים את אשכול ה-GKE:
1. עוברים לדף Clusters:
  
  מעבר אל Clusters
2. מסמנים את התיבה של gke-gpu-cluster.
3. לוחצים על מחיקה.
4. כדי לאשר את המחיקה, מקלידים gke-gpu-cluster ולוחצים על מחיקה.
מוחקים את הקטגוריה של Cloud Storage:
1. נכנסים לדף Buckets:
  
  כניסה לדף Buckets
2. מסמנים את התיבה PROJECT_ID-gke-gpu-bucket.
3. לוחצים על מחיקה.
4. כדי לאשר את המחיקה, מקלידים DELETE ולוחצים על מחיקה.

מחיקת הפרויקט

זהירות: כשמוחקים פרויקט:

התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

במסוף Google Cloud , נכנסים לדף Manage resources.
כניסה לדף Manage resources
ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים

מידע נוסף על שימוש ביחידות GPU ב-GKE

אימון מודל עם יחידות GPU במצב רגיל של GKE

לפני שמתחילים

התפקידים הנדרשים

שכפול המאגר לדוגמה

יצירת אשכול במצב רגיל ומאגר צמתים של GPU

יצירת קטגוריה של Cloud Storage

הגדרת גישה לדלי באשכול באמצעות איחוד זהויות של עומסי עבודה ל-GKE

יצירת חשבון שירות של Kubernetes באשכול

הקצאת תפקידי IAM ל-Kubernetes ServiceAccount

איך מוודאים של-Pods יש גישה לקטגוריה של Cloud Storage

אימון וחיזוי באמצעות מערך הנתונים MNIST

פריסת עומס עבודה של הסקה

הסרת המשאבים

מחיקת משאבי Kubernetes באשכול ו Google Cloud המשאבים

מחיקת אשכול GKE והמשאבים ב- Google Cloud

מחיקת הפרויקט

המאמרים הבאים

אימון וחיזוי באמצעות מערך הנתונים `MNIST`