יצירת אשכול היברידי במכונות וירטואליות ב-Compute Engine

הגדרת Google Distributed Cloud במכונות וירטואליות (VM) של Compute Engine, מאפשרת לפרוס אשכול היברידי במצב זמינות גבוהה (HA) בלי חומרה ייעודית. ההגדרה הזו מספקת סביבת בדיקה פונקציונלית שבה אפשר לבחון את ניהול האשכולות ואת פריסת עומסי העבודה.

הפריסה הזו מיועדת למטרות הערכה בלבד. אל תריצו את Google Distributed Cloud software-only במכונות וירטואליות של Compute Engine בסביבת הייצור. כדי לפרוס את Google Distributed Cloud בסביבת ייצור, פועלים לפי השלבים שמפורטים במאמר יצירת אשכולות בסיסיים.

במדריך הזה תגדירו שש מכונות וירטואליות של Compute Engine, תקימו קישוריות בשכבה 2 ברשת שכבת-על של vxlan, תתקינו את הדרישות המוקדמות הנדרשות ותפרסו ותאמתו את האשכול ההיברידי.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. שימו לב למזהה הפרויקט, כי תצטרכו אותו כדי להגדיר משתנה סביבה שמשמש בסקריפטים ובפקודות שבדף הזה. אם בחרתם פרויקט קיים, ודאו שאתם הבעלים או העורכים של הפרויקט.
2. בתחנת העבודה שלכם ב-Linux, ודאו שהתקנתם את הגרסה האחרונה של Google Cloud CLI, כלי שורת הפקודה לאינטראקציה עם Google Cloud. אם כבר התקנתם את ה-CLI של gcloud, אתם יכולים לעדכן את הרכיבים שלו באמצעות הפקודה הבאה:

   gcloud components update

   בהתאם לאופן שבו ה-CLI של gcloud הותקן, יכול להיות שתופיע ההודעה הבאה:

   "You cannot perform this action because the Google Cloud CLI component manager is disabled for this installation. You can run the following command to achieve the same result for this installation:"

   פועלים לפי ההוראות כדי להעתיק ולהדביק את הפקודה לעדכון הרכיבים.

השלבים במדריך הזה נלקחו מסקריפט ההתקנה במאגר anthos-samples. בקטע השאלות הנפוצות מוסבר איך להתאים אישית את הסקריפט הזה כדי שיעבוד עם כמה וריאציות פופולריות.

יצירת שש מכונות וירטואליות ב-Compute Engine

כדי ליצור את המכונות הווירטואליות הבאות:

• מכונה וירטואלית אחת לתחנת עבודה של אדמין. תחנת עבודה של אדמין מארחת כלים של ממשק שורת הפקודה (CLI) וקובצי תצורה כדי להקצות אשכולות במהלך ההתקנה, וכלים של CLI לאינטראקציה עם אשכולות שהוקצו אחרי ההתקנה. לתחנת העבודה של האדמין תהיה גישה לכל הצמתים האחרים באשכול באמצעות SSH.
• שלוש מכונות וירטואליות לשלושת הצמתים של מישור הבקרה שנדרשים כדי להריץ את מישור הבקרה של Google Distributed Cloud.
• שתי מכונות וירטואליות לשני צומתי העובדים שנדרשים כדי להריץ עומסי עבודה באשכול של Google Distributed Cloud.

1. מגדירים את משתני הסביבה:

   export PROJECT_ID=PROJECT_ID
   export ZONE=ZONE
   export CLUSTER_NAME=CLUSTER_NAME
   export BMCTL_VERSION=1.36.200-gke.118
   

   בשביל ZONE, אפשר להשתמש ב-us-central1-a או בכל אחד מהאזורים האחרים של Compute Engine .

2. מריצים את הפקודות הבאות כדי להתחבר באמצעות חשבון Google ולהגדיר את הפרויקט כברירת מחדל:

   gcloud auth login
   gcloud config set project $PROJECT_ID
   gcloud config set compute/zone $ZONE
   

3. יוצרים את חשבון השירות והמפתח של baremetal-gcr:

   gcloud iam service-accounts create baremetal-gcr
   
   gcloud iam service-accounts keys create bm-gcr.json \
       --iam-account=baremetal-gcr@"${PROJECT_ID}".iam.gserviceaccount.com

   הערה: אם לא מנהלים כראוי את המפתחות לחשבונות השירות הם עלולים לסכן את האבטחה. באחריותכם לאבטח את המפתח הפרטי ולבצע פעולות אחרות שמתוארות במאמר שיטות מומלצות לניהול מפתחות לחשבונות שירות. אם אתם לא מצליחים ליצור מפתח לחשבון שירות, יכול להיות שהאפשרות הזו מושבתת בארגון שלכם. מידע נוסף זמין במאמר ניהול משאבים מאובטחים כברירת מחדל בארגון.

   אם קיבלתם את המפתח של חשבון השירות ממקור חיצוני, אתם צריכים לאמת אותו לפני השימוש. מידע נוסף זמין במאמר דרישות אבטחה לפרטי כניסה ממקור חיצוני.

4. מפעילים את ממשקי ה-API והשירותים של Google Cloud :

   gcloud services enable \
       anthos.googleapis.com \
       anthosaudit.googleapis.com \
       anthosgke.googleapis.com \
       cloudresourcemanager.googleapis.com \
       connectgateway.googleapis.com \
       container.googleapis.com \
       gkeconnect.googleapis.com \
       gkehub.googleapis.com \
       serviceusage.googleapis.com \
       stackdriver.googleapis.com \
       monitoring.googleapis.com \
       logging.googleapis.com \
       opsconfigmonitoring.googleapis.com \
       compute.googleapis.com \
       gkeonprem.googleapis.com \
       iam.googleapis.com \
       kubernetesmetadata.googleapis.com

5. כדי להימנע מהצורך במספר חשבונות שירות ל-APIs ולשירותים שונים, אפשר לתת לחשבון השירות baremetal-gcr הרשאות נוספות:

   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/gkehub.connect" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/gkehub.admin" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/logging.logWriter" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/monitoring.metricWriter" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/monitoring.dashboardEditor" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/stackdriver.resourceMetadata.writer" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/opsconfigmonitoring.resourceMetadata.writer" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
       --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
       --role="roles/kubernetesmetadata.publisher" \
       --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/monitoring.viewer" \
     --no-user-output-enabled
   
   gcloud projects add-iam-policy-binding "$PROJECT_ID" \
     --member="serviceAccount:baremetal-gcr@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/serviceusage.serviceUsageViewer" \
     --no-user-output-enabled

6. יוצרים את המשתנים והמערכים שנדרשים לכל הפקודות בדף הזה:

   MACHINE_TYPE=n1-standard-8
   VM_PREFIX=abm
   VM_WS=$VM_PREFIX-ws
   VM_CP1=$VM_PREFIX-cp1
   VM_CP2=$VM_PREFIX-cp2
   VM_CP3=$VM_PREFIX-cp3
   VM_W1=$VM_PREFIX-w1
   VM_W2=$VM_PREFIX-w2
   declare -a VMs=("$VM_WS" "$VM_CP1" "$VM_CP2" "$VM_CP3" "$VM_W1" "$VM_W2")
   declare -a IPs=()

7. משתמשים בלולאה הבאה כדי ליצור שש מכונות וירטואליות:

   for vm in "${VMs[@]}"
   do
       gcloud compute instances create "$vm" \
         --image-family=ubuntu-2204-lts --image-project=ubuntu-os-cloud \
         --zone="${ZONE}" \
         --boot-disk-size 200G \
         --boot-disk-type pd-ssd \
         --can-ip-forward \
         --network default \
         --tags http-server,https-server \
         --min-cpu-platform "Intel Haswell" \
         --enable-nested-virtualization \
         --scopes cloud-platform \
         --machine-type "$MACHINE_TYPE" \
         --metadata "cluster_id=${CLUSTER_NAME},bmctl_version=${BMCTL_VERSION}"
       IP=$(gcloud compute instances describe "$vm" --zone "${ZONE}" \
            --format='get(networkInterfaces[0].networkIP)')
       IPs+=("$IP")
   done

   הפקודה הזו יוצרת מכונות וירטואליות עם השמות הבאים:

   • ‫abm-ws: המכונה הווירטואלית של תחנת העבודה של האדמין.
   • ‫abm-cp1, ‏ abm-cp2, ‏ abm-cp3: המכונות הווירטואליות של צומתי מישור הבקרה.
   • ‫abm-w1, ‏ abm-w2: המכונות הווירטואליות של הצמתים שמריצים עומסי עבודה.

8. כדי לוודא ש-SSH מוכן בכל המכונות הווירטואליות, משתמשים בלולאה הבאה:

   for vm in "${VMs[@]}"
   do
       while ! gcloud compute ssh root@"$vm" --zone "${ZONE}" --command "printf 'SSH to $vm succeeded\n'"
       do
           printf "Trying to SSH into %s failed. Sleeping for 5 seconds. zzzZZzzZZ" "$vm"
           sleep  5
       done
   done

יצירת רשת vxlan עם קישוריות L2 בין מכונות וירטואליות

משתמשים בפונקציונליות הרגילה של vxlan ב-Linux כדי ליצור רשת שמחברת את כל המכונות הווירטואליות עם קישוריות L2.

הפקודה הבאה מכילה שתי לולאות שמבצעות את הפעולות הבאות:

1. משתמשים ב-SSH כדי לגשת לכל מכונה וירטואלית.
2. מעדכנים ומתקינים את החבילות הנדרשות.

3. מריצים את הפקודות הנדרשות כדי להגדיר את הרשת באמצעות vxlan.

   i=2 # We start from 10.200.0.2/24
   for vm in "${VMs[@]}"
   do
       gcloud compute ssh root@"$vm" --zone "${ZONE}" << EOF
           apt-get -qq update > /dev/null
           apt-get -qq install -y jq > /dev/null
           set -x
           ip link add vxlan0 type vxlan id 42 dev ens4 dstport 0
           current_ip=\$(ip --json a show dev ens4 | jq '.[0].addr_info[0].local' -r)
           printf "VM IP address is: \$current_ip"
           for ip in ${IPs[@]}; do
               if [ "\$ip" != "\$current_ip" ]; then
                   bridge fdb append to 00:00:00:00:00:00 dst \$ip dev vxlan0
               fi
           done
           ip addr add 10.200.0.$i/24 dev vxlan0
           ip link set up dev vxlan0
   
   EOF
       i=$((i+1))
   done

עכשיו יש לכם קישוריות L2 ברשת 10.200.0.0/24. למכונות הווירטואליות יש את כתובות ה-IP הבאות:

• מכונה וירטואלית של תחנת עבודה של אדמין: 10.200.0.2
• מכונות וירטואליות שמריצות את הצמתים של מישור הבקרה:
  • 10.200.0.3
  • 10.200.0.4
  • 10.200.0.5
• מכונות וירטואליות שמריצות את צומתי העובדים:
  • 10.200.0.6
  • 10.200.0.7

התקנת דרישות מוקדמות ל-Google Distributed Cloud

לפני שמתקינים את Google Distributed Cloud, צריך להתקין את הכלים הבאים בתחנת העבודה של האדמין:

• bmctl
• kubectl
• Docker

כדי להתקין את הכלים ולהתכונן להתקנה של Google Distributed Cloud:

1. מריצים את הפקודות הבאות כדי להוריד את המפתח של חשבון השירות לתחנת העבודה של האדמין ולהתקין את הכלים הנדרשים:

   gcloud compute ssh root@$VM_WS --zone "${ZONE}" << EOF
   set -x
   
   export PROJECT_ID=\$(gcloud config get-value project)
   BMCTL_VERSION=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/bmctl_version -H "Metadata-Flavor: Google")
   export BMCTL_VERSION
   
   gcloud iam service-accounts keys create bm-gcr.json \
     --iam-account=baremetal-gcr@\${PROJECT_ID}.iam.gserviceaccount.com
   
   curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"
   
   chmod +x kubectl
   mv kubectl /usr/local/sbin/
   mkdir baremetal && cd baremetal
   gcloud storage cp gs://anthos-baremetal-release/bmctl/$BMCTL_VERSION/linux-amd64/bmctl .
   chmod a+x bmctl
   mv bmctl /usr/local/sbin/
   
   cd ~
   printf "Installing docker"
   curl -fsSL https://get.docker.com -o get-docker.sh
   sh get-docker.sh
   EOF

2. מריצים את הפקודות הבאות כדי לוודא ש-root@10.200.0.x פועל. הפקודות מבצעות את המשימות הבאות:

   1. יוצרים מפתח SSH חדש בתחנת העבודה של האדמין.
   2. מוסיפים את המפתח הציבורי לכל שאר המכונות הווירטואליות בפריסה.
   gcloud compute ssh root@$VM_WS --zone "${ZONE}" << EOF
   set -x
   ssh-keygen -t rsa -N "" -f /root/.ssh/id_rsa
   sed 's/ssh-rsa/root:ssh-rsa/' ~/.ssh/id_rsa.pub > ssh-metadata
   for vm in ${VMs[@]}
   do
       gcloud compute instances add-metadata \$vm --zone ${ZONE} --metadata-from-file ssh-keys=ssh-metadata
   done
   EOF

פריסת אשכול היברידי

בלוק הקוד הבא מכיל את כל הפקודות וההגדרות שצריך כדי לבצע את המשימות הבאות:

1. יוצרים את קובץ התצורה של האשכול ההיברידי הנדרש.
2. מריצים את הבדיקות לפני הטיסה.
3. פורסים את האשכול.

gcloud compute ssh root@$VM_WS --zone "${ZONE}" <<EOF
set -x
export PROJECT_ID=$(gcloud config get-value project)
CLUSTER_NAME=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/cluster_id -H "Metadata-Flavor: Google")
BMCTL_VERSION=\$(curl http://metadata.google.internal/computeMetadata/v1/instance/attributes/bmctl_version -H "Metadata-Flavor: Google")
export CLUSTER_NAME
export BMCTL_VERSION
bmctl create config -c \$CLUSTER_NAME
cat > bmctl-workspace/\$CLUSTER_NAME/\$CLUSTER_NAME.yaml << EOB
---
gcrKeyPath: /root/bm-gcr.json
sshPrivateKeyPath: /root/.ssh/id_rsa
gkeConnectAgentServiceAccountKeyPath: /root/bm-gcr.json
gkeConnectRegisterServiceAccountKeyPath: /root/bm-gcr.json
cloudOperationsServiceAccountKeyPath: /root/bm-gcr.json
---
apiVersion: v1
kind: Namespace
metadata:
  name: cluster-\$CLUSTER_NAME
---
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: \$CLUSTER_NAME
  namespace: cluster-\$CLUSTER_NAME
spec:
  type: hybrid
  anthosBareMetalVersion: \$BMCTL_VERSION
  gkeConnect:
    projectID: \$PROJECT_ID
  controlPlane:
    nodePoolSpec:
      clusterName: \$CLUSTER_NAME
      nodes:
      - address: 10.200.0.3
      - address: 10.200.0.4
      - address: 10.200.0.5
  clusterNetwork:
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 172.26.232.0/24
  loadBalancer:
    mode: bundled
    ports:
      controlPlaneLBPort: 443
    vips:
      controlPlaneVIP: 10.200.0.49
      ingressVIP: 10.200.0.50
    addressPools:
    - name: pool1
      addresses:
      - 10.200.0.50-10.200.0.70
  clusterOperations:
    # might need to be this location
    location: us-central1
    projectID: \$PROJECT_ID
  storage:
    lvpNodeMounts:
      path: /mnt/localpv-disk
      storageClassName: node-disk
    lvpShare:
      numPVUnderSharedPath: 5
      path: /mnt/localpv-share
      storageClassName: local-shared
  nodeConfig:
    podDensity:
      maxPodsPerNode: 250
---
apiVersion: baremetal.cluster.gke.io/v1
kind: NodePool
metadata:
  name: node-pool-1
  namespace: cluster-\$CLUSTER_NAME
spec:
  clusterName: \$CLUSTER_NAME
  nodes:
  - address: 10.200.0.6
  - address: 10.200.0.7
EOB

bmctl create cluster -c \$CLUSTER_NAME
EOF

אימות האשכול

קובץ ה-kubeconfig של האשכול נמצא בתחנת העבודה של האדמין, בספרייה bmctl-workspace של חשבון הבסיס. כדי לאמת את הפריסה, מבצעים את השלבים הבאים.

1. משתמשים ב-SSH כדי לגשת לתחנת העבודה של האדמין בתור משתמש root:

   gcloud compute ssh root@abm-ws --zone ${ZONE}
   

   אפשר להתעלם מהודעות לגבי עדכון ה-VM ולהשלים את המדריך הזה. אם אתם מתכננים להשאיר את המכונות הווירטואליות כסביבת בדיקה, יכול להיות שתרצו לעדכן את מערכת ההפעלה או לשדרג לגרסה הבאה, כמו שמתואר במסמכי התיעוד של Ubuntu.

2. מגדירים את משתנה הסביבה KUBECONFIG עם הנתיב לקובץ התצורה של האשכול כדי להריץ פקודות kubectl באשכול.

   export clusterid=CLUSTER_NAME
   export KUBECONFIG=$HOME/bmctl-workspace/$clusterid/$clusterid-kubeconfig
   kubectl get nodes
   

3. מגדירים את ההקשר הנוכחי במשתנה סביבה:

   export CONTEXT="$(kubectl config current-context)"
   

4. מריצים את הפקודה הבאה ב-CLI של gcloud. הפקודה הזו:

   • מקצה לחשבון המשתמש את התפקיד clusterrole/cluster-admin של Kubernetes באשכול.
   • מגדירה את האשכול כך שתוכלו להריץ פקודות kubectl במחשב המקומי בלי צורך ב-SSH לתחנת העבודה של האדמין.

   מחליפים את GOOGLE_ACCOUNT_EMAIL בכתובת האימייל שמשויכת לחשבון Google Cloud . לדוגמה: --users=[e-mail].

   gcloud container fleet memberships generate-gateway-rbac  \
       --membership=CLUSTER_NAME \
       --role=clusterrole/cluster-admin \
       --users=GOOGLE_ACCOUNT_EMAIL \
       --project=PROJECT_ID \
       --kubeconfig=$KUBECONFIG \
       --context=$CONTEXT\
       --apply
   

   הפלט של הפקודה הזו דומה לפלט הבא, שקוצר כדי שיהיה קריא יותר:

   Validating input arguments.
   Specified Cluster Role is: clusterrole/cluster-admin
   Generated RBAC policy is:
   --------------------------------------------
   ...
   
   Applying the generate RBAC policy to cluster with kubeconfig: /root/bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig, context: CLUSTER_NAME-admin@CLUSTER_NAME
   Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
   Successfully applied the RBAC policy to cluster.
   

5. בסיום, מזינים exit כדי לצאת מתחנת העבודה של האדמין.

6. מאתרים את הרשומה של kubeconfig שיכולה לגשת לאשכול דרך שער Connect.

   gcloud container fleet memberships get-credentials CLUSTER_NAME
   

   הפלט אמור להיראות כך:

   Starting to build Gateway kubeconfig...
   Current project_id: PROJECT_ID
   A new kubeconfig entry "connectgateway_PROJECT_ID_global_CLUSTER_NAME" has been generated and set as the current context.
   

7. עכשיו אפשר להריץ פקודות של kubectl דרך שער הקישור:

   kubectl get nodes
   kubectl get namespaces
   

התחברות לאשכול ממסוף Google Cloud

כדי לצפות בעומסי העבודה באשכול במסוף Google Cloud , צריך להתחבר לאשכול. לפני שמתחברים למסוף בפעם הראשונה, צריך להגדיר שיטת אימות. שיטת האימות שהכי קל להגדיר היא Google Identity. שיטת האימות הזו מאפשרת לכם להתחבר באמצעות כתובת האימייל שמשויכת לחשבוןGoogle Cloud .

הפקודה gcloud container fleet memberships generate-gateway-rbac שהרצתם בקטע הקודם מגדירה את האשכול כך שתוכלו להתחבר באמצעות זהות Google שלכם.

1. במסוף Google Cloud , נכנסים לדף אשכולות GKE.

   כניסה לאשכולות GKE

2. לוחצים על Actions ליד האשכול הרשום ואז על Login.

3. בוחרים באפשרות Use your Google identity to log in.

4. לוחצים על Login (התחברות).

הסרת המשאבים

1. מתחברים לתחנת העבודה של האדמין כדי לאפס את המכונות הווירטואליות של האשכול למצב שלהן לפני ההתקנה, ולבטל את הרישום של האשכול בפרויקט ב- Google Cloud:

   gcloud compute ssh root@abm-ws --zone ${ZONE} << EOF
   set -x
   export clusterid=CLUSTER_NAME
   bmctl reset -c \$clusterid
   EOF
   

2. רשימה של כל המכונות הווירטואליות שהשם שלהן מכיל את abm:

   gcloud compute instances list | grep 'abm'
   

3. מוודאים שאתם רוצים למחוק את כל המכונות הווירטואליות שהשם שלהן מכיל את abm.

   אחרי האימות, אפשר למחוק את המכונות הווירטואליות של abm באמצעות הפקודה הבאה:

   gcloud compute instances list --format="value(name)" | grep 'abm'  | xargs gcloud \
       --quiet compute instances delete