גישה לאשכולות פרטיים של Google Kubernetes Engine באמצעות מאגרי Cloud Build פרטיים

מאגרים פרטיים של Cloud Build מאפשרים לפרוס את האפליקציות באשכולות פרטיים של Google Kubernetes Engine (GKE) באמצעות Cloud Build. במדריך הזה, תחברו בריכה פרטית לכתובת IP של אשכול GKE פרטי באמצעות חיבור Cloud VPN, כדי לנתב תנועה בין רשתות ענן וירטואלי פרטי (VPC) מקושרות. לחלופין, כדי לגשת לאשכול GKE פרטי בלי להגדיר את Cloud VPN, אתם יכולים להשתמש בנקודת קצה מבוססת-DNS.

הגישה הזו מיועדת למנהלי רשתות, והיא רלוונטית בכל פעם ש-workers של בריכות פרטיות צריכים לתקשר עם שירותים ברשת VPC אחרת שמקושרת ב-peering, כמו מסדי נתונים של Cloud SQL, מכונות של Memorystore או מכונות של Compute Engine. כדי לבצע את השלבים האלה, אתם צריכים להכיר את Google Kubernetes Engine, את Cloud Build, את הפקודה gcloud, את VPC Network Peering ואת Cloud VPN.

סקירה כללית של הארכיטקטורה

כשיוצרים אשכול GKE פרטי בלי גישת לקוח לנקודת הקצה הציבורית, הלקוחות יכולים לגשת למישור הבקרה של אשכול GKE רק באמצעות כתובת ה-IP הפרטית שלו. לקוחות כמו kubectl יכולים לתקשר עם מישור הבקרה רק אם הם פועלים במכונה שיש לה גישה לרשת ה-VPC והיא נמצאת ברשת מורשית.

אם אתם רוצים להשתמש ב-Cloud Build כדי לפרוס את האפליקציה באשכול הפרטי הזה של GKE, אתם צריכים להשתמש במאגרים פרטיים של Cloud Build כדי לגשת לאשכולות של GKE. מאגרים פרטיים הם קבוצה של מכונות של Worker שפועלות בפרויקט של Google Cloud בבעלות Google, ומקושרות לרשת ה-VPC שלכם באמצעות חיבור VPC Network Peering. בהגדרה הזו, למכונות ה-worker מותר לתקשר עם כתובת ה-IP הפרטית של מישור הבקרה של אשכול GKE.

עם זאת, מישור הבקרה של אשכול GKE פועל גם בפרויקט שבבעלות Google ומתחבר לרשת ה-VPC באמצעות Private Service Connect ‏(PSC). קישור רשתות VPC שכנות (peering) לא תומך בקישור טרנזיטיבי, ולכן אי אפשר לנתב חבילות ישירות בין המאגר הפרטי של Cloud Build לבין מישור הבקרה של אשכול GKE.

כדי לאפשר למכונות ה-worker של Cloud Build לגשת למישור הבקרה של אשכול GKE, אתם יכולים ליצור חיבור בין המאגר הפרטי למישור הבקרה של אשכול GKE באמצעות PSC, ואז לחבר את שתי רשתות ה-VPC שבבעלותכם באמצעות Cloud VPN. הקישור והחיבור האלה מאפשרים לכל צד של מנהרת ה-VPC לפרסם את רשתות מישור הבקרה של המאגר הפרטי ושל אשכול ה-GKE, וכך להשלים את המסלול.

הדיאגרמה הארכיטקטונית הבאה מציגה את המשאבים שבהם משתמשים במדריך הזה:

מנהרת VPN שמשלימה את המסלול בין המאגר הפרטי של Cloud Build לבין מישור הבקרה של אשכול GKE.

כדי שהזמן האחזור יהיה קצר, מומלץ ליצור את כל המשאבים שמשמשים במדריך הזה באותו אזור שלGoogle Cloud . מנהרת ה-VPN יכולה לחצות שני אזורים שונים אם התקשורת בין האזורים נדרשת להטמעה שלכם. שתי רשתות ה-VPC שבבעלותכם יכולות גם להיות שייכות לפרויקטים שונים.

מטרות

  • יוצרים אשכול GKE פרטי.
  • מגדירים מאגר פרטי של Cloud Build.
  • יצירת חיבור HA VPN בין שתי רשתות VPC.
  • הפעלת ניתוב של חבילות בין שתי רשתות VPC שכנות (peering) וחיבור VPC.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

    התפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?

    כניסה לדף לבחירת הפרויקט

  2. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

  3. מפעילים את Cloud Build,‏ Google Kubernetes Engine ו-Service Networking API, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

  4. מפעילים את Cloud Shell במסוף Google Cloud .

    הפעלת Cloud Shell

    בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

יצירת שתי רשתות VPC בפרויקט שלכם

בקטע הזה, יוצרים שתי רשתות VPC ותת-רשת לצומתי אשכול GKE.

  1. ב-Cloud Shell, יוצרים את רשת ה-VPC הראשונה (שנקראת "רשת VPC מקושרת של מאגר פרטי" בתרשים שלמעלה). אין צורך ליצור רשתות משנה ברשת הזו.

    gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
        --subnet-mode=CUSTOM
    

    מחליפים את PRIVATE_POOL_PEERING_VPC_NAME בשם של רשת ה-VPC שרוצים לקשר לרשת של המאגר הפרטי של Cloud Build.

  2. יוצרים את רשת ה-VPC השנייה (שנקראת "רשת VPC של אשכול GKE" בתרשים שלמעלה):

    gcloud compute networks create GKE_CLUSTER_VPC_NAME \
        --subnet-mode=CUSTOM
    

    מחליפים את GKE_CLUSTER_VPC_NAME בשם של רשת ה-VPC שרוצים לקשר ב-peering למישור הבקרה של אשכול GKE.

  3. יוצרים רשת משנה לצומתי אשכול GKE:

    gcloud compute networks subnets create GKE_SUBNET_NAME \
        --network=GKE_CLUSTER_VPC_NAME \
        --range=GKE_SUBNET_RANGE \
        --region=REGION
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫GKE_SUBNET_NAME: השם של רשת המשנה שמיועדת לארח את הצמתים של אשכול GKE.
    • ‫GKE_CLUSTER_VPC_NAME: השם של רשת ה-VPC שרוצים לחבר למישור הבקרה של אשכול GKE.
    • ‫GKE_SUBNET_RANGE: טווח כתובות ה-IP של GKE_SUBNET_NAME. במדריך הזה אפשר להשתמש ב-10.244.252.0/22.
    • ‫REGION: האזור ( Google Cloud ) שבו מאוחסן אשכול GKE. במדריך הזה אפשר להשתמש ב-us-central1.

עכשיו הגדרתם שתי רשתות VPC בפרויקט שלכם, והן מוכנות לקישור עם שירותים אחרים.

יצירת אשכול GKE פרטי

בקטע הזה יוצרים את אשכול ה-GKE הפרטי.

  1. ב-Cloud Shell, יוצרים אשכול GKE בלי גישת לקוח לנקודת הקצה הציבורית של מישור הבקרה.

    gcloud container clusters create PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --enable-master-authorized-networks \
        --network=GKE_CLUSTER_VPC_NAME \
        --subnetwork=GKE_SUBNET_NAME \
        --enable-private-nodes \
        --enable-private-endpoint \
        --enable-ip-alias \
        --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PRIVATE_CLUSTER_NAME: השם של אשכול GKE הפרטי.
    • ‫REGION: האזור של אשכול GKE. במדריך הזה, משתמשים באזור us-central1, אותו אזור שבו השתמשתם לרשתות ה-VPC.
    • ‫GKE_CLUSTER_VPC_NAME: השם של רשת ה-VPC שמתחברת למישור הבקרה של אשכול GKE.
    • ‫GKE_SUBNET_RANGE: טווח כתובות ה-IP של GKE_SUBNET_NAME. במדריך הזה אפשר להשתמש ב-10.244.252.0/22.
    • ‫CLUSTER_CONTROL_PLANE_CIDR: טווח כתובות ה-IP של מישור הבקרה של אשכול GKE. הוא חייב לכלול את הקידומת /28. במדריך הזה, משתמשים ב-172.16.0.32/28.

    יצרתם אשכול GKE פרטי.

הגדרת קישור בין רשתות VPC שכנות (peering) ב-GKE בגרסה 1.28 ומטה

אם אתם משתמשים במדריך הזה כדי להגדיר אשכול קיים שפועל ב-GKE בגרסה 1.28 או גרסה קודמת, רשת ה-VPC הפרטית שלכם משתמשת ב-VPC Network Peering כדי להתחבר לאשכול GKE. כך עושים את זה:

  1. מאחזרים את השם של קישור הרשתות מסוג VPC של אשכול GKE. הקישור בין רשתות ה-VPC השכנות נוצר באופן אוטומטי כשיצרתם את אשכול GKE.

    export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --format='value(privateClusterConfig.peeringName)')
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PRIVATE_CLUSTER_NAME: השם של אשכול GKE הפרטי.
    • ‫REGION: האזור של אשכול GKE. במדריך הזה, משתמשים באזור us-central1, אותו אזור שבו השתמשתם לרשתות ה-VPC.
  2. מפעילים את הייצוא של נתיבים בהתאמה אישית כדי לפרסם את הרשת של מאגר ה-IP הפרטי למישור הבקרה של אשכול GKE:

    gcloud compute networks peerings update $GKE_PEERING_NAME \
        --network=GKE_CLUSTER_VPC_NAME \
        --export-custom-routes \
        --no-export-subnet-routes-with-public-ip
    

    מחליפים את GKE_CLUSTER_VPC_NAME בשם של רשת ה-VPC שרוצים לחבר למישור הבקרה של אשכול GKE.

    מידע נוסף על מסלולים בהתאמה אישית זמין במאמר ייבוא וייצוא של מסלולים בהתאמה אישית.

יצירת מאגר פרטי ב-Cloud Build

בקטע הזה יוצרים את המאגר הפרטי של Cloud Build.

  1. ב-Cloud Shell, מקצים טווח כתובות IP עם שם ברשת ה-VPC של PRIVATE_POOL_PEERING_VPC_NAME למאגר הפרטי של Cloud Build:

    gcloud compute addresses create RESERVED_RANGE_NAME \
        --global \
        --purpose=VPC_PEERING \
        --addresses=PRIVATE_POOL_NETWORK \
        --prefix-length=PRIVATE_POOL_PREFIX \
        --network=PRIVATE_POOL_PEERING_VPC_NAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫RESERVED_RANGE_NAME: השם של טווח כתובות ה-IP הפרטיות שמארח את המאגר הפרטי של Cloud Build.
    • ‫PRIVATE_POOL_NETWORK: כתובת ה-IP הראשונה של RESERVED_RANGE_NAME. במדריך הזה אפשר להשתמש ב-192.168.0.0.
    • ‫PRIVATE_POOL_PREFIX: הקידומת של RESERVED_RANGE_NAME. כל מאגר פרטי שנוצר ישתמש ב-/24 מהטווח הזה. במדריך הזה אפשר להשתמש ב-20, שמאפשר ליצור עד 16 מאגרים.
    • ‫PRIVATE_POOL_PEERING_VPC_NAME: השם של רשת ה-VPC שרוצים לקשר לרשת של המאגר הפרטי ב-Cloud Build.
    • טווח ה-IP הוא global כי כש---purpose הוא VPC_PEERING, טווח כתובות ה-IP בעל השם חייב להיות global.
  2. יוצרים חיבור פרטי בין רשת ה-VPC שמכילה את המאגר הפרטי של Cloud Build לבין PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings connect \
        --service=servicenetworking.googleapis.com \
        --ranges=RESERVED_RANGE_NAME \
        --network=PRIVATE_POOL_PEERING_VPC_NAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫RESERVED_RANGE_NAME: השם של טווח כתובות ה-IP הפרטיות שמארח את המאגר הפרטי של Cloud Build.
    • ‫PRIVATE_POOL_PEERING_VPC_NAME: השם של רשת ה-VPC שרוצים לקשר לרשת של המאגר הפרטי ב-Cloud Build.
  3. מפעילים את הייצוא של נתיבים בהתאמה אישית כדי לפרסם את רשת מישור הבקרה של אשכול ה-GKE למאגר הפרטי:

    gcloud compute networks peerings update servicenetworking-googleapis-com \
        --network=PRIVATE_POOL_PEERING_VPC_NAME \
        --export-custom-routes \
        --no-export-subnet-routes-with-public-ip
    

    מחליפים את PRIVATE_POOL_PEERING_VPC_NAME בשם של רשת ה-VPC שרוצים לקשר לרשת של המאגר הפרטי של Cloud Build.

  4. יוצרים מאגר פרטי של Cloud Build שמקושר ב-VPC Peering ל-PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud builds worker-pools create PRIVATE_POOL_NAME \
       --region=REGION \
       --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PRIVATE_POOL_NAME: השם של המאגר הפרטי ב-Cloud Build.
    • ‫REGION: האזור של אשכול GKE. במדריך הזה, משתמשים באזור us-central1, אותו אזור שבו השתמשתם לרשתות ה-VPC.

עכשיו יצרתם מאגר פרטי של Cloud Build וקישרתם אותו לרשת ה-VPC בפרויקט שלכם.

יצירת חיבור דרך VPN בין שתי רשתות ה-VPC

בפרויקט שלכם, יש לכם עכשיו רשת VPC שמקושרת באמצעות Peering למאגר הפרטי של Cloud Build, ורשת VPC שנייה שמקושרת באמצעות Peering לאשכול הפרטי של GKE.

בקטע הזה, יוצרים חיבור דרך VPN בין שתי רשתות ה-VPC בפרויקט. החיבור הזה משלים את המסלול ומאפשר למאגרים הפרטיים של Cloud Build לגשת לאשכול GKE.

  1. ב-Cloud Shell, יוצרים שני שערי HA VPN שמחוברים זה לזה. כדי ליצור את השערים האלה, צריך לפעול לפי ההוראות במאמר יצירת שני שערי HA VPN עם הגדרות מלאות שמחוברים זה לזה. ההגדרה מסתיימת אחרי שיוצרים את סשני ה-BGP. כשמבצעים את ההוראות, משתמשים בערכים הבאים:

    • PRIVATE_POOL_PEERING_VPC_NAME של NETWORK_1
    • GKE_CLUSTER_VPC_NAME של NETWORK_2
    • ‫REGION ל-REGION_1 ול-REGION_2
  2. מגדירים כל אחד מארבעת הסשנים של BGP שיצרתם כדי לפרסם את המסלולים לרשת ה-VPC של המאגר הפרטי ולרשת ה-VPC של מישור הבקרה של אשכול GKE:

    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
        --peer-name=PEER_NAME_GW1_IF0 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
        --peer-name=PEER_NAME_GW1_IF1 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
        --peer-name=PEER_NAME_GW2_IF0 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
    
    gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
        --peer-name=PEER_NAME_GW2_IF1 \
        --region=REGION \
        --advertisement-mode=CUSTOM \
        --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR
    

    כאשר הערכים הבאים הם אותם שמות שבהם השתמשתם כשיצרתם את שני שערי ה-HA VPN:

    • ROUTER_NAME_1
    • PEER_NAME_GW1_IF0
    • PEER_NAME_GW1_IF1
    • ROUTER_NAME_2
    • PEER_NAME_GW2_IF0
    • PEER_NAME_GW2_IF1

מתן גישה ל-Cloud Build למישור הבקרה של אשכול GKE

אחרי שיצרתם חיבור דרך VPN בין שתי רשתות ה-VPC בפרויקט, אתם יכולים לאפשר ל-Cloud Build לגשת למישור הבקרה של אשכול GKE.

  1. ב-Cloud Shell, מוסיפים את טווח הרשת של המאגר הפרטי לרשתות המורשות של מישור הבקרה ב-GKE:

    gcloud container clusters update PRIVATE_CLUSTER_NAME \
        --enable-master-authorized-networks \
        --region=REGION \
        --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PRIVATE_CLUSTER_NAME: השם של אשכול GKE הפרטי.
    • ‫REGION: האזור של אשכול GKE. במדריך הזה, משתמשים באזור us-central1, אותו אזור שבו השתמשתם לרשתות ה-VPC.
    • ‫PRIVATE_POOL_NETWORK: כתובת ה-IP הראשונה של RESERVED_RANGE_NAME. במדריך הזה אפשר להשתמש ב-192.168.0.0.
    • ‫PRIVATE_POOL_PREFIX: הקידומת של RESERVED_RANGE_NAME. כל מאגר פרטי שנוצר ישתמש ב-/24 מהטווח הזה. במדריך הזה אפשר להשתמש ב-20, שמאפשר ליצור עד 16 מאגרים.
  2. מאפשרים לחשבון השירות שמשמש ל-build לגשת למישור הבקרה של אשכול GKE:

    export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')
    
    gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
        --member=serviceAccount:SERVICE_ACCOUNT \
        --role=roles/container.developer
    

עכשיו למאגרים הפרטיים של Cloud Build יש גישה למישור הבקרה של אשכול GKE.

אימות הפתרון

בקטע הזה, אתם מוודאים שהפתרון עובד על ידי הרצת הפקודה kubectl get nodes בשלב של גרסת ה-build שפועל במאגר הפרטי.

  1. ב-Cloud Shell, יוצרים תיקייה זמנית עם קובץ תצורת build של Cloud Build שמריץ את הפקודה kubectl get nodes:

    mkdir private-pool-test && cd private-pool-test
    
    cat > cloudbuild.yaml <<EOF
    steps:
    - name: "gcr.io/cloud-builders/kubectl"
      args: ['get', 'nodes']
      env:
      - 'CLOUDSDK_COMPUTE_REGION=REGION'
      - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
    options:
      workerPool:
        'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
    EOF
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGION: האזור של אשכול GKE. במדריך הזה, משתמשים באזור us-central1, אותו אזור שבו השתמשתם לרשתות ה-VPC.
    • ‫PRIVATE_CLUSTER_NAME: השם של אשכול GKE הפרטי.
    • ‫PRIVATE_POOL_NAME: השם של המאגר הפרטי ב-Cloud Build.
  2. מפעילים את משימת ה-build:

    gcloud builds submit --config=cloudbuild.yaml
    
  3. מוודאים שהפלט הוא רשימת הצמתים באשכול GKE. יומן ה-build שמוצג במסוף כולל טבלה שדומה לזו:

    NAME                                     STATUS   ROLES    AGE   VERSION
    gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
    gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
    gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900
    

עכשיו וידאתם שה-workers מהמאגר הפרטי יכולים לגשת לאשכול GKE. הגישה הזו מאפשרת לכם להשתמש ב-Cloud Build כדי לפרוס את האפליקציה באשכול הפרטי הזה של GKE.

פתרון בעיות

אם נתקלתם בבעיות במהלך המדריך, תוכלו להיעזר במסמכים הבאים:

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.

מחיקת הפרויקט

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת המשאבים הנפרדים

  1. ב-Cloud Shell, מוחקים את אשכול GKE:

    gcloud container clusters delete PRIVATE_CLUSTER_NAME \
        --region=REGION \
        --async
    

    כשמריצים את הפקודה הזו, קישור הרשתות VPC נמחק באופן אוטומטי.

  2. מוחקים את המאגר הפרטי של Cloud Build:

    gcloud builds worker-pools delete PRIVATE_POOL_NAME \
        --region=REGION
    
  3. מוחקים את החיבור הפרטי בין רשת ה-VPC של הבעלים של השירות המנוהל לבין PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings delete \
       --network=PRIVATE_POOL_PEERING_VPC_NAME \
       --async
    
  4. מוחקים את טווח כתובות ה-IP שמוגדר למאגר הפרטי:

    gcloud compute addresses delete RESERVED_RANGE_NAME \
        --global
    
  5. מוחקים את ארבע מנהרות ה-VPN. משתמשים באותם שמות שציינתם בקטע יצירת מנהרות VPN.

    gcloud compute vpn-tunnels delete \
        TUNNEL_NAME_GW1_IF0 \
        TUNNEL_NAME_GW1_IF1 \
        TUNNEL_NAME_GW2_IF0 \
        TUNNEL_NAME_GW2_IF1 \
        --region=REGION
    
  6. מוחקים את שני ה-Cloud Routers. השתמשו באותם שמות שציינתם בקטע יצירת Cloud Routers.

    gcloud compute routers delete \
        ROUTER_NAME_1 \
        ROUTER_NAME_2 \
        --region=REGION
    
  7. מוחקים את שני שערי ה-VPN. משתמשים באותם שמות שציינתם בקטע יצירת שערי HA VPN.

    gcloud compute vpn-gateways delete \
        GW_NAME_1 \
        GW_NAME_2 \
        --region=REGION
    
  8. מוחקים את GKE_SUBNET_NAME, שהיא רשת המשנה שמארחת את הצמתים של אשכול GKE:

    gcloud compute networks subnets delete GKE_SUBNET_NAME \
        --region=REGION
    
  9. מוחקים את שתי רשתות ה-VPC,‏ PRIVATE_POOL_PEERING_VPC_NAME ו-GKE_CLUSTER_VPC_NAME:

    gcloud compute networks delete \
        PRIVATE_POOL_PEERING_VPC_NAME \
        GKE_CLUSTER_VPC_NAME
    

המאמרים הבאים