התקנת Kf ב-Google Cloud

במאמר הזה מוסבר איך להגדיר אשכול GKE, ואז להתקין את Kf ואת התלות שלו.

לפני שמתחילים

הערה: בשלב הזה אי אפשר להריץ Kf באשכולות GKE Autopilot. שימוש באשכול GKE רגיל. מידע נוסף על המצבים האלה ועל Autopilot זמין במאמר סקירה כללית על Autopilot.

הדרישות לאשכול GKE

• אופציונלי, אבל מומלץ: האשכול צריך להיות ייעודי ל-Kf. אנחנו ממליצים להתקין רק את Kf ואת התלויות שלו כדי לשמור על מטריצת התאימות.

• לפחות ארבעה צמתים. אם צריך להוסיף צמתים, אפשר לעיין במאמר בנושא שינוי הגודל של אשכול.

• סוג המכונה המינימלי שכולל לפחות ארבעה vCPU, כמו e2-standard-4. אם לסוג המכונה של האשכול אין לפחות ארבע ליבות וירטואליות (vCPU), צריך לשנות את סוג המכונה כמו שמתואר במאמר העברת עומסי עבודה לסוגי מכונות שונים.

• אופציונלי, אבל מומלץ: רישום האשכול לערוץ הפצה. אם יש לכם גרסת GKE סטטית, פועלים לפי ההוראות במאמר רישום של אשכול קיים בערוץ הפצה.

• ‫Workload Identity מופעל.

דרישות לגבי Kf

בדקו את הרשאות הגישה של רכיבים ב-Kf בדף הארכיטקטורה והתלויות של Kf.

במטריצת התלות מפורטות הגרסאות הספציפיות.

• Artifact Registry

• Cloud Service Mesh

• Config Connector

• ‫Tekton לשימוש ב-Kf; זה לא שירות שפונה למשתמשים

• חשבון שירות ייעודי של Google

הערה: בקטע ניקוי יש הוראות למחיקת האשכול.

הפעלת התמיכה ב-Compute Engine

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את Compute Engine API.

   הפעלת ה-API

הפעלת תמיכה ב-Artifact Registry

1. מפעילים את Artifact Registry API.

   הפעלת Artifact Registry API

הפעלה והגדרה של GKE

לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:

• מפעילים את ממשק Google Kubernetes Engine API.
הפעלת Google Kubernetes Engine API
• כדי להשתמש ב-CLI של Google Cloud למשימה הזו, צריך להתקין ואז להפעיל את gcloud CLI. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא יתמכו בהרצת הפקודות שמופיעות במסמך הזה.
  הערה: אם כבר התקנתם את ה-CLI של gcloud, הקפידו להגדיר את compute/region המאפיין. אם אתם משתמשים בעיקר באשכולות אזוריים, עליכם להגדיר את compute/zone במקום זאת. אם מגדירים מיקום ברירת מחדל, אפשר להימנע משגיאות ב-CLI של gcloud כמו השגיאה הבאה: One of [--zone, --region] must be supplied: Please specify location. יכול להיות שתצטרכו לציין את המיקום בפקודות מסוימות אם המיקום של האשכול שונה מברירת המחדל שהגדרתם.

הכנת אשכול GKE חדש ושירותים קשורים

הגדרה של משתני סביבה

הערה: כדי שהפקודות הבאות יפעלו, צריך לייצא את משתני הסביבה האלה במסוף או ב-Cloud Shell. אם מתנתקים מסביבת ה-Shell ומתחברים אליה שוב מאוחר יותר, צריך להגדיר מחדש את המשתנים.

‫Linux ו-Mac

export PROJECT_ID=YOUR_PROJECT_ID
export CLUSTER_PROJECT_ID=YOUR_PROJECT_ID
export CLUSTER_NAME=kf-cluster
export COMPUTE_ZONE=us-central1-a
export COMPUTE_REGION=us-central1
export CLUSTER_LOCATION=${COMPUTE_ZONE} # Replace ZONE with REGION to switch
export NODE_COUNT=4
export MACHINE_TYPE=e2-standard-4
export NETWORK=default

Windows PowerShell

Set-Variable -Name PROJECT_ID -Value YOUR_PROJECT_ID
Set-Variable -Name CLUSTER_PROJECT_ID -Value YOUR_PROJECT_ID
Set-Variable -Name CLUSTER_NAME -Value kf-cluster
Set-Variable -Name COMPUTE_ZONE -Value us-central1-a
Set-Variable -Name COMPUTE_REGION -Value us-central1
Set-Variable -Name CLUSTER_LOCATION -Value $COMPUTE_ZONE # Replace ZONE with REGION to switch
Set-Variable -Name NODE_COUNT -Value 4
Set-Variable -Name MACHINE_TYPE -Value e2-standard-4
Set-Variable -Name NETWORK -Value default

הגדרה של חשבון שירות

יוצרים Google Cloud חשבון שירות שישויך לחשבון שירות של Kubernetes באמצעות Workload Identity. כך לא צריך ליצור ולהוסיף מפתח של חשבון שירות.

הערה: כדאי לקרוא את המסמך סקירה כללית בנושא אבטחה כדי להבין את ההשלכות של השימוש ב-Workload Identity על האבטחה.

1. יוצרים את חשבון השירות שבו Kf ישתמש.

   gcloud iam service-accounts create ${CLUSTER_NAME}-sa \
   --project=${CLUSTER_PROJECT_ID} \
   --description="GSA for Kf ${CLUSTER_NAME}" \
   --display-name="${CLUSTER_NAME}"

2. יוצרים תפקיד IAM חדש בהתאמה אישית.

   gcloud iam roles create serviceAccountUpdater \
   --project=${CLUSTER_PROJECT_ID} \
   --title "Service Account Updater" \
   --description "This role only updates members on a GSA" \
   --permissions iam.serviceAccounts.get,iam.serviceAccounts.getIamPolicy,iam.serviceAccounts.list,iam.serviceAccounts.setIamPolicy

3. מאפשרים לחשבון השירות לשנות את המדיניות שלו. הוא ישמש את בקר Kf להוספת מרחבי שמות חדשים למדיניות, ויאפשר שימוש חוזר בזהות עומס העבודה.

   gcloud projects add-iam-policy-binding ${CLUSTER_PROJECT_ID} \
     --member="serviceAccount:${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com" \
     --role="projects/${CLUSTER_PROJECT_ID}/roles/serviceAccountUpdater"

4. נותנים תפקיד של מדדי מעקב לגישת כתיבה ל-Cloud Monitoring.

   gcloud projects add-iam-policy-binding ${CLUSTER_PROJECT_ID} \
     --member="serviceAccount:${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com" \
     --role="roles/monitoring.metricWriter"

5. הקצאת תפקיד של רישום ביומן לגישת כתיבה ל-Cloud Logging.

   gcloud projects add-iam-policy-binding ${CLUSTER_PROJECT_ID} \
     --member="serviceAccount:${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com" \
     --role="roles/logging.logWriter"

יצירת אשכול GKE

הערה: לצורכי הדגמה, ההוראות האלה מתייחסות לאשכול אזורי. לפריסות בסביבת הייצור, מומלץ להשתמש באשכול אזורי.

gcloud container clusters create ${CLUSTER_NAME} \
  --project=${CLUSTER_PROJECT_ID} \
  --zone=${CLUSTER_LOCATION} \
  --num-nodes=${NODE_COUNT} \
  --machine-type=${MACHINE_TYPE} \
  --disk-size "122" \
  --network=${NETWORK} \
  --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver \
  --enable-dataplane-v2 \
  --enable-stackdriver-kubernetes \
  --enable-ip-alias \
  --enable-autorepair \
  --enable-autoupgrade \
  --scopes cloud-platform \
  --release-channel=regular \
  --workload-pool="${CLUSTER_PROJECT_ID}.svc.id.goog" \
  --service-account="${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com"

הגדרת כללים לחומת האש

כדי להשתמש ב-Kf, צריך לפתוח כמה יציאות בחומת האש. לצומת הראשי צריכה להיות אפשרות לתקשר עם פודים ביציאות 80, ‏ 443, ‏ 8080, ‏ 8443 ו-6443.

הפעלה של Workload Identity

אחרי שיצרתם חשבון שירות ואשכול GKE, צריך לשייך את מרחב השמות של הזהות של האשכול לאשכול.

gcloud iam service-accounts add-iam-policy-binding \
  --project=${CLUSTER_PROJECT_ID} \
  --role roles/iam.workloadIdentityUser \
  --member "serviceAccount:${CLUSTER_PROJECT_ID}.svc.id.goog[kf/controller]" \
  "${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com"

gcloud iam service-accounts add-iam-policy-binding \
  --project=${CLUSTER_PROJECT_ID} \
  --role roles/iam.workloadIdentityUser \
  --member "serviceAccount:${CLUSTER_PROJECT_ID}.svc.id.goog[cnrm-system/cnrm-controller-manager]" \
  "${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com"

אשכול GKE ליעד

מגדירים גישה לשורת הפקודה של kubectl על ידי הרצת הפקודה הבאה.

gcloud container clusters get-credentials ${CLUSTER_NAME} \
    --project=${CLUSTER_PROJECT_ID} \
    --zone=${CLUSTER_LOCATION}

יצירת מאגר Artifact Registry

1. יוצרים Artifact Registry לאחסון קובצי אימג' של קונטיינרים.

   gcloud artifacts repositories create ${CLUSTER_NAME} \
     --project=${CLUSTER_PROJECT_ID} \
     --repository-format=docker \
     --location=${COMPUTE_REGION}

2. מעניקים לחשבון השירות הרשאה במאגר Artifact Registry.

   gcloud artifacts repositories add-iam-policy-binding ${CLUSTER_NAME} \
     --project=${CLUSTER_PROJECT_ID} \
     --location=${COMPUTE_REGION} \
     --member="serviceAccount:${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com" \
     --role='roles/artifactregistry.writer'

התקנת יחסי תלות של תוכנה באשכול

הערה: במטריצת התלות בדף Kf Downloads יש גרסאות מוצמדות לגרסת Kf שצוינה.

1. מתקינים את Cloud Service Mesh גרסה 1.12.

   הערה: כשמתקינים שערים לפי מסמך ה-ASM, בשלב 2 צריך לבחור באפשרות Revision label (תווית של עדכון), כי זו הדרך שבה Kf תומך.
   1. פועלים לפי מדריך ההתקנה של Cloud Service Mesh, כולל השלבים ליצירת שער כניסה.

2. מתקינים את Config Connector.

   הערה: החל מ-Kf v2.4.0, נדרש Config Connector.
   אזהרה: אל תשתמשו בשיטת התוסף GKE כדי להתקין את Config Connector, כי היא לא נתמכת על ידי Kf. צריך לפעול לפי השלבים האלה להתקנה בהתאמה אישית.

   1. מורידים את קובץ ה-tar של Config Connector Operator שנדרש.

      הערה: חשוב לשמור עותק של חבילת ההתקנה, כי תצטרכו אותה כדי להסיר את Config Connector.

   2. מחלצים את קובץ ה-TAR.

      tar zxvf release-bundle.tar.gz

   3. מתקינים את האופרטור של Config Connector באשכול.

      kubectl apply -f operator-system/configconnector-operator.yaml

   4. מגדירים את האופרטור Config Connector.

      1. מעתיקים את קוד ה-YAML הבא לקובץ בשם configconnector.yaml:

         אזהרה: מחליפים את המשתנה KF_SERVICE_ACCOUNT_NAME בקובץ ה-YAML שבהמשך בחשבון השירות המלא שנוצר מ-${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com

         # configconnector.yaml
         apiVersion: core.cnrm.cloud.google.com/v1beta1
         kind: ConfigConnector
         metadata:
           # the name is restricted to ensure that there is only one
           # ConfigConnector resource installed in your cluster
           name: configconnector.core.cnrm.cloud.google.com
         spec:
           mode: cluster
           googleServiceAccount: "KF_SERVICE_ACCOUNT_NAME" # Replace with the full service account resolved from ${CLUSTER_NAME}-sa@${CLUSTER_PRiam.gserviceaccount.comOJECT_ID}.

      2. מחילים את ההגדרה על האשכול.

         kubectl apply -f configconnector.yaml

   5. לפני שממשיכים, מוודאים ש-Config Connector מותקן באופן מלא.

      • ‫Config Connector מריץ את כל הרכיבים שלו במרחב שמות בשם cnrm-system. מריצים את הפקודה הבאה כדי לוודא שה-Pods מוכנים:

        הערה: יכול להיות שייקח כמה דקות עד שה-Pod של בקר יתחיל לפעול, ולכן יכול להיות שהפקודה הזו לא תפעל מיד.

        kubectl wait -n cnrm-system --for=condition=Ready pod --all

      • אם Config Connector מותקן בצורה נכונה, הפלט אמור להיראות כך:

        pod/cnrm-controller-manager-0 condition met
        pod/cnrm-deletiondefender-0 condition met
        pod/cnrm-resource-stats-recorder-86858dcdc5-6lqzb condition met
        pod/cnrm-webhook-manager-58c799b8fb-kcznq condition met
        pod/cnrm-webhook-manager-58c799b8fb-n2zpx condition met

   6. מגדירים את Workload Identity.

      kubectl annotate serviceaccount \
      --namespace cnrm-system \
      --overwrite \
      cnrm-controller-manager \
      iam.gke.io/gcp-service-account=${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com

3. מתקינים את Tekton:

   kubectl apply -f "https://storage.googleapis.com/tekton-releases/pipeline/previous/v0.32.1/release.yaml"

התקנה של Kf

הערה: חשוב לוודא שהאשכול עומד בדרישות שמפורטות במאמר יצירה והכנה של אשכול GKE ל-Kf.

1. מתקינים את Kf CLI:

   Linux

   הפקודה הזו מתקינה את Kf CLI לכל המשתמשים במערכת. כדי להתקין אותו רק לעצמכם, פועלים לפי ההוראות בכרטיסייה Cloud Shell.

   gcloud storage cp gs://kf-releases/v2.10.0/kf-linux /tmp/kf
   chmod a+x /tmp/kf
   sudo mv /tmp/kf /usr/local/bin/kf

   Mac

   הפקודה הזו מתקינה את kf לכל המשתמשים במערכת.

   gcloud storage cp gs://kf-releases/v2.10.0/kf-darwin /tmp/kf
   chmod a+x /tmp/kf
   sudo mv /tmp/kf /usr/local/bin/kf

   Cloud Shell

   הפקודה הזו מתקינה את kf במכונת Cloud Shell אם משתמשים ב-bash. יכול להיות שיהיה צורך לשנות את ההוראות עבור מעטפות אחרות.

   mkdir -p ~/bin
   gcloud storage cp gs://kf-releases/v2.10.0/kf-linux ~/bin/kf
   chmod a+x ~/bin/kf
   echo "export PATH=$HOME/bin:$PATH" >> ~/.bashrc
   source ~/.bashrc

   Windows

   הפקודה הזו מורידה את kf לספרייה הנוכחית. אם רוצים להפעיל אותו מכל מקום אחר ולא רק מהספרייה הנוכחית, צריך להוסיף אותו לנתיב.

   gcloud storage cp gs://kf-releases/v2.10.0/kf-windows.exe kf.exe

2. מתקינים את האופרטור:

   kubectl apply -f "https://storage.googleapis.com/kf-releases/v2.10.0/operator.yaml"

3. מגדירים את האופרטור ל-Kf:

   kubectl apply -f "https://storage.googleapis.com/kf-releases/v2.10.0/kfsystem.yaml"

4. מגדירים סודות וערכי ברירת מחדל:

   export CONTAINER_REGISTRY=${COMPUTE_REGION}-docker.pkg.dev/${CLUSTER_PROJECT_ID}/${CLUSTER_NAME}
   
   kubectl patch \
   kfsystem kfsystem \
   --type='json' \
   -p="[{'op': 'replace', 'path': '/spec/kf', 'value': {'enabled': true, 'config': {'spaceContainerRegistry': '${CONTAINER_REGISTRY}', 'secrets':{'workloadidentity':{'googleserviceaccount':'${CLUSTER_NAME}-sa', 'googleprojectid':'${CLUSTER_PROJECT_ID}'}}}}}]"
   

אימות ההתקנה

  kf doctor --retries=20

הערה: הפקודה הזו תבדוק את האשכול כדי לוודא ש-Kf והתלות שלו מותקנים ופועלים. היא תפעל עד 20 פעמים כדי לתת לאשכול Kubernetes זמן לבצע התאמה, והיא אמורה להניב סדרה של PASS תוצאות. אם הסטטוס של רכיב כלשהו הוא FAIL אחרי הניסיונות החוזרים, אפשר לעיין בדף פתרון בעיות ב-Kf.

הסרת המשאבים

השלבים האלה אמורים להסיר את כל הרכיבים שנוצרו בקטע יצירה והכנה של אשכול GKE חדש.

1. מחיקה של חשבון שירות של Google:

   gcloud iam service-accounts delete ${CLUSTER_NAME}-sa@${CLUSTER_PROJECT_ID}.iam.gserviceaccount.com

2. מחיקת קישורי מדיניות IAM:

   gcloud projects remove-iam-policy-binding ${CLUSTER_PROJECT_ID} \
       --member="serviceAccount:${CLUSTER_NAME}-sa@${CLUSTER_PROJECTiam.gserviceaccount.com_ID}." \
       --role="roles/iam.serviceAccountAdmin"
   gcloud projects remove-iam-policy-binding ${CLUSTER_PROJECT_ID} \
       --member="serviceAccount:${CLUSTER_NAME}-iam.gserviceaccount.comsa@${CLUSTER_PROJECT_ID}." \
       --role="roles/monitoring.metricWriter"

3. מחיקת מאגר תמונות של קונטיינרים:

   gcloud artifacts repositories delete ${CLUSTER_NAME} \
     --location=${COMPUTE_REGION}

4. להסיר את Kf:

   kubectl patch kfsystem kfsystem \
     --type='json' \
     -p="[{'op': 'replace', 'path': '/spec/kf', 'value': {'enabled': false, }}]"

5. (אופציונלי) מחיקת אשכול GKE:

   gcloud container clusters delete ${CLUSTER_NAME} --zone ${CLUSTER_LOCATION}