יצירת אשכול רגיל להרצת עומסי עבודה של קונטיינרים

Standard

במאמר הזה מוסבר איך ליצור אשכול Kubernetes רגיל באזור מבודד של Google Distributed Cloud ‏ (GDC). אשכול רגיל מספק אשכול Kubernetes עם היקף פרויקט, שניתן להגדרה רבה וכולל קבוצה מינימלית של שירותים מנוהלים. אשכול רגיל מציע יותר גמישות בהגדרת השירות מאשר אשכול משותף, אבל הוא גם דורש יותר תקורה לניהול. מידע נוסף על אשכולות רגילים זמין במאמר הגדרות של אשכול Kubernetes.

קלאסטרים רגילים הם משאבים אזוריים ולא יכולים להתפרס על פני כמה אזורים. כדי להפעיל אשכולות ביקום מרובה אזורים, צריך ליצור אשכולות באופן ידני בכל אזור.

המסמך הזה מיועד לקהלים כמו מפתחי אפליקציות בקבוצת מפעילים של אפליקציות, שאחראים על ניהול עומסי עבודה של קונטיינרים בארגון שלהם. מידע נוסף מופיע במאמרי העזרה בנושא קהלים ב-GDC עם פער אבטחה.

לפני שמתחילים

כדי ליצור אשכול רגיל, צריך לבקש את ההרשאות הנדרשות ולהכין את הסביבה.

שליחת בקשה לתפקידי IAM

צריך לפנות לאדמין IAM בארגון כדי לקבל את התפקידים הבאים:

• אדמין IAM בפרויקט (project-iam-admin): מתן הרשאות למשתמשים אחרים לתפקידים הנדרשים לניהול גישה באשכולות רגילים.
• אדמין רגיל של אשכולות (standard-cluster-admin): יצירת אשכולות רגילים בפרויקט.

התפקידים האלה קשורים למרחב השמות של הפרויקט.

הכנת הסביבה

• צריך לוודא שההגדרה מתאימה לגישה לאשכולות רגילים ולניהול שלהם. מידע נוסף מופיע במאמר בנושא ניהול הגישה לאשכולות רגילים.
• יוצרים את קובץ ה-kubeconfig של שרת ה-API האזורי כדי לארח את האשכול. מגדירים את משתנה הסביבה MANAGEMENT_API_SERVER לנתיב של kubeconfig. מידע נוסף זמין במאמר בנושא משאבי שרת של API לניהול אזורים.
• כדאי לעיין במגבלות של האשכול כדי להבין את השיקולים לגבי משאבים.

תכנון של בלוק ה-CIDR של ה-Pod

כדי להקצות את בלוק ה-CIDR של הפוד בגודל המתאים לעומסי העבודה, צריך לחשב את מספר כתובות ה-IP שנדרשות לאשכול Kubernetes לפני שיוצרים אותו. אי אפשר לשנות את רוב הפרמטרים של הרשת אחרי שיוצרים את האשכול.

אשכול Kubernetes פועל לפי הלוגיקה הבאה כשמקצים כתובות IP:

• ‫Kubernetes מקצה /24 בלוק CIDR שכולל 256 כתובות לכל אחד מהצמתים. הסכום הזה תואם למקסימום ברירת המחדל של 110 פודים לכל צומת באשכולות Kubernetes.
• הגודל של בלוק ה-CIDR שמוקצה לצומת תלוי בערך המקסימלי של הפודים לכל צומת.
• הבלוק תמיד מכיל לפחות פי שניים כתובות ממספר הפודים המקסימלי לכל צומת.

בדוגמה הבאה מוסבר איך ערך ברירת המחדל של Per node mask size= /24 חושב כדי להתאים ל-110 פודים:

Maximum pods per node = 110
Total number of IP addresses required = 2 * 110 = 220

Per node mask size = /24
Number of IP addresses in a /24 = 2(32 - 24) = 256

קובעים את מסכת ה-CIDR של הפוד שצריך להגדיר עבור אשכול Kubernetes, על סמך מספר הצמתים הנדרש. תכנון הוספה של צמתים בעתיד לאשכול במהלך הגדרת טווח ה-CIDR:

  Total number of nodes supported = 2(Per node mask size - pod CIDR mask)

בהנחה שיש גודל מסכת ברירת מחדל לכל צומת = ‎ /24 , אפשר לעיין בטבלה הבאה שבה ממופה מסכת ה-CIDR של ה-pod למספר הצמתים הנתמכים.

מסיכת CIDR של Pod	חישוב: ‫2^(גודל המסיכה לכל צומת – מסיכת CIDR)	המספר המקסימלי של צמתים נתמכים, כולל צמתים של מישור הבקרה
/21	‫2^(24 - 21)	8
/20	‫2^(24-20)	16
/19	‫2^(24 - 19)	32
/18	‫2^(24 - 18)	64

אזהרה: אם מספקים מסכת CIDR לא מספיקה, יכול להיות שיצירת האשכול תיתקע בשלב של התאמה, והפודים יציגו את המצב CrashLoopBackOff.

אחרי שמחשבים את בלוק ה-CIDR של הפוד באשכול Kubernetes, מגדירים אותו כחלק מתהליך יצירת האשכול שמתואר בקטע הבא.

יצירת אשכול רגיל

כדי ליצור אשכול רגיל:

המסוף

1. בבורר הפרויקטים, בוחרים את הפרויקט הרצוי.

   אשכולות רגילים הם משאבים בהיקף פרויקט. אם בוחרים במשאב 'ארגון', נוצר אשכול משותף בהיקף הארגון. מידע נוסף מופיע במאמר בנושא היררכיית המשאבים.

2. בתפריט הניווט, בוחרים באפשרות Kubernetes Engine > Clusters.

3. לוחצים על Create Cluster (יצירת אשכול).

4. בשדה Name (שם), מציינים שם לאשכול.

5. בוחרים את האזור שבו רוצים ליצור את האשכול.

6. בוחרים את גרסת Kubernetes לאשכול.

7. לוחצים על הבא.

8. קובעים את הגדרות הרשת של האשכול. אי אפשר לשנות את הגדרות הרשת האלה אחרי שיוצרים את האשכול. פרוטוקול האינטרנט שמוגדר כברירת מחדל ונתמך באשכולות Kubernetes הוא גרסה 4 של פרוטוקול האינטרנט (IPv4).

   1. אם רוצים ליצור צמתים ייעודיים של מאזן עומסים, מזינים את מספר הצמתים שרוצים ליצור. כברירת מחדל, מקבלים אפס צמתים, ותעבורת הנתונים של איזון העומסים עוברת דרך צמתים של מישור הבקרה.

   2. בוחרים את Service CIDR (Classless Inter-Domain Routing) שרוצים להשתמש בו. כתובות ה-IP של השירותים שפרסתם, כמו מאזני עומסים, מוקצות מתוך הטווח הזה.

      חשוב: הטווח יכול להיות כל טווח RFC 1918 שלא מתנגש עם טווחי כתובות IP אחרים במשאבי מאגר הצמתים ובאשכול. מידע נוסף זמין ב-RFC 1918.

   3. בוחרים את Pod CIDR שרוצים להשתמש בו. האשכול מקצה כתובות IP מהטווח הזה ל-Pods ולמכונות הווירטואליות.

   4. לוחצים על הבא.

9. בודקים את הפרטים של מאגר הצמתים שמוגדר כברירת מחדל ונוצר אוטומטית עבור האשכול. לוחצים על עריכה כדי לשנות את מאגר הצמתים שמוגדר כברירת מחדל.

   חשוב: אם אתם מתכוונים להריץ באשכול עומסי עבודה של יחידת עיבוד גרפי (GPU), אתם צריכים להקצות סוג מכונה של GPU באשכול. מידע נוסף מופיע במאמר בנושא עומסי עבודה של GPU באשכול Kubernetes.

10. כדי ליצור עוד מאגרי צמתים, לוחצים על הוספת מאגר צמתים. כשעורכים את מאגר הצמתים שמוגדר כברירת מחדל או מוסיפים מאגר צמתים חדש, אפשר להתאים אותו אישית באמצעות האפשרויות הבאות:

    1. נותנים שם למאגר הצמתים. אי אפשר לשנות את השם אחרי שיוצרים את מאגר הצמתים.
    2. מציינים את מספר צמתי העובדים שרוצים ליצור במאגר הצמתים.

    3. בוחרים את סוג המכונה שהכי מתאים לדרישות של עומס העבודה. רשימת ההגדרות הבאות:

       • סוג המכונה
       • CPU
       • זיכרון

    4. לוחצים על Save.

11. לוחצים על Create (יצירה) כדי ליצור את האשכול.

יצירת אשכול רגיל יכולה להימשך עד 60 דקות.

API

1. יוצרים משאב מותאם אישית Cluster ושומרים אותו כקובץ YAML, כמו cluster.yaml:

   apiVersion: cluster.gdc.goog/v1
   kind: Cluster
   metadata:
     name: CLUSTER_NAME
     namespace: PROJECT_NAME
   spec:
     clusterNetwork:
       podCIDRSize: POD_CIDR
       serviceCIDRSize: SERVICE_CIDR
     initialVersion:
       kubernetesVersion: KUBERNETES_VERSION
     nodePools:
     - machineTypeName: MACHINE_TYPE
       name: NODE_POOL_NAME
       nodeCount: NUMBER_OF_WORKER_NODES
       taints: TAINTS
       labels: LABELS
       acceleratorOptions:
         gpuPartitionScheme: GPU_PARTITION_SCHEME
     releaseChannel:
       channel: UNSPECIFIED
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫CLUSTER_NAME: שם האשכול. שם האשכול לא יכול להסתיים ב--system. הסיומת -system שמורה לאשכולות שנוצרו על ידי GDC.
   • ‫PROJECT_NAME: השם של הפרויקט שבו רוצים ליצור את האשכול.
   • ‫POD_CIDR: הגודל של טווחי הרשת שמהם מוקצות כתובות IP וירטואליות של פודים. אם לא מגדירים את המדיניות, המערכת משתמשת בערך ברירת המחדל 21.
   • ‫SERVICE_CIDR: הגודל של טווחי הרשת שמהם מוקצות כתובות IP וירטואליות של שירותים. אם לא מגדירים את המדיניות, המערכת משתמשת בערך ברירת המחדל 23.
   • ‫KUBERNETES_VERSION: גרסת Kubernetes של האשכול, למשל 1.26.5-gke.2100. כדי לראות את רשימת הגרסאות הזמינות של Kubernetes שאפשר להגדיר, אפשר לעיין במאמר רשימת הגרסאות הזמינות של Kubernetes לאשכול.
   • ‫MACHINE_TYPE: סוג המכונה של צמתי העובדים במאגר הצמתים. אפשר לראות את סוגי המכונות הזמינים כדי להבין אילו אפשרויות זמינות להגדרה.
   • ‫NODE_POOL_NAME: שם מאגר הצמתים.
   • ‫NUMBER_OF_WORKER_NODES: מספר צמתי העובדים שיוקצו במאגר הצמתים.
   • ‫TAINTS: ההכתמות שיחולו על הצמתים במאגר הצמתים הזה. זהו שדה אופציונלי.
   • ‫LABELS: התוויות שיוחלו על הצמתים במאגר הצמתים הזה. הוא מכיל רשימה של צמדי מפתח/ערך. השדה הזה אופציונלי.
   • ‫GPU_PARTITION_SCHEME: סכמת החלוקה של ה-GPU, אם מריצים עומסי עבודה של GPU. זהו שדה אופציונלי. לדוגמה, mixed-2. אם השדה הזה לא מוגדר, ה-GPU לא מחולק למחיצות. למידע נוסף על פרופילי GPU מרובי-מופעים (MIG) שזמינים, ראו פרופילי MIG נתמכים.
   הערה: אי אפשר לערוך הגדרות של צמתים, כמו חלוקת GPU, אחרי שיוצרים מאגר צמתים של אשכול.

2. מחילים את המשאב המותאם אישית על מופע GDC:

   kubectl apply -f cluster.yaml --kubeconfig MANAGEMENT_API_SERVER
   

   מחליפים את הערך MANAGEMENT_API_SERVER בנתיב של קובץ ה-kubeconfig של שרת ה-API האזורי. אם עדיין לא יצרתם קובץ kubeconfig לשרת ה-API באזור היעד, תוכלו לעיין בקטע כניסה.

יצירת אשכול רגיל יכולה להימשך עד 60 דקות.

Terraform

1. בקובץ התצורה של Terraform, מוסיפים את קטע הקוד הבא:

   provider "kubernetes" {
     config_path = "MANAGEMENT_API_SERVER"
   }
   
   resource "kubernetes_manifest" "cluster-create" {
     manifest = {
       "apiVersion" = "cluster.gdc.goog/v1"
       "kind" = "Cluster"
       "metadata" = {
         "name" = "CLUSTER_NAME"
         "namespace" = "PROJECT_NAME"
       }
       "spec" = {
         "clusterNetwork" = {
           "podCIDRSize" = "POD_CIDR"
           "serviceCIDRSize" = "SERVICE_CIDR"
         }
         "initialVersion" = {
           "kubernetesVersion" = "KUBERNETES_VERSION"
         }
         "nodePools" = [{
           "machineTypeName" = "MACHINE_TYPE"
           "name" = "NODE_POOL_NAME"
           "nodeCount" = "NUMBER_OF_WORKER_NODES"
           "taints" = "TAINTS"
           "labels" = "LABELS"
           "acceleratorOptions" = {
             "gpuPartitionScheme" = "GPU_PARTITION_SCHEME"
           }
         }]
         "releaseChannel" = {
           "channel" = "UNSPECIFIED"
         }
       }
     }
   }
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫MANAGEMENT_API_SERVER: הנתיב של קובץ ה-kubeconfig של שרת ה-API האזורי. אם עדיין לא יצרתם קובץ kubeconfig לשרת ה-API באזור היעד, כדאי לעיין במאמר בנושא כניסה.
   • ‫CLUSTER_NAME: שם האשכול. שם האשכול לא יכול להסתיים ב--system. הסיומת -system שמורה לאשכולות שנוצרו על ידי GDC.
   • ‫PROJECT_NAME: השם של הפרויקט שבו רוצים ליצור את האשכול.
   • ‫POD_CIDR: הגודל של טווחי הרשת שמהם מוקצות כתובות IP וירטואליות של פודים. אם לא מגדירים את המדיניות, המערכת משתמשת בערך ברירת המחדל 21.
   • ‫SERVICE_CIDR: הגודל של טווחי הרשת שמהם מוקצות כתובות IP וירטואליות של שירותים. אם לא מגדירים את המדיניות, המערכת משתמשת בערך ברירת המחדל 23.
   • ‫KUBERNETES_VERSION: גרסת Kubernetes של האשכול, למשל 1.26.5-gke.2100. כדי לראות את רשימת הגרסאות הזמינות של Kubernetes שאפשר להגדיר, אפשר לעיין במאמר רשימת הגרסאות הזמינות של Kubernetes לאשכול.
   • ‫MACHINE_TYPE: סוג המכונה של צמתי העובדים במאגר הצמתים. אפשר לראות את סוגי המכונות הזמינים כדי להבין אילו אפשרויות זמינות להגדרה.
   • ‫NODE_POOL_NAME: שם מאגר הצמתים.
   • ‫NUMBER_OF_WORKER_NODES: מספר צמתי העובדים שיוקצו במאגר הצמתים.
   • ‫TAINTS: ההכתמות שיחולו על הצמתים במאגר הצמתים הזה. זהו שדה אופציונלי.
   • ‫LABELS: התוויות שיוחלו על הצמתים במאגר הצמתים הזה. הוא מכיל רשימה של צמדי מפתח/ערך. השדה הזה אופציונלי.
   • ‫GPU_PARTITION_SCHEME: סכמת החלוקה של ה-GPU, אם מריצים עומסי עבודה של GPU. זהו שדה אופציונלי. לדוגמה, mixed-2. אם השדה הזה לא מוגדר, ה-GPU לא מחולק למחיצות. למידע נוסף על פרופילי GPU מרובי-מופעים (MIG) שזמינים, ראו פרופילי MIG נתמכים.

2. מחילים את אשכול התקן החדש באמצעות Terraform:

   terraform apply
   

יצירת אשכול רגיל יכולה להימשך עד 60 דקות.

המאמרים הבאים

• ניהול הגישה לאשכולות רגילים
• פריסת אפליקציית קונטיינר של HA
• עומסי עבודה של קונטיינרים ב-GDC
• היררכיית המשאבים
• הגדרת Cloud NAT לאשכולות רגילים