במסמך הזה מוסבר על בדיקות מקדימות שמופעלות כשיוצרים או משדרגים אשכול ב-Google Distributed Cloud (תוכנה בלבד) ל-VMware.
בדיקת הכללים של חומת האש
בגרסה 1.29 ואילך, בדיקות מקדימות בצד השרת מופעלות כברירת מחדל כשיוצרים, מעדכנים ומשדרגים אשכולות. בדיקות קדם-הפעלה בצד השרת דורשות כללי חומת אש נוספים. בקטע Firewall rules for admin clusters (כללי חומת אש לאשכולות אדמין), מחפשים את האפשרות Preflight checks (בדיקות לפני המראה) ומוודאים שכל כללי חומת האש הנדרשים מוגדרים.
הפעלת gkectl check-config
אם אתם מתכננים ליצור אשכולות באמצעות gkectl, אתם מריצים את הפקודה gkectl create-config כדי ליצור קובץ תצורה. קובץ התצורה מניע את ההתקנה: אתם מספקים מידע על סביבת vSphere, על הרשת ועל מאזן העומסים (LB), ועל האופן שבו אתם רוצים שהאשכולות ייראו. אפשר ליצור קובץ הגדרה לפני או אחרי שיוצרים תחנת עבודה לאדמינים. כדי שחלק מהבדיקות יעברו, צריך להריץ אותן מתחנת העבודה של האדמין.
אחרי שמשנים את הקובץ כך שיתאים לצרכים של הסביבה ושל האשכולות, משתמשים בקובץ כדי ליצור את האשכולות בסביבה המקומית.
לפני שיוצרים אשכולות באמצעות gkectl, מריצים את הפקודה gkectl check-config כדי לאמת את קובץ התצורה באמצעות כמה בדיקות קדם הפעלה.
אם הפקודה מחזירה הודעות FAILURE, צריך לתקן את הבעיות ולאמת שוב את הקובץ. אם אימות של תכונה מסוימת מחזיר הודעות אזהרה, צריך לפתור את הבעיות הבסיסיות לפני שתוכלו להשתמש בתכונה הזו.
מצבי בדיקת קדם הפעלה ודילוג על אימותים
ל-gkectl check-config יש מצב ברירת מחדל ומצב מהיר:
במצב ברירת המחדל, הפקודה מאמתת באופן מקיף כל שדה. בנוסף, במצב ברירת המחדל נוצרות מכונות וירטואליות (VM) זמניות של vSphere כחלק מהאימותים, ולכן התהליך עשוי להימשך זמן רב יותר.
במצב מהיר, הפקודה מדלגת על בדיקות שיוצרות מכונות וירטואליות לבדיקה ומריצה רק את הבדיקות המהירות. כדי להפעיל את המצב המהיר, מעבירים את הדגל
--fast.
אפשר לדלג על אימותים ספציפיים באמצעות העברת דגלים אחרים, שמתוארים במאמר gkectl check-config --help.
התנועה בין תחנת העבודה של האדמין לבין המכונות הווירטואליות של הבדיקה
במצב ברירת מחדל, בדיקת הטרום-הפעלה יוצרת מכונות וירטואליות לבדיקה עבור האשכול. כל מכונה וירטואלית לבדיקה מריצה שרת HTTP שמקשיב ליציאה 443 וליציאות של הצמתים שצוינו בקובץ ההגדרות.
כמה כתובות IP מוקצות למכונות הווירטואליות של הבדיקה. אם קובץ התצורה מציין שצמתי האשכול יקבלו את כתובות ה-IP שלהם משרת DHCP, בדיקת ההתכנות תשתמש בשרת DHCP כדי להקצות כתובות IP למכונות הווירטואליות של הבדיקה. אם קובץ התצורה מציין שיוקצו כתובות IP סטטיות לצמתי האשכול, בדיקת קדם-ההפעלה מקצה כתובות IP סטטיות שציינתם בקובצי בלוק ה-IP למכונות הווירטואליות של הבדיקה.
בדיקת הטרום-טיסה, שמופעלת בתחנת העבודה של האדמין, שולחת בקשות HTTP למכונות הווירטואליות לבדיקה באמצעות כתובות ה-IP השונות שהוקצו למכונות הווירטואליות. הבקשות נשלחות ליציאה 443 וליציאות הצמתים שציינתם בקובץ התצורה.
מתי כדאי להפעיל בדיקות קדם-הפעלה?
מומלץ להריץ בדיקות קדם-הפעלה בשלב מוקדם ולפני שמנסים ליצור אשכולות. הפעלת בדיקות קדם הפעלה בשלב מוקדם יכולה לעזור לוודא שהגדרתם את סביבת vSphere ואת הרשת בצורה נכונה.
אם אתם משתמשים בגרסה 1.2.0-gke.6, מריצים את הפקודה gkectl check-config פעמיים:
מריצים את
gkectl check-config --fast.מריצים את
gkectl prepare.מריצים שוב את הפקודה
gkectl check-config, בלי הסימון--fast.
הסיבה להרצה פעמיים היא ש-gkectl prepare מעלה את תבנית המכונה הווירטואלית של תמונת מערכת ההפעלה של צומת האשכול לסביבת vSphere. צריך לוודא שתבנית ה-VM קיימת לפני שמריצים את כל מערך האימותים.
בגרסה 1.2.1 ואילך, הפקודה check-config מעלה את תבנית מכונת ה-VM, כך שאפשר להריץ את כל מערך האימותים לפני שמריצים את הפקודה gkectl
prepare:
מריצים את הפקודה
gkectl check-configבלי הסימון--fast.מריצים את
gkectl prepare.
בדיקות קדם-הפעלה מאמתות את הערכים שסיפקתם בקובץ. לא צריך למלא את כל השדות בקובץ התצורה כדי להריץ בדיקות מקדימות בקובץ. אפשר לאמת את הקובץ באופן איטרטיבי תוך כדי מילוי השדות שלו. לדוגמה, אם רוצים רק לאמת את ההגדרה של vCenter, אפשר למלא רק את השדות vcenter ולהריץ בדיקות רק לגביהם.
חשוב לזכור שההגדרה שלכם הופכת לבלתי ניתנת לשינוי אחרי שיוצרים את האשכולות. הפעלת בדיקות קדם הפעלה עוזרת לכם לגלות ולפתור בעיות בהגדרות לפני שאתם יוצרים את האשכולות.
שמירת המכונה הווירטואלית לצורך ניפוי באגים
החל מגרסה 1.2.1, לפקודה gkectl check-config יש דגל --cleanup.
כש-gkectl check-config מבצע סדרה מלאה של בדיקות, הוא יוצר מכונה וירטואלית לבדיקה ומפתח SSH שמשויך אליה. אם רוצים לשמור את המכונה הווירטואלית של הבדיקה ואת מפתח ה-SSH למטרות ניפוי באגים, צריך להגדיר את --cleanup כ-false.
ערך ברירת המחדל של --cleanup הוא True.
רשימת בדיקות לפני הפעלה
במהלך הבדיקות המקדימות, המערכת מאמתת כל שדה בקובץ התצורה. אלה הבדיקות הנוכחיות:
| קטגוריה | תיאור | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| קובץ תצורה | בדרך כלל, המערכת בודקת שלכל שדה ולכל מפרט יש את הפורמט והערכים הצפויים. דילוג עם הדגל דילוג על אימות השדה |
||||||||||||||||
| אינטרנט | בודק את הגישה לאינטרנט לדומיינים הנדרשים. בודק את הגדרת ה-proxy בהתאם למקום שבו מריצים את gkectl. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| קובץ אימג' של מערכת ההפעלה | בודק אם קיימות תמונות של מערכת ההפעלה. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| גרסת Windows OS (מערכת ההפעלה של Windows) | מאמת את גרסת מערכת ההפעלה של Windows. בודק אם גרסת Windows נתמכת כשיוצרים תחנות עבודה לאדמינים באמצעות כלי שורת הפקודה |
||||||||||||||||
| גרסת האשכול | בודק שהגרסה של אשכול האדמין, הגרסה של אשכול המשתמש והגרסה של הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| תקינות האשכול | הכלי מאמת שהאדמין או אשכול המשתמשים תקין לפני השדרוג:
הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| תעבורת נתונים נכנסת (Ingress) | בודק אם באשכול המשתמש יש אובייקט Istio Gateway לפני השדרוג. | ||||||||||||||||
| כתובת IP שמורה | בודק שיש מספיק כתובות IP זמינות ליצירה ולשדרוג. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| Google Cloud |
--skip-validation-gcp.
| ||||||||||||||||
גישה אל gcr.io/gke-on-prem-release |
מאמת את הגישה למאגר קובצי אימג' של קונטיינר שמתארח ב-Artifact Registry.
דילוג באמצעות הסימון |
||||||||||||||||
| מאגר Docker |
privateregistryconfigאם ההגדרה מוגדרת, המערכת מאמתת את הגישה למאגר Docker.
הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| vCenter | הבדיקה מוודאת שכל השדות vcenter קיימים, וגם בודקת את הדברים הבאים:
הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| אחסון |
| ||||||||||||||||
| עומס עבודה (workload) של CSI |
מאמת שהאשכול יכול להריץ בהצלחה עומס עבודה שמשתמש ב-PersistentVolume שהוקצה באופן דינמי ונוצר באמצעות vSphere CSI Driver. הבדיקה הזו מופעלת במהלך השדרוג, ורק אם יש נפחי vSphere בתוך העץ ואין נפחי vSphere CSI. בדיקה זו:
|
||||||||||||||||
| מארחים לקבוצות אנטי-אפיניות | הפונקציה בודקת שמספר המארחים הפיזיים של vCenter הוא לפחות 3 אם האפשרות
כדי להשבית את הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| מאזן עומסים | אימות ההגדרות של איזון העומסים:
--skip-validation-load-balancer.
|
||||||||||||||||
| Networking | בודק אם טווחי ה-CIDR, כתובות ה-VIP וכתובות ה-IP הסטטיות שצוינו (אם הוגדרו) זמינים. בודק שאין חפיפה בין כתובות ה-IP. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| DNS | הכלי מאמת ששרת ה-DNS שצוין זמין. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| NTP | הפונקציה מאמתת שהשרת של Network Time Protocol (NTP) שצוין זמין. הדילוג בוצע באמצעות הדגל |
||||||||||||||||
| אח"מים | שולח פינגים אל כתובות ה-VIP שסופקו. הבדיקה הזו מצליחה אם הפינג נכשל, מה שמצביע על כך שכתובת ה-VIP הצפויה לא תפוסה. דילוג עם הדגל |
||||||||||||||||
| כתובות IP של צמתים | שולח פינג לכתובות ה-IP של הצומת שסופקו. הבדיקה הזו מצליחה אם הפינג נכשל, מה שמצביע על כך שכתובת ה-IP הצפויה של הצומת לא תפוסה. דילוג עם הדגל |
||||||||||||||||
תוצאות של בדיקות קדם הפעלה
בדיקות לפני ההמראה יכולות להחזיר את התוצאות הבאות:
- בוצע בהצלחה
- השדה והערך שלו עברו את הבדיקה.
- שגיאה
- השדה או הערך שלו לא עברו את הבדיקה. אם הבדיקה מחזירה את ההודעה
FAILURE, צריך לתקן את הבעיות ולאמת את הקובץ שוב. - לא בוצעה בדיקה
הבדיקה דולגה, כנראה כי היא לא רלוונטית להגדרה שלכם. לדוגמה, אם משתמשים בשרת DHCP, הבדיקות של DNS ושל כתובות IP של צמתים – שרלוונטיות רק להגדרת כתובת IP סטטית – מדלגות.
אם מעבירים סימון שמדלג על אימות, הבדיקה שדילגו עליה לא מחזירה תוצאה של דילוג, אלא האימות לא מופעל והוא לא מופיע בפלט של הפקודה.
- לא ידוע
הדילוג החזיר קוד שאינו אפס. אפשר להתייחס לתוצאות UNKNOWN כאל בדיקות שנכשלו. הערך UNKNOWN מציין בדרך כלל שהבדיקה לא הצליחה להריץ חבילת מערכת מסוימת, למשל שהיא לא הצליחה להריץ nslookup או gcloud.
בקרוב
בגרסה עתידית נוסיף את הבדיקות המקדימות הבאות:
- שרת NTP
הרצת בדיקות לפני ההטמעה
כדי להריץ בדיקות לפני ההמראה, מריצים את הפקודה הבאה:
gkectl check-config --config [CONFIG]
[CONFIG] הוא הנתיב לקובץ התצורה
הפעלה במצב מהיר
אם רוצים, אפשר להריץ בדיקות קדם-הפעלה ב'מצב מהיר', שבו המערכת מדלגת על האימותים שיוצרים VM זמניות לבדיקה, כמו אימותים של כתובות IP של צמתים ושל כתובות IP וירטואליות של איזון עומסים. כדי לעשות זאת, מעבירים את --fast:
gkectl check-config --config [CONFIG] --fast
דילוג על אימותים ספציפיים
אפשר להעביר פריטי feature flag כדי לדלג באופן ספציפי על אימותים מסוימים, כמו DNS, proxy ורשת. לכל דגל דילוג מתווספת הקידומת --skip-[VALIDATION].
כדי לקבל מידע על דגלי הדילוג הזמינים, מריצים את הפקודה הבאה:
gkectl check-config --help
לדוגמה, כדי לדלג על האימותים של מאזן העומסים:
gkectl check-config --config my-config.yaml --skip-validation-load-balancer
ביטול בדיקות קדם-הפעלה
אם התחלתם להריץ בדיקות לפני ההמראה ואתם רוצים לבטל אותן, מקישים פעמיים על CTRL + C. אם בדיקת ההכנה יצרה מכונה וירטואלית לבדיקה, ביטול אמור גם לנקות את המכונה הווירטואלית באופן אוטומטי.
הסרת משאבים של מכונת VM לצורך בדיקה
אם מכונה וירטואלית לבדיקה נשארה אחרי השלמת הבדיקות המקדימות, אפשר למחוק אותה מ-vCenter. למכונה וירטואלית לבדיקה יש שם כזה:
check-config-[dhcp|static]-[random number]
כדי למחוק את המכונה הווירטואלית:
לוחצים לחיצה ימנית על המכונה הווירטואלית ואז על הפעלה > כיבוי.
אחרי שהמכונה הווירטואלית כובתה, לוחצים עליה שוב לחיצה ימנית ואז על מחיקה מהדיסק.
דוגמה
דוגמה לפלט של הפקודה: בדוגמה הזו, ההגדרה שנבדקת משתמשת במצב משולב של איזון עומסים ובכתובות IP סטטיות ללא מאגר חיצוני של Docker:
- Validation Category: Config Check
- [SUCCESS] Config
- Validation Category: Internet Access
- [SUCCESS] Internet access to required domains
- Validation Category: GCP
- [SUCCESS] GCP Service
- [SUCCESS] GCP Service Account
- Validation Category: Docker Registry
- [SUCCESS] gcr.io/gke-on-prem-release access
- Validation Category: vCenter
- [SUCCESS] Credentials
- [SUCCESS] Version
- [SUCCESS] Datacenter
- [SUCCESS] Datastore
- [SUCCESS] Data Disk
- [SUCCESS] Resource Pool
- [SUCCESS] Network
- [SUCCESS] VSphere CSI Driver
- Validation Category: F5 BIG-IP
- [SUCCESS] Admin Cluster F5 (credentials, partition and user role)
- [SUCCESS] User Cluster F5 (credentials, partition and user role)
- Validation Category: Network Configuration
- [SUCCESS] CIDR, VIP and static IP (availability and overlapping)
- Validation Category: DNS
- [SUCCESS] DNS (availability)
- Validation Category: VIPs
- [SUCCESS] ping (availability)
- Validation Category: Node IPs
- [SUCCESS] ping (availability)
Now running slow validation checks. ...
Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with admin cluster configuration... DONE
Waiting to get IP addresses from test VMs... DONE
Waiting for test VMs to become ready... DONE
Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with user cluster configuration... DONE
Waiting to get IP addresses from test VMs... DONE
Waiting for test VMs to become ready... DONE
- Validation Category: F5 BIG-IP
- [SUCCESS] Admin Cluster VIP and NodeIP
- [SUCCESS] Admin Cluster F5 Access
- [SUCCESS] User Cluster VIP and NodeIP
- [SUCCESS] User Cluster F5 Access
- Validation Category: Internet Access
- [SUCCESS] Internet access to required domains
- Validation Category: vCenter on test VMs
- [SUCCESS] Test VM: VCenter Access and Permission
- Validation Category: DNS on test VMs
- [SUCCESS] Test VM: DNS Availability
- Validation Category: TOD on test VMs
- [SUCCESS] Test VM: TOD Availability
- Validation Category: Docker Registry
- [SUCCESS] gcr.io/gke-on-prem-release access
Deleting test VMs with admin cluster configuration... DONE
Deleting test VMs with user cluster configuration... DONE
בעיות מוכרות
בגרסה 1.3.0-gke.16:
אם שני התנאים הבאים מתקיימים, אתם צריכים להריץ בדיקות אימות מהירות,
gkectl check-config --fast, לבדיקות המקדימות:הגדרתם את Google Distributed Cloud לשימוש ב-proxy.
התקנתם אחת מהחבילות הבאות:
-
/var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgzbundle מדף ההורדות. /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgzהחבילה מתחנת העבודה של האדמין.
-
אפשר להריץ את כל תהליך האימות רק אם התקנתם את חבילת התכונות המלאה. לדוגמה:
/var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16-full.tgzלגרסה 1.2.0-gke.6:
אם אתם משתמשים במאגרי משאבים מקוננים או במאגר המשאבים שמוגדר כברירת מחדל, הפעולה
gkectl check-configנכשלת כשאתם מנסים לבצע סט מלא של אימותים. עם זאת, אפשר להעביר את הדגל--fastכדי לבצע קבוצה קטנה יותר של אימותים.gkectl check-config --config [CONFIG] --fast