במסמך הזה מפורטים תהליכים לפתרון בעיות ותיאורים של התראות מערכת מוגדרות מראש, שיעזרו לכם לזהות כשלים בפריסה ולפתור אירועים תפעוליים באמצעות רכיבי רישום ביומן ומעקב במכשיר Google Distributed Cloud (GDC) מנותק מהרשת. אתם יכולים להשתמש בהליכים ובהגדרות ההתראות האלה כדי לוודא שהמחסניות של הרישום ביומן והמעקב פועלות, לבדוק את ההגדרות של צינור עיבוד הנתונים ולפתור בעיות ברכיבים.
זיהוי רכיבי ניראות (Observability)
פלטפורמת הניטור פורסת את הרכיבים שלה במרחב השמות obs-system באשכול התשתית של הארגון.
מכונה של Grafana במפעיל התשתית (IO) מספקת גישה למדדים ברמת הארגון כדי לעקוב אחרי רכיבי תשתית כמו ניצול המעבד (CPU) וצריכת האחסון. הוא גם מספק גישה ליומני ביקורת וליומנים תפעוליים. בנוסף, הוא נותן גישה להתראות, ליומנים ולמדדים מהרכיבים שניתנים להפעלה ב-GDC.
מערכי הניטור והרישום ביומן של GDC משתמשים בפתרונות קוד פתוח כחלק מפלטפורמת הניראות. הרכיבים האלה אוספים יומנים ומדדים מפודים של Kubernetes, ממכונות Bare Metal, ממתגי רשת, מאחסון ומשירותים מנוהלים.
בטבלה הבאה מופיע תיאור של כל הרכיבים שמשולבים בפלטפורמת הניטור:
| רכיב | תיאור |
|---|---|
Prometheus |
Prometheus הוא מסד נתונים של סדרות עתיות לאיסוף ולאחסון של מדדים ולהערכת התראות. Prometheus מאחסן מדדים במכונה של Cortex באשכול התשתית של הארגון, לצורך אחסון לטווח ארוך. Prometheus מוסיף תוויות כצמדי מפתח/ערך ואוסף מדדים מצומתי Kubernetes, מ-pods, ממכונות bare metal, ממתגי רשת וממכשירי אחסון. |
Alertmanager |
Alertmanager היא מערכת ניהול שמוגדרת על ידי המשתמש ושולחת התראות כשהיומנים או המדדים מצביעים על כך שרכיבי המערכת נכשלים או לא פועלים כרגיל. הוא מנהל את הניתוב, ההשתקה והצבירה של ההתראות ב-Prometheus. |
Loki |
Loki הוא מסד נתונים של סדרות עתיות שמאחסן וצובר יומנים ממקורות שונים. הוא מוסיף יומנים לאינדקס כדי לאפשר שליחת שאילתות יעילה. |
Grafana |
Grafana מספקת ממשק משתמש (UI) לצפייה במדדים ש-Prometheus אוסף ולשליחת שאילתות ליומני הביקורת והתפעול מהמופעים התואמים של Loki. ממשק המשתמש מאפשר לכם להציג באופן חזותי לוחות בקרה של מדדים והתראות. |
Fluent Bit |
Fluent Bit הוא מעבד שמושך יומנים מרכיבים או ממיקומים שונים ושולח אותם ל-Loki. הוא פועל בכל צומת בכל האשכולות. |
זיהוי כשלים בפריסה
אם הפריסה פועלת ותקינה, הרכיבים פועלים במצב READY.
כדי לזהות כשלים בפריסה, פועלים לפי השלבים הבאים:
כדי לבדוק את המצב הנוכחי של רכיב:
kubectl get -n obs-system TYPE/COMPONENTמחליפים את מה שכתוב בשדות הבאים:
-
TYPE: סוג הרכיב -
COMPONENT: שם הרכיב
הפלט אמור להיראות כך:
NAME READY AGE COMPONENT 1/1 23hאם הרכיב תקין, בעמודה
READYשל הפלט יוצג הערךN/N. אם לא מופיע ערך בעמודהREADY, זה לא בהכרח מצביע על כשל. יכול להיות שייקח לשירות יותר זמן לעבד את הבקשה.-
בודקים את הפודים בכל רכיב:
kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'מחליפים את
COMPONENTבשם הרכיב.הפלט אמור להיראות כך:
NAME READY STATUS RESTARTS AGE COMPONENT 1/1 Running 0 23hמוודאים שבעמודה
READYמוצג הערךN/N, שבעמודהSTATUSמוצג הערךRunning, ושמספר ה-RESTARTSלא עולה על2.מספר גבוה של הפעלות מחדש מצביע על התסמינים הבאים:
- התרמילים נכשלים ו-Kubernetes מפעיל אותם מחדש.
- בעמודה
STATUSמוצג הערךCrashLoopBackoff.
כדי לפתור את הבעיה, צפו ביומנים של ה-pods.
אם pod נמצא במצב
PENDING, המצב הזה מצביע על אחד או יותר מהתסמינים הבאים:- ה-pod ממתין לגישה לרשת כדי להוריד את הקונטיינר הדרוש.
- בעיה בהגדרה מונעת את הפעלת ה-Pod. לדוגמה, חסר ערך
Secretשה-pod דורש. - באשכול Kubernetes נגמרו המשאבים לתזמון ה-pod. זה קורה אם הרבה אפליקציות פועלות באשכול.
איך מזהים את הגורם למצב
PENDING:kubectl describe -n obs-system pod/POD_NAMEמחליפים את
POD_NAMEבשם של ה-Pod שמוצג בו המצבPENDING.בפלט מוצגים פרטים נוספים על ה-Pod.
עוברים לקטע
Eventsבפלט כדי להציג טבלה עם האירועים האחרונים של ה-Pod וסיכום של הסיבה למצבPENDING.הפלט הבא מציג קטע
Eventsלדוגמה של אובייקטStatefulSetב-Grafana:Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 13s (x3 over 12d) statefulset-controller create Pod grafana-0 in StatefulSet grafana successfulאם אין אירועים ב-pod או במשאב אחר במשך זמן רב, הפלט הבא יתקבל:
Events: <none>
מוודאים ש-Observability logging stack פועל
כדי לוודא שהמחסנית של רישום ביומן פועלת, מבצעים את השלבים הבאים:
מוודאים שבכל המכונות או ה-Pods של Loki הוחדר ה-sidecar של Istio. מוודאים שבכל הפודים של Fluent Bit שנקראים
anthos-audit-logs-forwarder-SUFFIXו-anthos-log-forwarder-SUFFIXהוחדר ה-sidecar של Istio.מוודאים שכל המופעים של Loki פועלים ללא שגיאות באשכול התשתית של הארגון.
בודקים את הסטטוס של אובייקטים מסוג
anthos-audit-logs-forwarderו-anthos-log-forwarderDaemonSetכדי לוודא שכל המופעים פועלים בכל הצמתים ללא שגיאות.מוודאים שמתקבלים יומני הפעילות ממכולות
kube-apiserver-SUFFIXויומני הביקורת משרת ה-API של Kubernetes בחמש הדקות האחרונות בכל האשכולות. כדי לעשות את זה, מריצים את השאילתות הבאות במופע של Grafana:- יומני פעולות:
sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod) - יומני ביקורת:
sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)
אתם צריכים לקבל ערכים שאינם אפס לכל הצמתים של מישור הבקרה באשכול התשתית של הארגון.
- יומני פעולות:
איך בודקים שחבילת הכלים למעקב אחרי ניראות פועלת
כדי לוודא שה-monitoring stack פועל, מבצעים את השלבים הבאים:
מוודאים שהמכונות של Grafana פועלות באשכול התשתית של הארגון. הפודים של
grafana-0צריכים לפעול ללא שגיאות במרחבי השמות הבאים:obs-systeminfra-obs-obs-systemplatform-obs-obs-system
מוודאים שכל רכיבי המעקב נמצאים ב-Istio Service Mesh. מבצעים את השלבים שבקטע זיהוי כשלים בפריסה. בכל אחד מה-pods הבאים, כל הקונטיינרים צריכים להיות מוכנים בעמודה
READY. לדוגמה, הערך3/3מציין ששלושה קונטיינרים מתוך שלושה מוכנים. בנוסף, לפודים חייב להיות קונטיינרistio-proxy. אם הפודים לא עומדים בתנאים האלה, צריך להפעיל מחדש את הפוד:שם ה-Pod מספר הקונטיינרים שמוכנים cortex-2/2cortex-etcd-02/2cortex-proxy-server-2/2cortex-tenant-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-2/2meta-prometheus-04/4cortex-alertmanager-2/2cortex-compactor-2/2cortex-distributor-2/2cortex-etcd-02/2cortex-ingester-2/2cortex-querier-2/2cortex-query-frontend-2/2cortex-query-scheduler-2/2cortex-ruler-2/2cortex-store-gateway-2/2cortex-tenant-2/2grafana-proxy-server-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-*2/2meta-prometheus-04/4מוודאים ש-Cortex פועל ללא שגיאות.
אחזור יומני ניראות
בטבלה הבאה מפורטות הפקודות שצריך להריץ כדי לאחזר את היומנים של כל אחד מהרכיבים שפלטפורמת הניטור פורסת.
| רכיב | פקודה לאחזור יומנים |
|---|---|
grafana |
kubectl logs -n obs-system statefulset/grafana |
anthos-prometheus-k8s |
kubectl logs -n obs-system statefulset/anthos-prometheus-k8s |
alertmanager |
kubectl logs -n obs-system statefulset/alertmanager |
ops-logs-loki-io |
kubectl logs -n obs-system statefulset/ops-logs-loki-io |
ops-logs-loki-io-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-io-read |
ops-logs-loki-all |
kubectl logs -n obs-system statefulset/ops-logs-loki-all |
ops-logs-loki-all-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-all-read |
audit-logs-loki-io |
kubectl logs -n obs-system statefulset/audit-logs-loki-io |
audit-logs-loki-io-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-io-read |
audit-logs-loki-pa |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa |
audit-logs-loki-pa-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read |
audit-logs-loki-all |
kubectl logs -n obs-system statefulset/audit-logs-loki-all |
audit-logs-loki-all-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-all-read |
anthos-log-forwarder |
kubectl logs -n obs-system daemonset/anthos-log-forwarder |
anthos-audit-logs-forwarder |
kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder |
oplogs-forwarder |
kubectl logs -n obs-system daemonset/oplogs-forwarder |
logmon-operator |
kubectl logs -n obs-system deployment/logmon-operator |
כדי להציג את היומנים של המופע הקודם של הרכיב, מוסיפים את הדגל -p בסוף כל פקודה. הוספת הדגל -p מאפשרת לבדוק את היומנים של מכונה קודמת שנכשלה, במקום את המכונה שפועלת כרגע.
צפייה בהגדרה
חבילת הכלים של Observability משתמשת במשאבים מותאמים אישית של Kubernetes API כדי להגדיר צינורות עיבוד נתונים של מעקב ורישום ביומן.
המשאב המותאם אישית LoggingPipeline נפרס באשכול התשתית של הארגון ומגדיר מכונות של Loki.
הפקודות הבאות מציגות את הפעולות שאפשר לבצע בצינור עיבוד הנתונים של הרישום ביומן:
כדי להציג את ההגדרות הנוכחיות של פריסת צינור עיבוד הנתונים של הרישום ביומן:
kubectl get loggingpipeline -n obs-system default -o yamlמשנים את ההגדרות של פריסת צינור עיבוד הנתונים של הרישום ביומן:
kubectl edit loggingpipeline -n obs-system default
ב-GDC נעשה שימוש באופרטור רישום ביומן ומעקב בשם logmon-operator כדי לנהל את הפריסה של רכיבי יכולת תצפית כמו Prometheus ו-Fluent Bit. ה-API לרכיב logmon-operator הוא הגדרת המשאב בהתאמה אישית logmon. הגדרת המשאב בהתאמה אישית logmon מנחה את logmon-operator איך להגדיר את יכולת התצפית בפריסה. ההגדרה הזו של המשאב המותאם אישית כוללת את המאפיינים של אמצעי האחסון שבהם נשמרים המדדים, כללי ההתראות של Alertmanager, הגדרות של Prometheus לאיסוף מדדים והגדרות של Grafana למרכזי בקרה.
הפקודות הבאות מציגות את הפעולות הזמינות שאפשר לבצע בהגדרת המשאב בהתאמה אישית logmon:
כדי להציג את ההגדרות הנוכחיות של פריסת הניטור:
kubectl get logmon -n obs-system logmon-default -o yamlמשנים את ההגדרות של פריסת ה-Observability:
kubectl edit logmon -n obs-system logmon-default
הפלט מהרצת כל אחת מהפקודות עשוי להפנות לכמה אובייקטים של Kubernetes ConfigMap להגדרה נוספת. לדוגמה, אפשר להגדיר כללים של Alertmanager באובייקט ConfigMap נפרד, שמוזכר בשם בהגדרה של המשאב המותאם אישית logmon. אפשר לשנות ולראות את ההגדרות של Alertmanager באמצעות הגדרת המשאב בהתאמה אישית של logmon שנקראת gpc-alertmanager-config.
כדי לראות את ההגדרות של Alertmanager, מריצים את הפקודה:
kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml
בעיות נפוצות
בקטע הזה מפורטות בעיות נפוצות שאתם עשויים להיתקל בהן כשאתם פורסים את פלטפורמת הניטור.
אין לך גישה ל-Grafana
כברירת מחדל, Grafana לא חשוף למכונות מחוץ לאשכול Kubernetes. כדי לגשת באופן זמני לממשק של Grafana מחוץ לאשכול התשתית של הארגון, אפשר להעביר את Service ליציאה אחרת ב-localhost. כדי להעביר את Service ליציאה אחרת, מריצים את הפקודה:
kubectl port-forward -n gpc-system service/grafana 33000\:3000
בדפדפן האינטרנט, עוברים אל http://localhost:33000 כדי להציג את לוח הבקרה של Grafana לפריסה. כדי לסיים את התהליך, לוחצים על המקשים Control+C.
Grafana פועלת לאט
אם Grafana פועל לאט, זה יכול להצביע על הדברים הבאים:
- שאילתות ל-Prometheus או ל-Loki מחזירות יותר מדי נתונים.
- השאילתות מחזירות יותר נתונים ממה שאפשר להציג בתרשים אחד.
כדי לפתור בעיות של מהירות איטית ב-Grafana, בודקים את השאילתות בלוחות הבקרה בהתאמה אישית ב-Grafana. אם השאילתות מחזירות יותר נתונים ממה שסביר להציג בתרשים אחד, כדאי לצמצם את כמות הנתונים שמוצגים כדי לשפר את הביצועים של מרכז הבקרה.
בלוח הבקרה של Grafana לא מוצגים מדדים או יומנים
אם לא מוצגים מדדים או יומנים ב-Grafana, יכולות להיות לכך כמה סיבות:
- מקורות הנתונים של Grafana לא מוגדרים כמו שצריך.
- למערכת יש בעיות קישוריות למקורות נתונים של מעקב או של רישום ביומן.
- המערכת לא אוספת מדדים או יומנים.
כדי לראות את היומנים והמדדים:
- בממשק המשתמש של Grafana, לוחצים על Dashboard settings.
- לוחצים על מקורות נתונים.
- בדף מקורות נתונים, מוודאים שמופיעים המקורות הבאים:
| שם | ארגון | כתובת URL |
|---|---|---|
Audit Logs |
All |
http://audit-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Root |
http://ops-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Org |
http://ops-logs-loki-all-read.obs-system.svc:3100 |
prometheus |
http://anthos-prometheus-k8s.obs-system.svc:9090 |
אם מקורות הנתונים האלה חסרים, סימן שהמערכת של Observability לא הצליחה להגדיר את Grafana כמו שצריך.
אם הגדרתם את מקורות הנתונים בצורה נכונה אבל לא מוצגים נתונים, יכול להיות שיש בעיה באובייקטים של Service שאוספים מדדים או יומנים כדי להזין אותם ב-Prometheus או ב-Loki.
כדי לאסוף מדדים, Prometheus משתמש במודל משיכה (pull) כדי לשלוח שאילתות לאובייקטים של Service באופן תקופתי, ולאחסן את הערכים שנמצאו. כדי ש-Prometheus יגלה את אובייקטי Service לאיסוף מדדים, התנאים הבאים צריכים להתקיים:
כל ה-pods של אובייקטים מסוג
Serviceמסומנים בהערה'monitoring.gke.io/scrape: "true"'.פורמט המדדים של Prometheus חושף את מדדי ה-Pod דרך HTTP. כברירת מחדל, Prometheus מחפש את המדדים האלה בנקודת הקצה
http://POD_NAME:80/metrics. במקרה הצורך, אפשר לשנות את היציאה, נקודת הקצה והסכימה באמצעות הערות.
Fluent Bit אוסף יומנים ומיועד לפעול בכל צומת באשכולות של Kubernetes. Fluent Bit שולח את היומנים ל-Loki לאחסון לטווח ארוך.
אם לא מופיעים יומנים ב-Grafana, נסו את הפתרונות הבאים:
בודקים את היומנים של המכונות של Loki כדי לוודא שהן פועלות בלי שגיאות.
אם המכונות של Loki פועלות כמו שצריך אבל היומנים לא מופיעים, בודקים את היומנים ב-Fluent Bit כדי לוודא שהשירות פועל כצפוי. כדי לראות איך שולפים יומנים, קראו את המאמר אחזור יומני ניראות.
Alertmanager לא פותח התראות
אם Alertmanager לא פותח התראות, נסו את הפתרונות הבאים:
- באובייקט
configMapבמרחב השמותgpc-system, מוודאים שהתוויתlogmon: system_metricsקיימת. - מוודאים שבקטע הנתונים
configMapיש מפתח בשםalertmanager.yml. הערך של המפתחalertmanager.ymlצריך להיות כללי ההתראות שכלולים בקובץ התצורה התקין של Alertmanager. מוודאים שהגדרת המשאב בהתאמה אישית
logmonבשםlogmon-defaultבמרחב השמותgpc-systemמכילה הפניה לאובייקטconfigMap. הגדרת המשאב בהתאמה אישית שלlogmon-defaultחייבת להכיל את השם של האובייקטconfigMap, כמו בדוגמה הבאה:apiVersion: addons.gke.io/v1 kind: Logmon spec: system_metrics: outputs: default_prometheus: deployment: components: alertmanager: alertmanagerConfigurationConfigmaps: - alerts-configהערך
alerts-configבדוגמה הוא השם של האובייקטconfigMap.
Alertmanager לא שולח התראות לערוצי ההתראות שהוגדרו
שגיאה בהגדרות עלולה למנוע מכם לקבל התראות בתוכנה החיצונית שהגדרתם כערוץ התראות, כמו Slack, גם אם Alertmanager יוצר התראות במכונה של Grafana.
כדי לקבל התראות בתוכנה החיצונית, פועלים לפי השלבים הבאים:
מוודאים שהערכים בקובץ התצורה של Alertmanager בפורמט הנכון. כש-Alertmanager מפעיל התראה, הוא שולח שאילתה ל-webhook בתוכנה החיצונית.
מוודאים שכתובות ה-URL של ה-webhook שמקשרות לתוכנה החיצונית נכונות. אם כתובות ה-URL נכונות, צריך לוודא שהתוכנה מוגדרת לקבל תגובות לפעולה מאתר אחר (webhook). יכול להיות שתצטרכו ליצור מפתח API כדי לגשת ל-API של השירות החיצוני, או שמפתח ה-API הנוכחי שלכם פג תוקף ואתם צריכים לרענן אותו.
אם השירות החיצוני נמצא מחוץ לפריסת המכשיר של GDC עם air gap, ודאו שכללי היציאה מוגדרים באשכול התשתית של הארגון. ההגדרה הזו מאפשרת ל-Alertmanager לשלוח בקשות לשירות מחוץ לרשת הפנימית של Kubernetes. אם לא תאמתו את כללי התעבורה היוצאת, יכול להיות ש-Alertmanager לא יצליח למצוא את התוכנה החיצונית.
אתם לא יכולים לראות מדדים מעומס העבודה ברמת הפרויקט
כדי להחיל פתרון עקיף ולקבל מדדים מעומס העבודה, פועלים לפי השלבים הבאים:
- מוודאים שהמשאב המותאם אישית
MonitoringTargetנמצא בסטטוסReady. - כדי לגרד את עומס העבודה, צריך להצהיר על כל פרטי היעד שצוינו ל-
MonitoringTargetבמפרט ה-Pod של עומסי העבודה. לדוגמה, אם אתם מצהירים שהמדדים זמינים ביציאה8080, ה-Pod של עומס העבודה צריך להצהיר ל-Kubernetes שהיציאה8080פתוחה. אחרת, Prometheus מתעלם מעומס העבודה. - Prometheus מריץ כמה פיצולים, ולכן לא כל הפודים של Prometheus אמורים לגרד את הפוד שלכם. אפשר לזהות את מספר ה-shard בשם של כל pod של Prometheus. לדוגמה,
primary-prometheus-shard0-replica0-0הוא חלק מהמאגר0. בודקים את ה-Pod שרוצים לגרד מכל מקטע של Prometheus:- מעבירים ליציאה אחרת את ה-pod של
primary-prometheus-shardSHARD_NUMBER-replica0-0ב-Prometheus במרחב השמותobs-systemכדי לקבל גישה לממשק המשתמש של Prometheus. מחליפים אתSHARD_NUMBERבשם ה-pod במספרים עולים בכל פעם שבודקים שאילתה חדשה. - עוברים לממשק המשתמש של Prometheus בדפדפן האינטרנט ופועלים לפי השלבים הבאים:
- לוחצים על סטטוס > יעדים.
- מוודאים שה-pod שרוצים לגרד נמצא ברשימה. אם לא, בודקים את המקטע הבא. אם אין עוד שאריות לבדיקה, צריך לוודא של-Prometheus יש מספיק מידע כדי לגלות אותן.
- מוודאים שה-pod של
primary-prometheus-shardSHARD_NUMBER-replica0-0ב-Prometheus מתעד שגיאות במרחב השמותobs-system.
- מעבירים ליציאה אחרת את ה-pod של
- בודקים את השגיאות ביומני ה-pod של
cortex-tenantבמרחב השמותobs-system.
לא נוצר מרכז בקרה
כדי להחיל פתרון עקיף ולגלות למה לא נוצר מרכז בקרה, פועלים לפי השלבים הבאים:
- בודקים את הסטטוס של המשאב המותאם אישית
Dashboardכדי לחפש שגיאות. המשאב בהתאמה אישית חייב להיות בסטטוסReady. - חשוב לוודא שאתם בודקים את המכונה הנכונה של Grafana. לדוגמה, אם פרסתם את לוח הבקרה במרחב השמות של הפרויקט שנקרא
my-namespace, לוח הבקרה צריך להיות במכונה של Grafana בנקודת הקצהhttps://GDCH_URL/my-namespace/grafana. - בודקים את היומנים של
fleet-admin-controllerבמרחב השמותgpc-system. כדי לחפש שגיאות שקשורות למרכז הבקרה, מחפשים את השם של מרכז הבקרה ביומנים. אם מופיעות שגיאות, סימן שקובץ ה-JSON באובייקטconfigMapלא בפורמט הנכון וצריך לתקן אותו. - בודקים את יומני Grafana במרחב השמות
PROJECT_NAME-obs-systemכדי לחפש שגיאות. מרכזי הבקרה שולחים שאילתות ל-API בארכיטקטורת REST של Grafana, ולכן Grafana צריך לפעול כדי ליצור מרכז בקרה.
ההתראה לא נפתחת
כדי לפתור את הבעיה ולגלות למה ההתראה לא נפתחת, פועלים לפי השלבים הבאים:
- מוודאים שגם Cortex וגם Loki נמצאים במצב bucket-storage. הכללים לא פועלים אלא אם הבק-אנד מגובה באחסון בקט.
- מוודאים שהסטטוס של המשאבים המותאמים אישית
MonitoringRuleו-LoggingRuleהואReady. - בודקים את התנאים הבאים להתראות:
- ביטויי PromQL ו-LogQL: השוו את כל הפונקציות שבהן אתם משתמשים למסמכי התיעוד בנושא יצירת כללי התראה כדי לוודא שהכללים מוגדרים כמו שאתם רוצים. חשוב לוודא שהביטויים מחזירים ערך
trueאוfalse. - משך הזמן: השדה
forשל המשאב בהתאמה אישית מגדיר כמה זמן התנאי צריך להתקיים. השדהintervalמגדיר את התדירות שבה התנאי נבדק. צריך לבדוק את הערכים של השדות האלה אחד מול השני ולוודא שהתנאים הגיוניים.
- ביטויי PromQL ו-LogQL: השוו את כל הפונקציות שבהן אתם משתמשים למסמכי התיעוד בנושא יצירת כללי התראה כדי לוודא שהכללים מוגדרים כמו שאתם רוצים. חשוב לוודא שהביטויים מחזירים ערך
- בדף Alerts בממשק המשתמש של Grafana, בודקים אם ההתראה פתוחה.
- אם ב-Grafana מוצג שההתראה פתוחה, בודקים את ערוצי ההתראות ומוודאים ש-Alertmanager יכול ליצור איתם קשר כדי להפיק את ההתראה.
היומנים הצפויים לא זמינים
אם לא מופיעים יומני פעילות מהרכיב, בצעו את הפעולות הבאות:
- בודקים אם הרכיב פועל ומפיק יומנים.
- בודקים אם יומני הרכיבים צריכים להיאסף כפונקציונליות מובנית. אם לא, צריך לוודא שהמשאב המותאם אישית
LoggingTargetנפרס עם מפרט תקין ובסטטוסReady.
אם יומני הביקורת מהרכיב שלכם לא מופיעים, בצעו את השלבים הבאים:
- אם הרכיב כותב יומנים לקובץ, צריך לוודא שהקובץ באמת קיים במערכת הקבצים של הצומת בנתיב
/var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.log. - מוודאים שאין שגיאות ב-Pod של
anthos-audit-logs-forwarder-SUFFIXבאותו צומת. - אם הרכיב משתמש בנקודת קצה של syslog כדי לקבל יומנים, ודאו שפרסתם את המשאב בהתאמה אישית
AuditLoggingTargetעם מפרט תקין ובסטטוסReady.
זיהוי כללי התראות מוגדרים מראש
בקטע הזה מוסבר על כללי ההתראות המוגדרים מראש שקיימים ברכיבי הניטור, כדי להודיע לכם על כשלים במערכת.
כללי התראות מוגדרים מראש ב-Loki
בטבלה הבאה מפורטים כללי ההתראות שמותקנים מראש ב-Loki, למקרים של כשלים ברישום ביומן הביקורת:
| שם | סוג | תיאור |
|---|---|---|
FluentBitAuditLoggingWriteFailure |
קריטית | Fluent Bit לא הצליח להעביר את יומני הביקורת בחמש הדקות האחרונות. |
LokiAuditLoggingWriteFailure |
קריטית | Loki לא הצליח לכתוב יומני ביקורת באחסון לקצה העורפי. |
אם מוצגת אחת או יותר מההתראות האלה, המערכת איבדה לפחות רשומת ביקורת אחת.
כללי התראות מוגדרים מראש ב-Prometheus
בטבלה הבאה מפורטים כללי ההתראות שמותקנים מראש ב-Prometheus לרכיבי Kubernetes:
| שם | סוג | תיאור |
|---|---|---|
KubeAPIDown |
קריטית | Kube API נעלם מ-Prometheus target discovery למשך 15 דקות. |
KubeClientErrors |
אזהרה | יחס השגיאות מהלקוח של שרת ה-API של Kubernetes היה גדול מ-0.01 במשך 15 דקות. |
KubeClientErrors |
קריטית | יחס השגיאות מהלקוח של שרת ה-API של Kubernetes היה גדול מ-0.1 במשך 15 דקות. |
KubePodCrashLooping |
אזהרה | ה-Pod נמצא במצב של לולאת קריסה במשך יותר מ-15 דקות. |
KubePodNotReady |
אזהרה | ה-Pod לא מוכן כבר יותר מ-15 דקות. |
KubePersistentVolumeFillingUp |
קריטית | הבייטים הפנויים של אובייקט PersistentVolume שנתבע הם פחות מ-0.03. |
KubePersistentVolumeFillingUp |
אזהרה | הבייטים הפנויים של אובייקט PersistentVolume שנתבע קטנים מ-0.15. |
KubePersistentVolumeErrors |
קריטית | אחסון הנתונים הקבוע נמצא בשלב Failed או Pending במשך חמש דקות. |
KubeNodeNotReady |
אזהרה | הצומת לא מוכן כבר יותר מ-15 דקות. |
KubeNodeCPUUsageHigh |
קריטית | השימוש במעבד (CPU) של הצומת גדול מ-80%. |
KubeNodeMemoryUsageHigh |
קריטית | השימוש בזיכרון של הצומת גדול מ-80%. |
NodeFilesystemSpaceFillingUp |
אזהרה | השימוש במערכת הקבצים של הצומת גדול מ-60%. |
NodeFilesystemSpaceFillingUp |
קריטית | השימוש במערכת הקבצים של הצומת גדול מ-85%. |
CertManagerCertExpirySoon |
אזהרה | תוקף האישור יפוג בעוד 21 ימים. |
CertManagerCertNotReady |
קריטית | האישור לא מוכן להצגת תנועה אחרי 10 דקות. |
CertManagerHittingRateLimits |
קריטית | הגעתם למגבלת הקצב של יצירת בקשות כשניסיתם ליצור או לחדש אישורים במשך חמש דקות. |
DeploymentNotReady |
קריטית | פריסה באשכול התשתית של הארגון נמצאת במצב "לא מוכן" במשך יותר מ-15 דקות. |
StatefulSetNotReady |
קריטית | אובייקט StatefulSet באשכול התשתית של הארגון נמצא במצב "לא מוכן" במשך יותר מ-15 דקות. |
AuditLogsForwarderDown |
קריטית | ה-DaemonSet של anthos-audit-logs-forwarder מושבת כבר יותר מ-15 דקות. |
AuditLogsLokiDown |
קריטית | ה-StatefulSet audit-logs-loki נמצא במצב "לא מוכן" במשך יותר מ-15 דקות. |