פתרון בעיות שקשורות לניראות

במסמך הזה מפורטים תהליכים לפתרון בעיות ותיאורים של התראות מערכת מוגדרות מראש, שיעזרו לכם לזהות כשלים בפריסה ולפתור אירועים תפעוליים באמצעות רכיבי רישום ביומן ומעקב במכשיר Google Distributed Cloud (GDC) מנותק מהרשת. אתם יכולים להשתמש בהליכים ובהגדרות ההתראות האלה כדי לוודא שהמחסניות של הרישום ביומן והמעקב פועלות, לבדוק את ההגדרות של צינור עיבוד הנתונים ולפתור בעיות ברכיבים.

זיהוי רכיבי ניראות (Observability)

פלטפורמת הניטור פורסת את הרכיבים שלה במרחב השמות obs-system באשכול התשתית של הארגון.

מכונה של Grafana במפעיל התשתית (IO) מספקת גישה למדדים ברמת הארגון כדי לעקוב אחרי רכיבי תשתית כמו ניצול המעבד (CPU) וצריכת האחסון. הוא גם מספק גישה ליומני ביקורת וליומנים תפעוליים. בנוסף, הוא נותן גישה להתראות, ליומנים ולמדדים מהרכיבים שניתנים להפעלה ב-GDC.

מערכי הניטור והרישום ביומן של GDC משתמשים בפתרונות קוד פתוח כחלק מפלטפורמת הניראות. הרכיבים האלה אוספים יומנים ומדדים מפודים של Kubernetes, ממכונות Bare Metal, ממתגי רשת, מאחסון ומשירותים מנוהלים.

בטבלה הבאה מופיע תיאור של כל הרכיבים שמשולבים בפלטפורמת הניטור:

רכיב תיאור
Prometheus ‫Prometheus הוא מסד נתונים של סדרות עתיות לאיסוף ולאחסון של מדדים ולהערכת התראות. ‫Prometheus מאחסן מדדים במכונה של Cortex באשכול התשתית של הארגון, לצורך אחסון לטווח ארוך. ‫Prometheus מוסיף תוויות כצמדי מפתח/ערך ואוסף מדדים מצומתי Kubernetes, מ-pods, ממכונות bare metal, ממתגי רשת וממכשירי אחסון.
Alertmanager ‫Alertmanager היא מערכת ניהול שמוגדרת על ידי המשתמש ושולחת התראות כשהיומנים או המדדים מצביעים על כך שרכיבי המערכת נכשלים או לא פועלים כרגיל. הוא מנהל את הניתוב, ההשתקה והצבירה של ההתראות ב-Prometheus.
Loki ‫Loki הוא מסד נתונים של סדרות עתיות שמאחסן וצובר יומנים ממקורות שונים. הוא מוסיף יומנים לאינדקס כדי לאפשר שליחת שאילתות יעילה.
Grafana ‫Grafana מספקת ממשק משתמש (UI) לצפייה במדדים ש-Prometheus אוסף ולשליחת שאילתות ליומני הביקורת והתפעול מהמופעים התואמים של Loki. ממשק המשתמש מאפשר לכם להציג באופן חזותי לוחות בקרה של מדדים והתראות.
Fluent Bit ‫Fluent Bit הוא מעבד שמושך יומנים מרכיבים או ממיקומים שונים ושולח אותם ל-Loki. הוא פועל בכל צומת בכל האשכולות.

זיהוי כשלים בפריסה

אם הפריסה פועלת ותקינה, הרכיבים פועלים במצב READY.

כדי לזהות כשלים בפריסה, פועלים לפי השלבים הבאים:

  1. כדי לבדוק את המצב הנוכחי של רכיב:

    kubectl get -n obs-system TYPE/COMPONENT
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫TYPE: סוג הרכיב
    • ‫COMPONENT: שם הרכיב

    הפלט אמור להיראות כך:

    NAME       READY  AGE
    COMPONENT  1/1    23h
    

    אם הרכיב תקין, בעמודה READY של הפלט יוצג הערך N/N. אם לא מופיע ערך בעמודה READY, זה לא בהכרח מצביע על כשל. יכול להיות שייקח לשירות יותר זמן לעבד את הבקשה.

  2. בודקים את הפודים בכל רכיב:

    kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'
    

    מחליפים את COMPONENT בשם הרכיב.

    הפלט אמור להיראות כך:

    NAME       READY  STATUS   RESTARTS  AGE
    COMPONENT  1/1    Running  0         23h
    

    מוודאים שבעמודה READY מוצג הערך N/N, שבעמודה STATUS מוצג הערך Running, ושמספר ה-RESTARTS לא עולה על 2.

    מספר גבוה של הפעלות מחדש מצביע על התסמינים הבאים:

    • התרמילים נכשלים ו-Kubernetes מפעיל אותם מחדש.
    • בעמודה STATUS מוצג הערך CrashLoopBackoff.

    כדי לפתור את הבעיה, צפו ביומנים של ה-pods.

    אם pod נמצא במצב PENDING, המצב הזה מצביע על אחד או יותר מהתסמינים הבאים:

    • ה-pod ממתין לגישה לרשת כדי להוריד את הקונטיינר הדרוש.
    • בעיה בהגדרה מונעת את הפעלת ה-Pod. לדוגמה, חסר ערך Secret שה-pod דורש.
    • באשכול Kubernetes נגמרו המשאבים לתזמון ה-pod. זה קורה אם הרבה אפליקציות פועלות באשכול.
  3. איך מזהים את הגורם למצב PENDING:

    kubectl describe -n obs-system pod/POD_NAME
    

    מחליפים את POD_NAME בשם של ה-Pod שמוצג בו המצב PENDING.

    בפלט מוצגים פרטים נוספים על ה-Pod.

  4. עוברים לקטע Events בפלט כדי להציג טבלה עם האירועים האחרונים של ה-Pod וסיכום של הסיבה למצב PENDING.

    הפלט הבא מציג קטע Events לדוגמה של אובייקט StatefulSet ב-Grafana:

    Events:
      Type    Reason            Age                From                    Message
      ----    ------            ----               ----                    -------
      Normal  SuccessfulCreate  13s (x3 over 12d)  statefulset-controller  create Pod grafana-0 in StatefulSet grafana successful
    

    אם אין אירועים ב-pod או במשאב אחר במשך זמן רב, הפלט הבא יתקבל:

      Events:         <none>
    

מוודאים ש-Observability logging stack פועל

כדי לוודא שהמחסנית של רישום ביומן פועלת, מבצעים את השלבים הבאים:

  1. מוודאים שבכל המכונות או ה-Pods של Loki הוחדר ה-sidecar של Istio. מוודאים שבכל הפודים של Fluent Bit שנקראים anthos-audit-logs-forwarder-SUFFIX ו-anthos-log-forwarder-SUFFIX הוחדר ה-sidecar של Istio.

  2. מוודאים שכל המופעים של Loki פועלים ללא שגיאות באשכול התשתית של הארגון.

  3. בודקים את הסטטוס של אובייקטים מסוג anthos-audit-logs-forwarder ו-anthos-log-forwarder DaemonSet כדי לוודא שכל המופעים פועלים בכל הצמתים ללא שגיאות.

  4. מוודאים שמתקבלים יומני הפעילות ממכולות kube-apiserver-SUFFIX ויומני הביקורת משרת ה-API של Kubernetes בחמש הדקות האחרונות בכל האשכולות. כדי לעשות את זה, מריצים את השאילתות הבאות במופע של Grafana:

    • יומני פעולות: sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod)
    • יומני ביקורת: sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)

    אתם צריכים לקבל ערכים שאינם אפס לכל הצמתים של מישור הבקרה באשכול התשתית של הארגון.

איך בודקים שחבילת הכלים למעקב אחרי ניראות פועלת

כדי לוודא שה-monitoring stack פועל, מבצעים את השלבים הבאים:

  1. מוודאים שהמכונות של Grafana פועלות באשכול התשתית של הארגון. הפודים של grafana-0 צריכים לפעול ללא שגיאות במרחבי השמות הבאים:

    • obs-system
    • infra-obs-obs-system
    • platform-obs-obs-system
  2. מוודאים שכל רכיבי המעקב נמצאים ב-Istio Service Mesh. מבצעים את השלבים שבקטע זיהוי כשלים בפריסה. בכל אחד מה-pods הבאים, כל הקונטיינרים צריכים להיות מוכנים בעמודה READY. לדוגמה, הערך 3/3 מציין ששלושה קונטיינרים מתוך שלושה מוכנים. בנוסף, לפודים חייב להיות קונטיינר istio-proxy. אם הפודים לא עומדים בתנאים האלה, צריך להפעיל מחדש את הפוד:

    שם ה-Pod מספר הקונטיינרים שמוכנים
    cortex- 2/2
    cortex-etcd-0 2/2
    cortex-proxy-server- 2/2
    cortex-tenant- 2/2
    meta-blackbox-exporter- 2/2
    meta-grafana-0 3/3
    meta-grafana-proxy-server- 2/2
    meta-prometheus-0 4/4
    cortex-alertmanager- 2/2
    cortex-compactor- 2/2
    cortex-distributor- 2/2
    cortex-etcd-0 2/2
    cortex-ingester- 2/2
    cortex-querier- 2/2
    cortex-query-frontend- 2/2
    cortex-query-scheduler- 2/2
    cortex-ruler- 2/2
    cortex-store-gateway- 2/2
    cortex-tenant- 2/2
    grafana-proxy-server- 2/2
    meta-blackbox-exporter- 2/2
    meta-grafana-0 3/3
    meta-grafana-proxy-server-* 2/2
    meta-prometheus-0 4/4

  3. מוודאים ש-Cortex פועל ללא שגיאות.

אחזור יומני ניראות

בטבלה הבאה מפורטות הפקודות שצריך להריץ כדי לאחזר את היומנים של כל אחד מהרכיבים שפלטפורמת הניטור פורסת.

רכיב פקודה לאחזור יומנים
grafana kubectl logs -n obs-system statefulset/grafana
anthos-prometheus-k8s kubectl logs -n obs-system statefulset/anthos-prometheus-k8s
alertmanager kubectl logs -n obs-system statefulset/alertmanager
ops-logs-loki-io kubectl logs -n obs-system statefulset/ops-logs-loki-io
ops-logs-loki-io-read kubectl logs -n obs-system statefulset/ops-logs-loki-io-read
ops-logs-loki-all kubectl logs -n obs-system statefulset/ops-logs-loki-all
ops-logs-loki-all-read kubectl logs -n obs-system statefulset/ops-logs-loki-all-read
audit-logs-loki-io kubectl logs -n obs-system statefulset/audit-logs-loki-io
audit-logs-loki-io-read kubectl logs -n obs-system statefulset/audit-logs-loki-io-read
audit-logs-loki-pa kubectl logs -n obs-system statefulset/audit-logs-loki-pa
audit-logs-loki-pa-read kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read
audit-logs-loki-all kubectl logs -n obs-system statefulset/audit-logs-loki-all
audit-logs-loki-all-read kubectl logs -n obs-system statefulset/audit-logs-loki-all-read
anthos-log-forwarder kubectl logs -n obs-system daemonset/anthos-log-forwarder
anthos-audit-logs-forwarder kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder
oplogs-forwarder kubectl logs -n obs-system daemonset/oplogs-forwarder
logmon-operator kubectl logs -n obs-system deployment/logmon-operator

כדי להציג את היומנים של המופע הקודם של הרכיב, מוסיפים את הדגל -p בסוף כל פקודה. הוספת הדגל -p מאפשרת לבדוק את היומנים של מכונה קודמת שנכשלה, במקום את המכונה שפועלת כרגע.

צפייה בהגדרה

חבילת הכלים של Observability משתמשת במשאבים מותאמים אישית של Kubernetes API כדי להגדיר צינורות עיבוד נתונים של מעקב ורישום ביומן.

המשאב המותאם אישית LoggingPipeline נפרס באשכול התשתית של הארגון ומגדיר מכונות של Loki.

הפקודות הבאות מציגות את הפעולות שאפשר לבצע בצינור עיבוד הנתונים של הרישום ביומן:

  • כדי להציג את ההגדרות הנוכחיות של פריסת צינור עיבוד הנתונים של הרישום ביומן:

    kubectl get loggingpipeline -n obs-system default -o yaml
    
  • משנים את ההגדרות של פריסת צינור עיבוד הנתונים של הרישום ביומן:

    kubectl edit loggingpipeline -n obs-system default
    

ב-GDC נעשה שימוש באופרטור רישום ביומן ומעקב בשם logmon-operator כדי לנהל את הפריסה של רכיבי יכולת תצפית כמו Prometheus ו-Fluent Bit. ה-API לרכיב logmon-operator הוא הגדרת המשאב בהתאמה אישית logmon. הגדרת המשאב בהתאמה אישית logmon מנחה את logmon-operator איך להגדיר את יכולת התצפית בפריסה. ההגדרה הזו של המשאב המותאם אישית כוללת את המאפיינים של אמצעי האחסון שבהם נשמרים המדדים, כללי ההתראות של Alertmanager, הגדרות של Prometheus לאיסוף מדדים והגדרות של Grafana למרכזי בקרה.

הפקודות הבאות מציגות את הפעולות הזמינות שאפשר לבצע בהגדרת המשאב בהתאמה אישית logmon:

  • כדי להציג את ההגדרות הנוכחיות של פריסת הניטור:

    kubectl get logmon -n obs-system logmon-default -o yaml
    
  • משנים את ההגדרות של פריסת ה-Observability:

    kubectl edit logmon -n obs-system logmon-default
    

הפלט מהרצת כל אחת מהפקודות עשוי להפנות לכמה אובייקטים של Kubernetes ConfigMap להגדרה נוספת. לדוגמה, אפשר להגדיר כללים של Alertmanager באובייקט ConfigMap נפרד, שמוזכר בשם בהגדרה של המשאב המותאם אישית logmon. אפשר לשנות ולראות את ההגדרות של Alertmanager באמצעות הגדרת המשאב בהתאמה אישית של logmon שנקראת gpc-alertmanager-config.

כדי לראות את ההגדרות של Alertmanager, מריצים את הפקודה:

kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml

בעיות נפוצות

בקטע הזה מפורטות בעיות נפוצות שאתם עשויים להיתקל בהן כשאתם פורסים את פלטפורמת הניטור.

אין לך גישה ל-Grafana

כברירת מחדל, Grafana לא חשוף למכונות מחוץ לאשכול Kubernetes. כדי לגשת באופן זמני לממשק של Grafana מחוץ לאשכול התשתית של הארגון, אפשר להעביר את Service ליציאה אחרת ב-localhost. כדי להעביר את Service ליציאה אחרת, מריצים את הפקודה:

kubectl port-forward -n gpc-system service/grafana 33000\:3000

בדפדפן האינטרנט, עוברים אל http://localhost:33000 כדי להציג את לוח הבקרה של Grafana לפריסה. כדי לסיים את התהליך, לוחצים על המקשים Control+C.

Grafana פועלת לאט

אם Grafana פועל לאט, זה יכול להצביע על הדברים הבאים:

  • שאילתות ל-Prometheus או ל-Loki מחזירות יותר מדי נתונים.
  • השאילתות מחזירות יותר נתונים ממה שאפשר להציג בתרשים אחד.

כדי לפתור בעיות של מהירות איטית ב-Grafana, בודקים את השאילתות בלוחות הבקרה בהתאמה אישית ב-Grafana. אם השאילתות מחזירות יותר נתונים ממה שסביר להציג בתרשים אחד, כדאי לצמצם את כמות הנתונים שמוצגים כדי לשפר את הביצועים של מרכז הבקרה.

בלוח הבקרה של Grafana לא מוצגים מדדים או יומנים

אם לא מוצגים מדדים או יומנים ב-Grafana, יכולות להיות לכך כמה סיבות:

  • מקורות הנתונים של Grafana לא מוגדרים כמו שצריך.
  • למערכת יש בעיות קישוריות למקורות נתונים של מעקב או של רישום ביומן.
  • המערכת לא אוספת מדדים או יומנים.

כדי לראות את היומנים והמדדים:

  1. בממשק המשתמש של Grafana, לוחצים על Dashboard settings.
  2. לוחצים על מקורות נתונים.
  3. בדף מקורות נתונים, מוודאים שמופיעים המקורות הבאים:
שם ארגון כתובת URL
Audit Logs All http://audit-logs-loki-io-read.obs-system.svc:3100
Operational Logs Root http://ops-logs-loki-io-read.obs-system.svc:3100
Operational Logs Org http://ops-logs-loki-all-read.obs-system.svc:3100
prometheus http://anthos-prometheus-k8s.obs-system.svc:9090

אם מקורות הנתונים האלה חסרים, סימן שהמערכת של Observability לא הצליחה להגדיר את Grafana כמו שצריך.

אם הגדרתם את מקורות הנתונים בצורה נכונה אבל לא מוצגים נתונים, יכול להיות שיש בעיה באובייקטים של Service שאוספים מדדים או יומנים כדי להזין אותם ב-Prometheus או ב-Loki.

כדי לאסוף מדדים, Prometheus משתמש במודל משיכה (pull) כדי לשלוח שאילתות לאובייקטים של Service באופן תקופתי, ולאחסן את הערכים שנמצאו. כדי ש-Prometheus יגלה את אובייקטי Service לאיסוף מדדים, התנאים הבאים צריכים להתקיים:

  • כל ה-pods של אובייקטים מסוג Service מסומנים בהערה 'monitoring.gke.io/scrape: "true"'.

  • פורמט המדדים של Prometheus חושף את מדדי ה-Pod דרך HTTP. כברירת מחדל, Prometheus מחפש את המדדים האלה בנקודת הקצה http://POD_NAME:80/metrics. במקרה הצורך, אפשר לשנות את היציאה, נקודת הקצה והסכימה באמצעות הערות.

‫Fluent Bit אוסף יומנים ומיועד לפעול בכל צומת באשכולות של Kubernetes. ‫Fluent Bit שולח את היומנים ל-Loki לאחסון לטווח ארוך.

אם לא מופיעים יומנים ב-Grafana, נסו את הפתרונות הבאים:

  • בודקים את היומנים של המכונות של Loki כדי לוודא שהן פועלות בלי שגיאות.

  • אם המכונות של Loki פועלות כמו שצריך אבל היומנים לא מופיעים, בודקים את היומנים ב-Fluent Bit כדי לוודא שהשירות פועל כצפוי. כדי לראות איך שולפים יומנים, קראו את המאמר אחזור יומני ניראות.

‫Alertmanager לא פותח התראות

אם Alertmanager לא פותח התראות, נסו את הפתרונות הבאים:

  1. באובייקט configMap במרחב השמות gpc-system, מוודאים שהתווית logmon: system_metrics קיימת.
  2. מוודאים שבקטע הנתונים configMap יש מפתח בשם alertmanager.yml. הערך של המפתח alertmanager.yml צריך להיות כללי ההתראות שכלולים בקובץ התצורה התקין של Alertmanager.
  3. מוודאים שהגדרת המשאב בהתאמה אישית logmon בשם logmon-default במרחב השמות gpc-system מכילה הפניה לאובייקט configMap. הגדרת המשאב בהתאמה אישית של logmon-default חייבת להכיל את השם של האובייקט configMap, כמו בדוגמה הבאה:

    apiVersion: addons.gke.io/v1
    kind: Logmon
    spec:
      system_metrics:
        outputs:
          default_prometheus:
            deployment:
              components:
                alertmanager:
                  alertmanagerConfigurationConfigmaps:
                    - alerts-config
    

    הערך alerts-config בדוגמה הוא השם של האובייקט configMap.

‫Alertmanager לא שולח התראות לערוצי ההתראות שהוגדרו

שגיאה בהגדרות עלולה למנוע מכם לקבל התראות בתוכנה החיצונית שהגדרתם כערוץ התראות, כמו Slack, גם אם Alertmanager יוצר התראות במכונה של Grafana.

כדי לקבל התראות בתוכנה החיצונית, פועלים לפי השלבים הבאים:

  1. מוודאים שהערכים בקובץ התצורה של Alertmanager בפורמט הנכון. כש-Alertmanager מפעיל התראה, הוא שולח שאילתה ל-webhook בתוכנה החיצונית.

  2. מוודאים שכתובות ה-URL של ה-webhook שמקשרות לתוכנה החיצונית נכונות. אם כתובות ה-URL נכונות, צריך לוודא שהתוכנה מוגדרת לקבל תגובות לפעולה מאתר אחר (webhook). יכול להיות שתצטרכו ליצור מפתח API כדי לגשת ל-API של השירות החיצוני, או שמפתח ה-API הנוכחי שלכם פג תוקף ואתם צריכים לרענן אותו.

  3. אם השירות החיצוני נמצא מחוץ לפריסת המכשיר של GDC עם air gap, ודאו שכללי היציאה מוגדרים באשכול התשתית של הארגון. ההגדרה הזו מאפשרת ל-Alertmanager לשלוח בקשות לשירות מחוץ לרשת הפנימית של Kubernetes. אם לא תאמתו את כללי התעבורה היוצאת, יכול להיות ש-Alertmanager לא יצליח למצוא את התוכנה החיצונית.

אתם לא יכולים לראות מדדים מעומס העבודה ברמת הפרויקט

כדי להחיל פתרון עקיף ולקבל מדדים מעומס העבודה, פועלים לפי השלבים הבאים:

  1. מוודאים שהמשאב המותאם אישית MonitoringTarget נמצא בסטטוס Ready.
  2. כדי לגרד את עומס העבודה, צריך להצהיר על כל פרטי היעד שצוינו ל-MonitoringTarget במפרט ה-Pod של עומסי העבודה. לדוגמה, אם אתם מצהירים שהמדדים זמינים ביציאה 8080, ה-Pod של עומס העבודה צריך להצהיר ל-Kubernetes שהיציאה 8080 פתוחה. אחרת, Prometheus מתעלם מעומס העבודה.
  3. Prometheus מריץ כמה פיצולים, ולכן לא כל הפודים של Prometheus אמורים לגרד את הפוד שלכם. אפשר לזהות את מספר ה-shard בשם של כל pod של Prometheus. לדוגמה, primary-prometheus-shard0-replica0-0 הוא חלק מהמאגר 0. בודקים את ה-Pod שרוצים לגרד מכל מקטע של Prometheus:
    1. מעבירים ליציאה אחרת את ה-pod של primary-prometheus-shardSHARD_NUMBER-replica0-0 ב-Prometheus במרחב השמות obs-system כדי לקבל גישה לממשק המשתמש של Prometheus. מחליפים את SHARD_NUMBER בשם ה-pod במספרים עולים בכל פעם שבודקים שאילתה חדשה.
    2. עוברים לממשק המשתמש של Prometheus בדפדפן האינטרנט ופועלים לפי השלבים הבאים:
      1. לוחצים על סטטוס > יעדים.
      2. מוודאים שה-pod שרוצים לגרד נמצא ברשימה. אם לא, בודקים את המקטע הבא. אם אין עוד שאריות לבדיקה, צריך לוודא של-Prometheus יש מספיק מידע כדי לגלות אותן.
    3. מוודאים שה-pod של primary-prometheus-shardSHARD_NUMBER-replica0-0 ב-Prometheus מתעד שגיאות במרחב השמות obs-system.
  4. בודקים את השגיאות ביומני ה-pod של cortex-tenant במרחב השמות obs-system.

לא נוצר מרכז בקרה

כדי להחיל פתרון עקיף ולגלות למה לא נוצר מרכז בקרה, פועלים לפי השלבים הבאים:

  1. בודקים את הסטטוס של המשאב המותאם אישית Dashboard כדי לחפש שגיאות. המשאב בהתאמה אישית חייב להיות בסטטוס Ready.
  2. חשוב לוודא שאתם בודקים את המכונה הנכונה של Grafana. לדוגמה, אם פרסתם את לוח הבקרה במרחב השמות של הפרויקט שנקרא my-namespace, לוח הבקרה צריך להיות במכונה של Grafana בנקודת הקצה https://GDCH_URL/my-namespace/grafana.
  3. בודקים את היומנים של fleet-admin-controller במרחב השמות gpc-system. כדי לחפש שגיאות שקשורות למרכז הבקרה, מחפשים את השם של מרכז הבקרה ביומנים. אם מופיעות שגיאות, סימן שקובץ ה-JSON באובייקט configMap לא בפורמט הנכון וצריך לתקן אותו.
  4. בודקים את יומני Grafana במרחב השמות PROJECT_NAME-obs-system כדי לחפש שגיאות. מרכזי הבקרה שולחים שאילתות ל-API בארכיטקטורת REST של Grafana, ולכן Grafana צריך לפעול כדי ליצור מרכז בקרה.

ההתראה לא נפתחת

כדי לפתור את הבעיה ולגלות למה ההתראה לא נפתחת, פועלים לפי השלבים הבאים:

  1. מוודאים שגם Cortex וגם Loki נמצאים במצב bucket-storage. הכללים לא פועלים אלא אם הבק-אנד מגובה באחסון בקט.
  2. מוודאים שהסטטוס של המשאבים המותאמים אישית MonitoringRule ו-LoggingRule הוא Ready.
  3. בודקים את התנאים הבאים להתראות:
    • ביטויי PromQL ו-LogQL: השוו את כל הפונקציות שבהן אתם משתמשים למסמכי התיעוד בנושא יצירת כללי התראה כדי לוודא שהכללים מוגדרים כמו שאתם רוצים. חשוב לוודא שהביטויים מחזירים ערך true או false.
    • משך הזמן: השדה for של המשאב בהתאמה אישית מגדיר כמה זמן התנאי צריך להתקיים. השדה interval מגדיר את התדירות שבה התנאי נבדק. צריך לבדוק את הערכים של השדות האלה אחד מול השני ולוודא שהתנאים הגיוניים.
  4. בדף Alerts בממשק המשתמש של Grafana, בודקים אם ההתראה פתוחה.
  5. אם ב-Grafana מוצג שההתראה פתוחה, בודקים את ערוצי ההתראות ומוודאים ש-Alertmanager יכול ליצור איתם קשר כדי להפיק את ההתראה.

היומנים הצפויים לא זמינים

אם לא מופיעים יומני פעילות מהרכיב, בצעו את הפעולות הבאות:

  1. בודקים אם הרכיב פועל ומפיק יומנים.
  2. בודקים אם יומני הרכיבים צריכים להיאסף כפונקציונליות מובנית. אם לא, צריך לוודא שהמשאב המותאם אישית LoggingTarget נפרס עם מפרט תקין ובסטטוס Ready.

אם יומני הביקורת מהרכיב שלכם לא מופיעים, בצעו את השלבים הבאים:

  1. אם הרכיב כותב יומנים לקובץ, צריך לוודא שהקובץ באמת קיים במערכת הקבצים של הצומת בנתיב /var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.log.
  2. מוודאים שאין שגיאות ב-Pod של anthos-audit-logs-forwarder-SUFFIX באותו צומת.
  3. אם הרכיב משתמש בנקודת קצה של syslog כדי לקבל יומנים, ודאו שפרסתם את המשאב בהתאמה אישית AuditLoggingTarget עם מפרט תקין ובסטטוס Ready.

זיהוי כללי התראות מוגדרים מראש

בקטע הזה מוסבר על כללי ההתראות המוגדרים מראש שקיימים ברכיבי הניטור, כדי להודיע לכם על כשלים במערכת.

כללי התראות מוגדרים מראש ב-Loki

בטבלה הבאה מפורטים כללי ההתראות שמותקנים מראש ב-Loki, למקרים של כשלים ברישום ביומן הביקורת:

כללי התראה מותקנים מראש ב-Loki לכשלים ברישום ביומן הביקורת
שם סוג תיאור
FluentBitAuditLoggingWriteFailure קריטית ‫Fluent Bit לא הצליח להעביר את יומני הביקורת בחמש הדקות האחרונות.
LokiAuditLoggingWriteFailure קריטית ‫Loki לא הצליח לכתוב יומני ביקורת באחסון לקצה העורפי.

אם מוצגת אחת או יותר מההתראות האלה, המערכת איבדה לפחות רשומת ביקורת אחת.

כללי התראות מוגדרים מראש ב-Prometheus

בטבלה הבאה מפורטים כללי ההתראות שמותקנים מראש ב-Prometheus לרכיבי Kubernetes:

כללי התראות שמותקנים מראש ב-Prometheus
שם סוג תיאור
KubeAPIDown קריטית ‫Kube API נעלם מ-Prometheus target discovery למשך 15 דקות.
KubeClientErrors אזהרה יחס השגיאות מהלקוח של שרת ה-API של Kubernetes היה גדול מ-0.01 במשך 15 דקות.
KubeClientErrors קריטית יחס השגיאות מהלקוח של שרת ה-API של Kubernetes היה גדול מ-0.1 במשך 15 דקות.
KubePodCrashLooping אזהרה ה-Pod נמצא במצב של לולאת קריסה במשך יותר מ-15 דקות.
KubePodNotReady אזהרה ה-Pod לא מוכן כבר יותר מ-15 דקות.
KubePersistentVolumeFillingUp קריטית הבייטים הפנויים של אובייקט PersistentVolume שנתבע הם פחות מ-0.03.
KubePersistentVolumeFillingUp אזהרה הבייטים הפנויים של אובייקט PersistentVolume שנתבע קטנים מ-0.15.
KubePersistentVolumeErrors קריטית אחסון הנתונים הקבוע נמצא בשלב Failed או Pending במשך חמש דקות.
KubeNodeNotReady אזהרה הצומת לא מוכן כבר יותר מ-15 דקות.
KubeNodeCPUUsageHigh קריטית השימוש במעבד (CPU) של הצומת גדול מ-80%.
KubeNodeMemoryUsageHigh קריטית השימוש בזיכרון של הצומת גדול מ-80%.
NodeFilesystemSpaceFillingUp אזהרה השימוש במערכת הקבצים של הצומת גדול מ-60%.
NodeFilesystemSpaceFillingUp קריטית השימוש במערכת הקבצים של הצומת גדול מ-85%.
CertManagerCertExpirySoon אזהרה תוקף האישור יפוג בעוד 21 ימים.
CertManagerCertNotReady קריטית האישור לא מוכן להצגת תנועה אחרי 10 דקות.
CertManagerHittingRateLimits קריטית הגעתם למגבלת הקצב של יצירת בקשות כשניסיתם ליצור או לחדש אישורים במשך חמש דקות.
DeploymentNotReady קריטית פריסה באשכול התשתית של הארגון נמצאת במצב "לא מוכן" במשך יותר מ-15 דקות.
StatefulSetNotReady קריטית אובייקט StatefulSet באשכול התשתית של הארגון נמצא במצב "לא מוכן" במשך יותר מ-15 דקות.
AuditLogsForwarderDown קריטית ה-DaemonSet של anthos-audit-logs-forwarder מושבת כבר יותר מ-15 דקות.
AuditLogsLokiDown קריטית ה-StatefulSet‏ audit-logs-loki נמצא במצב "לא מוכן" במשך יותר מ-15 דקות.