מעקב אחרי סנכרון תצורות באמצעות Prometheus

הכלי "סנכרון הגדרות" אוסף ומייצא באופן אוטומטי מדדים שאפשר לאסוף באמצעות Prometheus כדי לעקוב אחרי תקינות הסנכרון, לזהות שגיאות בהתאמה ולעקוב אחרי השימוש במשאבים באשכולות. אתם יכולים לראות את המדדים האלה ישירות ב-Prometheus או למשוך אותם ל-Cloud Monitoring כמדדים בהתאמה אישית. מידע נוסף זמין במאמר השירות המנוהל של Google Cloud ל-Prometheus.

כדי לייצא מדדים ישירות ל-Monitoring בלי Prometheus, קראו את המאמר מעקב אחרי סנכרון ההגדרות באמצעות Cloud Monitoring. אפשר גם לייצא מדדים מותאמים אישית.

איסוף המדדים

כל המדדים של Prometheus זמינים לגירוד ביציאה 8675. כדי לאסוף מדדים, צריך להגדיר את האשכול ל-Prometheus באחת משתי דרכים. אחת משתי האפשרויות:

  • פועלים לפי ההוראות של Prometheus כדי להגדיר את האשכול לאיסוף נתונים, או

  • משתמשים ב-Prometheus Operator יחד עם המניפסטים הבאים, ששולפים את כל המדדים של "סנכרון הגדרות" כל 10 שניות.

    1. יוצרים ספרייה זמנית שתכיל את קובצי המניפסט.

      mkdir config-sync-monitor
      cd config-sync-monitor
      
    2. מורידים את המניפסט של Prometheus Operator ממאגר CoreOS באמצעות הפקודה curl:

      curl -o bundle.yaml https://raw.githubusercontent.com/coreos/prometheus-operator/master/bundle.yaml
      

      המניפסט הזה מוגדר להשתמש במרחב השמות default, וזה לא מומלץ. בשלב הבא משנים את ההגדרות כדי להשתמש במרחב שמות בשם monitoring. כדי להשתמש במרחב שמות אחר, מחליפים אותו במקום שבו מופיע monitoring בשלבים הבאים.

    3. יוצרים קובץ כדי לעדכן את מרחב השמות של ClusterRoleBinding בחבילה שלמעלה.

      # patch-crb.yaml
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: prometheus-operator
      subjects:
      - kind: ServiceAccount
        name: prometheus-operator
        namespace: monitoring # we are patching from default namespace
      
    4. יוצרים קובץ kustomization.yaml שמחיל את התיקון ומשנה את מרחב השמות של משאבים אחרים במניפסט.

      # kustomization.yaml
      resources:
      - bundle.yaml
      
      namespace: monitoring
      
      patchesStrategicMerge:
      - patch-crb.yaml
      
    5. יוצרים את מרחב השמות monitoring אם הוא לא קיים. אפשר להשתמש בשם אחר למרחב השמות, אבל אם עושים את זה, צריך גם לשנות את הערך של namespace במניפסטים של YAML מהשלבים הקודמים.

      kubectl create namespace monitoring
      
    6. מפעילים את המניפסט של Kustomize באמצעות הפקודות הבאות:

      kubectl apply -k .
      
      until kubectl get customresourcedefinitions servicemonitors.monitoring.coreos.com ; \
      do date; sleep 1; echo ""; done

      הפקודה השנייה חוסמת עד שה-CRD זמינים באשכול.

    7. יוצרים את המניפסט למשאבים שנדרשים כדי להגדיר שרת Prometheus ששולף מדדים מסנכרון תצורות.

      # config-sync-monitoring.yaml
      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: prometheus-config-sync
        namespace: monitoring
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: prometheus-config-sync
      rules:
      - apiGroups: [""]
        resources:
        - nodes
        - services
        - endpoints
        - pods
        verbs: ["get", "list", "watch"]
      - apiGroups: [""]
        resources:
        - configmaps
        verbs: ["get"]
      - nonResourceURLs: ["/metrics"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: prometheus-config-sync
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: prometheus-config-sync
      subjects:
      - kind: ServiceAccount
        name: prometheus-config-sync
        namespace: monitoring
      ---
      apiVersion: monitoring.coreos.com/v1
      kind: Prometheus
      metadata:
        name: config-sync
        namespace: monitoring
        labels:
          prometheus: config-sync
      spec:
        replicas: 2
        serviceAccountName: prometheus-config-sync
        serviceMonitorSelector:
          matchLabels:
            prometheus: config-management
        alerting:
          alertmanagers:
          - namespace: default
            name: alertmanager
            port: web
        resources:
          requests:
            memory: 400Mi
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: prometheus-config-sync
        namespace: monitoring
        labels:
          prometheus: config-sync
      spec:
        type: NodePort
        ports:
        - name: web
          nodePort: 31900
          port: 9190
          protocol: TCP
          targetPort: web
        selector:
          prometheus: config-sync
      --- 
      --- 
      
    8. מחילים את המניפסט באמצעות הפקודות הבאות:

      kubectl apply -f config-sync.yaml
      
      until kubectl rollout status statefulset/prometheus-config-sync -n monitoring; \
      do sleep 1; done
      

      הפקודה השנייה חוסמת עד שה-Pods פועלים.

    9. כדי לאמת את ההתקנה, אפשר להעביר את יציאת האינטרנט של שרת Prometheus למכונה המקומית.

      kubectl -n monitoring port-forward svc/prometheus-config-sync 9190
      

      עכשיו אפשר לגשת לממשק המשתמש של Prometheus באינטרנט בכתובת http://localhost:9190.

    10. מסירים את הספרייה הזמנית.

      cd ..
      rm -rf config-sync-monitor
      

מדדי Prometheus זמינים

המדדים הבאים נאספים על ידי "סנכרון הגדרות" וזמינים ל-Prometheus. בעמודה Labels מפורטות כל התוויות שרלוונטיות לכל מדד. מדדים בלי תוויות מייצגים מדידה אחת לאורך זמן, ומדדים עם תוויות מייצגים כמה מדידות – אחת לכל שילוב של ערכי תוויות.

אם הטבלה הזו לא מסונכרנת, אפשר לסנן מדדים לפי קידומת בממשק המשתמש של Prometheus. כל המדדים מתחילים בקידומת config_sync_.

שם סוג תוויות תיאור
config_sync_api_duration_seconds_bucket היסטוגרמה סטטוס, פעולה התפלגות זמן האחזור של קריאות לשרת API (מחולקת לקטגוריות לפי משך הזמן של כל מחזור)
config_sync_api_duration_seconds_count היסטוגרמה סטטוס, פעולה התפלגות זמן האחזור של קריאות לשרת ה-API (ללא התייחסות למשך הזמן)
config_sync_api_duration_seconds_sum היסטוגרמה סטטוס, פעולה סכום משכי הזמן של כל הקריאות לשרת ה-API
config_sync_apply_duration_seconds_bucket היסטוגרמה commit, status התפלגות זמן האחזור של החלת משאבים שהוצהרו ממקור האמת על אשכול (מחולק לקטגוריות לפי משך הזמן של כל מחזור)
config_sync_apply_duration_seconds_count היסטוגרמה commit, status התפלגות זמן האחזור של החלת משאבים שהוצהרו ממקור מהימן על אשכול (התעלמות ממשך הזמן)
config_sync_apply_duration_seconds_sum היסטוגרמה commit, status סכום משכי הזמן של כל זמני האחזור של החלת משאבים שהוצהרו ממקור האמת על אשכול
config_sync_apply_operations_total הגשת הצעה נגדית פעולה, סטטוס, בקר מספר הפעולות שבוצעו כדי לסנכרן משאבים ממקור האמת לאשכול
config_sync_cluster_scoped_resource_count מד קבוצת משאבים מספר המשאבים בהיקף אשכול ב-ResourceGroup
config_sync_crd_count מד קבוצת משאבים מספר ה-CRD ב-ResourceGroup
config_sync_declared_resources מד להוריד לביצוע (Commit) מספר המשאבים המוצהרים שנותחו מ-Git
config_sync_internal_errors_total הגשת הצעה נגדית מקור מספר השגיאות הפנימיות שנגרמו על ידי סנכרון ההגדרות. יכול להיות שהמדד לא יופיע אם לא הייתה שגיאה פנימית
config_sync_kcc_resource_count מד קבוצת משאבים מספר המשאבים של Config Connector ב-ResourceGroup
config_sync_last_apply_timestamp מד commit, status חותמת הזמן של פעולת ההחלה האחרונה
config_sync_last_sync_timestamp מד commit, status חותמת הזמן של הסנכרון האחרון מ-Git
config_sync_parser_duration_seconds_bucket היסטוגרמה סטטוס, טריגר, מקור התפלגות זמן האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול
config_sync_parser_duration_seconds_count היסטוגרמה סטטוס, טריגר, מקור התפלגות זמן האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול (ללא התייחסות למשך הזמן)
config_sync_parser_duration_seconds_sum היסטוגרמה סטטוס, טריגר, מקור סכום זמני האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול
config_sync_pipeline_error_observed מד שם, רכיב, reconciler סטטוס המשאבים המותאמים אישית של RootSync ו-RepoSync. הערך 1 מציין כשל
config_sync_ready_resource_count מד קבוצת משאבים המספר הכולל של המשאבים המוכנים ב-ResourceGroup
config_sync_reconcile_duration_seconds_bucket היסטוגרמה סטטוס התפלגות זמן האחזור של אירועי התאמה שמטופלים על ידי מנהל ההתאמה (מחולקים לקטגוריות לפי משך הזמן של כל קריאה)
config_sync_reconcile_duration_seconds_count היסטוגרמה סטטוס התפלגות זמן האחזור של אירועי התאמה שמטופלים על ידי מנהל ההתאמה (ללא התייחסות למשך הזמן)
config_sync_reconcile_duration_seconds_sum היסטוגרמה סטטוס סכום משכי הזמן של כל זמני האחזור של אירועי ההתאמה שטופלו על ידי מנהל ההתאמה
config_sync_reconciler_errors מד component, errorclass מספר השגיאות שקרו במהלך סנכרון המשאבים ממקור האמת לאשכול
config_sync_remediate_duration_seconds_bucket היסטוגרמה סטטוס התפלגות זמן האחזור של אירועי התאמה של גורם מתקן (מחולקים לקטגוריות לפי משך הזמן)
config_sync_remediate_duration_seconds_count היסטוגרמה סטטוס התפלגות זמן האחזור של אירועי התאמה של כלי התיקון (ללא משך הזמן)
config_sync_remediate_duration_seconds_sum היסטוגרמה סטטוס סכום משכי הזמן של כל אירועי ההתאמה של התיקון
config_sync_resource_count מד קבוצת משאבים מספר המשאבים שקבוצת משאבים עוקבת אחריהם
config_sync_resource_conflicts_total הגשת הצעה נגדית להוריד לביצוע (Commit) מספר ההתנגשויות בין משאבים שנובעות מחוסר התאמה בין המשאבים שנשמרו במטמון לבין המשאבים באשכול. יכול להיות שהמדד לא יופיע אם לא הייתה התנגשות בין משאבים
config_sync_resource_fights_total הגשת הצעה נגדית מספר המשאבים שמסתנכרנים בתדירות גבוהה מדי. יכול להיות שהמדד לא יופיע אם לא התרחש קרב על משאבים
config_sync_resource_group_total מד מספר ה-CR של ResourceGroup
config_sync_resource_ns_count מד קבוצת משאבים מספר מרחבי השמות שמשמשים את המשאבים ב-ResourceGroup
config_sync_rg_reconcile_duration_seconds_bucket. היסטוגרמה stallreason התפלגות הזמן של התאמת ResourceGroup CR (מחולקת לקטגוריות לפי משך הזמן)
config_sync_rg_reconcile_duration_seconds_count היסטוגרמה stallreason התפלגות הזמן של התאמת ResourceGroup CR (ללא התייחסות למשך הזמן)
config_sync_rg_reconcile_duration_seconds_sum היסטוגרמה stallreason סכום כל הזמן של התאמת ResourceGroup CR
config_sync_kustomize_build_latency_bucket היסטוגרמה התפלגות זמן האחזור של זמן הביצוע של kustomize build (מחולק לקטגוריות לפי משך הזמן של כל פעולה)
config_sync_kustomize_build_latency_count היסטוגרמה התפלגות זמן האחזור של זמן הביצוע של kustomize build (ללא התייחסות למשך הזמן)
config_sync_kustomize_build_latency_sum היסטוגרמה סכום כל זמני ההרצה של kustomize build
config_sync_kustomize_ordered_top_tier_metrics מד top_tier_field שימוש במשאבים, ב-Generators, ב-SecretGenerator, ב-ConfigMapGenerator, ב-Transformers וב-Validators
config_sync_kustomize_builtin_transformers מד k8s_builtin_transformer שימוש בטרנספורמרים מובְנים שקשורים למטא-נתונים של אובייקטים ב-Kubernetes
config_sync_kustomize_resource_count מד מספר המשאבים שנוצרו על ידי kustomize build
config_sync_kustomize_field_count מד field_name מספר הפעמים ששדה מסוים נמצא בשימוש בקובצי kustomization
config_sync_kustomize_patch_count מד patch_field מספר התיקונים בשדות patches,‏ patchesStrategicMerge ו-patchesJson6902
config_sync_kustomize_base_count מד base_source מספר הבסיסים המרוחקים והמקומיים
kustomize_deprecating_field_count מד deprecating_field שימוש בשדות שעשויים לצאת משימוש
kustomize_simplification_adoption_count מד simplification_field שימוש בתמונות, ברפליקות ובהחלפות של טרנספורמרים לפישוט
kustomize_helm_inflator_count מד helm_inflator שימוש ב-helm ב-kustomize, באמצעות השדות המובנים או הפונקציה בהתאמה אישית

דוגמאות להליכי ניפוי באגים ב-Prometheus

בדוגמאות הבאות מוצגות כמה דוגמאות לשימוש במדדי Prometheus, בשדות סטטוס של אובייקטים ובהערות של אובייקטים כדי לזהות ולאבחן בעיות שקשורות לסנכרון ההגדרות. הדוגמאות האלה ממחישות איך אפשר להתחיל במעקב ברמה גבוהה שמזהה בעיה, ואז לצמצם בהדרגה את החיפוש כדי להגיע לשורש הבעיה ולאבחן אותה.

שאילתה על הגדרות לפי סטטוס

התהליך reconciler מספק מדדים ברמה גבוהה שנותנים תובנות שימושיות לגבי האופן שבו סנכרון תצורות פועל באשכול. אתם יכולים לראות אם אירעו שגיאות, ואפילו להגדיר התראות לגביהן.

config_sync_reconciler_errors

שאילתת מדדים לפי גורם התאמה

אם אתם משתמשים בממשקי ה-API של RootSync ו-RepoSync בסנכרון הגדרות, אתם יכולים לעקוב אחרי האובייקטים של RootSync ו-RepoSync. האובייקטים RootSync ו-RepoSync מצוידים במדדים ברמה גבוהה, שנותנים תובנות שימושיות לגבי אופן הפעולה של סנכרון תצורות באשכול. כמעט כל המדדים מתויגים לפי שם המנגנון, כך שאתם יכולים לראות אם אירעו שגיאות ולהגדיר להן התראות ב-Prometheus.

רשימה מלאה של תוויות המדדים הזמינות לסינון

ב-Prometheus, אפשר להשתמש במסננים הבאים ל-RootSyncs או ל-RepoSyncs:

# Querying RootSync
config_sync_reconciler_errors{configsync_sync_name=ROOT_SYNC_NAME}

# Querying RepoSync
config_sync_reconciler_errors{configsync_sync_name=REPO_SYNC_NAME}

שאילתות על פעולות ייבוא וסנכרון לפי סטטוס

ב-Prometheus, אפשר להשתמש בשאילתות הבאות:

# Check for errors that occurred when sourcing configs.
config_sync_reconciler_errors{component="source"}

# Check for errors that occurred when syncing configs to the cluster.
config_sync_reconciler_errors{component="sync"}

אפשר גם לבדוק את המדדים של תהליכי המקור והסנכרון עצמם:

config_sync_parser_duration_seconds{status="error"}
config_sync_apply_duration_seconds{status="error"}
config_sync_remediate_duration_seconds{status="error"}

מעקב אחרי משאבים באמצעות Google Cloud שירות מנוהל ל-Prometheus

השירות המנוהל של Google Cloud ל-Prometheus הוא פתרון מנוהל לחלוטין של Google Cloudלמספר עננים, למדדים של Prometheus. הוא תומך בשני מצבים לאיסוף נתונים: איסוף מנוהל (המצב המומלץ) או איסוף נתונים בפריסה עצמית. כדי להגדיר מעקב אחרי סנכרון תצורות באמצעות השירות המנוהל של Google Cloud ל-Prometheus במצב איסוף מנוהל, צריך לבצע את השלבים הבאים.

  1. מפעילים את Managed Prometheus באשכול לפי ההוראות במאמר הגדרת איסוף מנוהל.

  2. שומרים את המניפסט לדוגמה הבא בתור pod-monitoring-config-sync-monitoring.yaml. המניפסט הזה מגדיר משאב PodMonitoring כדי לאסוף את המדדים של "סנכרון הגדרות" ביציאה 8675 של ה-Pod‏ otel-collector-* במרחב השמות config-management-monitoring. המשאב PodMonitoring משתמש בבורר תוויות של Kubernetes כדי למצוא את ה-Pod של otel-collector-*.

    apiVersion: monitoring.googleapis.com/v1
    kind: PodMonitoring
    metadata:
      name: config-sync-monitoring
      namespace: config-management-monitoring
    spec:
      selector:
        matchLabels:
          app: opentelemetry
          component: otel-collector
      endpoints:
      - port: 8675
        interval: 10s
    
  3. מחילים את המניפסט על האשכול:

    kubectl apply -f pod-monitoring-config-sync-monitoring.yaml
    

  4. כדי לוודא שנתוני Prometheus מיוצאים, משתמשים בדף Metrics Explorer של Cloud Monitoring במסוף Google Cloud , לפי ההוראות במאמר נתוני שירות מנוהל ל-Prometheus ב-Cloud Monitoring.

המאמרים הבאים