הכלי "סנכרון הגדרות" אוסף ומייצא באופן אוטומטי מדדים שאפשר לאסוף באמצעות Prometheus כדי לעקוב אחרי תקינות הסנכרון, לזהות שגיאות בהתאמה ולעקוב אחרי השימוש במשאבים באשכולות. אתם יכולים לראות את המדדים האלה ישירות ב-Prometheus או למשוך אותם ל-Cloud Monitoring כמדדים בהתאמה אישית. מידע נוסף זמין במאמר השירות המנוהל של Google Cloud ל-Prometheus.
כדי לייצא מדדים ישירות ל-Monitoring בלי Prometheus, קראו את המאמר מעקב אחרי סנכרון ההגדרות באמצעות Cloud Monitoring. אפשר גם לייצא מדדים מותאמים אישית.
איסוף המדדים
כל המדדים של Prometheus זמינים לגירוד ביציאה 8675. כדי לאסוף מדדים, צריך להגדיר את האשכול ל-Prometheus באחת משתי דרכים. אחת משתי האפשרויות:
פועלים לפי ההוראות של Prometheus כדי להגדיר את האשכול לאיסוף נתונים, או
משתמשים ב-Prometheus Operator יחד עם המניפסטים הבאים, ששולפים את כל המדדים של "סנכרון הגדרות" כל 10 שניות.
יוצרים ספרייה זמנית שתכיל את קובצי המניפסט.
mkdir config-sync-monitor cd config-sync-monitor
מורידים את המניפסט של Prometheus Operator ממאגר CoreOS באמצעות הפקודה
curl:curl -o bundle.yaml https://raw.githubusercontent.com/coreos/prometheus-operator/master/bundle.yaml
המניפסט הזה מוגדר להשתמש במרחב השמות
default, וזה לא מומלץ. בשלב הבא משנים את ההגדרות כדי להשתמש במרחב שמות בשםmonitoring. כדי להשתמש במרחב שמות אחר, מחליפים אותו במקום שבו מופיעmonitoringבשלבים הבאים.יוצרים קובץ כדי לעדכן את מרחב השמות של ClusterRoleBinding בחבילה שלמעלה.
# patch-crb.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus-operator subjects: - kind: ServiceAccount name: prometheus-operator namespace: monitoring # we are patching from default namespaceיוצרים קובץ
kustomization.yamlשמחיל את התיקון ומשנה את מרחב השמות של משאבים אחרים במניפסט.# kustomization.yaml resources: - bundle.yaml namespace: monitoring patchesStrategicMerge: - patch-crb.yamlיוצרים את מרחב השמות
monitoringאם הוא לא קיים. אפשר להשתמש בשם אחר למרחב השמות, אבל אם עושים את זה, צריך גם לשנות את הערך שלnamespaceבמניפסטים של YAML מהשלבים הקודמים.kubectl create namespace monitoring
מפעילים את המניפסט של Kustomize באמצעות הפקודות הבאות:
kubectl apply -k . until kubectl get customresourcedefinitions servicemonitors.monitoring.coreos.com ; \ do date; sleep 1; echo ""; done
הפקודה השנייה חוסמת עד שה-CRD זמינים באשכול.
יוצרים את המניפסט למשאבים שנדרשים כדי להגדיר שרת Prometheus ששולף מדדים מסנכרון תצורות.
# config-sync-monitoring.yaml apiVersion: v1 kind: ServiceAccount metadata: name: prometheus-config-sync namespace: monitoring --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus-config-sync rules: - apiGroups: [""] resources: - nodes - services - endpoints - pods verbs: ["get", "list", "watch"] - apiGroups: [""] resources: - configmaps verbs: ["get"] - nonResourceURLs: ["/metrics"] verbs: ["get"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus-config-sync roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus-config-sync subjects: - kind: ServiceAccount name: prometheus-config-sync namespace: monitoring --- apiVersion: monitoring.coreos.com/v1 kind: Prometheus metadata: name: config-sync namespace: monitoring labels: prometheus: config-sync spec: replicas: 2 serviceAccountName: prometheus-config-sync serviceMonitorSelector: matchLabels: prometheus: config-management alerting: alertmanagers: - namespace: default name: alertmanager port: web resources: requests: memory: 400Mi --- apiVersion: v1 kind: Service metadata: name: prometheus-config-sync namespace: monitoring labels: prometheus: config-sync spec: type: NodePort ports: - name: web nodePort: 31900 port: 9190 protocol: TCP targetPort: web selector: prometheus: config-sync --- ---מחילים את המניפסט באמצעות הפקודות הבאות:
kubectl apply -f config-sync.yaml until kubectl rollout status statefulset/prometheus-config-sync -n monitoring; \ do sleep 1; done
הפקודה השנייה חוסמת עד שה-Pods פועלים.
כדי לאמת את ההתקנה, אפשר להעביר את יציאת האינטרנט של שרת Prometheus למכונה המקומית.
kubectl -n monitoring port-forward svc/prometheus-config-sync 9190
עכשיו אפשר לגשת לממשק המשתמש של Prometheus באינטרנט בכתובת
http://localhost:9190.מסירים את הספרייה הזמנית.
cd .. rm -rf config-sync-monitor
מדדי Prometheus זמינים
המדדים הבאים נאספים על ידי "סנכרון הגדרות" וזמינים ל-Prometheus. בעמודה Labels מפורטות כל התוויות שרלוונטיות לכל מדד. מדדים בלי תוויות מייצגים מדידה אחת לאורך זמן, ומדדים עם תוויות מייצגים כמה מדידות – אחת לכל שילוב של ערכי תוויות.
אם הטבלה הזו לא מסונכרנת, אפשר לסנן מדדים לפי קידומת בממשק המשתמש של Prometheus. כל המדדים מתחילים בקידומת config_sync_.
| שם | סוג | תוויות | תיאור |
|---|---|---|---|
config_sync_api_duration_seconds_bucket |
היסטוגרמה | סטטוס, פעולה | התפלגות זמן האחזור של קריאות לשרת API (מחולקת לקטגוריות לפי משך הזמן של כל מחזור) |
config_sync_api_duration_seconds_count |
היסטוגרמה | סטטוס, פעולה | התפלגות זמן האחזור של קריאות לשרת ה-API (ללא התייחסות למשך הזמן) |
config_sync_api_duration_seconds_sum |
היסטוגרמה | סטטוס, פעולה | סכום משכי הזמן של כל הקריאות לשרת ה-API |
config_sync_apply_duration_seconds_bucket |
היסטוגרמה | commit, status | התפלגות זמן האחזור של החלת משאבים שהוצהרו ממקור האמת על אשכול (מחולק לקטגוריות לפי משך הזמן של כל מחזור) |
config_sync_apply_duration_seconds_count |
היסטוגרמה | commit, status | התפלגות זמן האחזור של החלת משאבים שהוצהרו ממקור מהימן על אשכול (התעלמות ממשך הזמן) |
config_sync_apply_duration_seconds_sum |
היסטוגרמה | commit, status | סכום משכי הזמן של כל זמני האחזור של החלת משאבים שהוצהרו ממקור האמת על אשכול |
config_sync_apply_operations_total |
הגשת הצעה נגדית | פעולה, סטטוס, בקר | מספר הפעולות שבוצעו כדי לסנכרן משאבים ממקור האמת לאשכול |
config_sync_cluster_scoped_resource_count |
מד | קבוצת משאבים | מספר המשאבים בהיקף אשכול ב-ResourceGroup |
config_sync_crd_count |
מד | קבוצת משאבים | מספר ה-CRD ב-ResourceGroup |
config_sync_declared_resources |
מד | להוריד לביצוע (Commit) | מספר המשאבים המוצהרים שנותחו מ-Git |
config_sync_internal_errors_total |
הגשת הצעה נגדית | מקור | מספר השגיאות הפנימיות שנגרמו על ידי סנכרון ההגדרות. יכול להיות שהמדד לא יופיע אם לא הייתה שגיאה פנימית |
config_sync_kcc_resource_count |
מד | קבוצת משאבים | מספר המשאבים של Config Connector ב-ResourceGroup |
config_sync_last_apply_timestamp |
מד | commit, status | חותמת הזמן של פעולת ההחלה האחרונה |
config_sync_last_sync_timestamp |
מד | commit, status | חותמת הזמן של הסנכרון האחרון מ-Git |
config_sync_parser_duration_seconds_bucket |
היסטוגרמה | סטטוס, טריגר, מקור | התפלגות זמן האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול |
config_sync_parser_duration_seconds_count |
היסטוגרמה | סטטוס, טריגר, מקור | התפלגות זמן האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול (ללא התייחסות למשך הזמן) |
config_sync_parser_duration_seconds_sum |
היסטוגרמה | סטטוס, טריגר, מקור | סכום זמני האחזור של שלבים שונים שמעורבים בסנכרון ממקור האמת לאשכול |
config_sync_pipeline_error_observed |
מד | שם, רכיב, reconciler | סטטוס המשאבים המותאמים אישית של RootSync ו-RepoSync. הערך 1 מציין כשל |
config_sync_ready_resource_count |
מד | קבוצת משאבים | המספר הכולל של המשאבים המוכנים ב-ResourceGroup |
config_sync_reconcile_duration_seconds_bucket |
היסטוגרמה | סטטוס | התפלגות זמן האחזור של אירועי התאמה שמטופלים על ידי מנהל ההתאמה (מחולקים לקטגוריות לפי משך הזמן של כל קריאה) |
config_sync_reconcile_duration_seconds_count |
היסטוגרמה | סטטוס | התפלגות זמן האחזור של אירועי התאמה שמטופלים על ידי מנהל ההתאמה (ללא התייחסות למשך הזמן) |
config_sync_reconcile_duration_seconds_sum |
היסטוגרמה | סטטוס | סכום משכי הזמן של כל זמני האחזור של אירועי ההתאמה שטופלו על ידי מנהל ההתאמה |
config_sync_reconciler_errors |
מד | component, errorclass | מספר השגיאות שקרו במהלך סנכרון המשאבים ממקור האמת לאשכול |
config_sync_remediate_duration_seconds_bucket |
היסטוגרמה | סטטוס | התפלגות זמן האחזור של אירועי התאמה של גורם מתקן (מחולקים לקטגוריות לפי משך הזמן) |
config_sync_remediate_duration_seconds_count |
היסטוגרמה | סטטוס | התפלגות זמן האחזור של אירועי התאמה של כלי התיקון (ללא משך הזמן) |
config_sync_remediate_duration_seconds_sum |
היסטוגרמה | סטטוס | סכום משכי הזמן של כל אירועי ההתאמה של התיקון |
config_sync_resource_count |
מד | קבוצת משאבים | מספר המשאבים שקבוצת משאבים עוקבת אחריהם |
config_sync_resource_conflicts_total |
הגשת הצעה נגדית | להוריד לביצוע (Commit) | מספר ההתנגשויות בין משאבים שנובעות מחוסר התאמה בין המשאבים שנשמרו במטמון לבין המשאבים באשכול. יכול להיות שהמדד לא יופיע אם לא הייתה התנגשות בין משאבים |
config_sync_resource_fights_total |
הגשת הצעה נגדית | מספר המשאבים שמסתנכרנים בתדירות גבוהה מדי. יכול להיות שהמדד לא יופיע אם לא התרחש קרב על משאבים | |
config_sync_resource_group_total |
מד | מספר ה-CR של ResourceGroup | |
config_sync_resource_ns_count |
מד | קבוצת משאבים | מספר מרחבי השמות שמשמשים את המשאבים ב-ResourceGroup |
config_sync_rg_reconcile_duration_seconds_bucket. |
היסטוגרמה | stallreason | התפלגות הזמן של התאמת ResourceGroup CR (מחולקת לקטגוריות לפי משך הזמן) |
config_sync_rg_reconcile_duration_seconds_count |
היסטוגרמה | stallreason | התפלגות הזמן של התאמת ResourceGroup CR (ללא התייחסות למשך הזמן) |
config_sync_rg_reconcile_duration_seconds_sum |
היסטוגרמה | stallreason | סכום כל הזמן של התאמת ResourceGroup CR |
config_sync_kustomize_build_latency_bucket |
היסטוגרמה | התפלגות זמן האחזור של זמן הביצוע של kustomize build (מחולק לקטגוריות לפי משך הזמן של כל פעולה) |
|
config_sync_kustomize_build_latency_count |
היסטוגרמה | התפלגות זמן האחזור של זמן הביצוע של kustomize build (ללא התייחסות למשך הזמן) |
|
config_sync_kustomize_build_latency_sum |
היסטוגרמה | סכום כל זמני ההרצה של kustomize build |
|
config_sync_kustomize_ordered_top_tier_metrics |
מד | top_tier_field | שימוש במשאבים, ב-Generators, ב-SecretGenerator, ב-ConfigMapGenerator, ב-Transformers וב-Validators |
config_sync_kustomize_builtin_transformers |
מד | k8s_builtin_transformer | שימוש בטרנספורמרים מובְנים שקשורים למטא-נתונים של אובייקטים ב-Kubernetes |
config_sync_kustomize_resource_count |
מד | מספר המשאבים שנוצרו על ידי kustomize build |
|
config_sync_kustomize_field_count |
מד | field_name | מספר הפעמים ששדה מסוים נמצא בשימוש בקובצי kustomization |
config_sync_kustomize_patch_count |
מד | patch_field | מספר התיקונים בשדות patches, patchesStrategicMerge ו-patchesJson6902 |
config_sync_kustomize_base_count |
מד | base_source | מספר הבסיסים המרוחקים והמקומיים |
kustomize_deprecating_field_count |
מד | deprecating_field | שימוש בשדות שעשויים לצאת משימוש |
kustomize_simplification_adoption_count |
מד | simplification_field | שימוש בתמונות, ברפליקות ובהחלפות של טרנספורמרים לפישוט |
kustomize_helm_inflator_count |
מד | helm_inflator | שימוש ב-helm ב-kustomize, באמצעות השדות המובנים או הפונקציה בהתאמה אישית |
דוגמאות להליכי ניפוי באגים ב-Prometheus
בדוגמאות הבאות מוצגות כמה דוגמאות לשימוש במדדי Prometheus, בשדות סטטוס של אובייקטים ובהערות של אובייקטים כדי לזהות ולאבחן בעיות שקשורות לסנכרון ההגדרות. הדוגמאות האלה ממחישות איך אפשר להתחיל במעקב ברמה גבוהה שמזהה בעיה, ואז לצמצם בהדרגה את החיפוש כדי להגיע לשורש הבעיה ולאבחן אותה.
שאילתה על הגדרות לפי סטטוס
התהליך reconciler מספק מדדים ברמה גבוהה שנותנים תובנות שימושיות לגבי האופן שבו סנכרון תצורות פועל באשכול. אתם יכולים לראות אם אירעו שגיאות, ואפילו להגדיר התראות לגביהן.
config_sync_reconciler_errors
שאילתת מדדים לפי גורם התאמה
אם אתם משתמשים בממשקי ה-API של RootSync ו-RepoSync בסנכרון הגדרות, אתם יכולים לעקוב אחרי האובייקטים של RootSync ו-RepoSync. האובייקטים RootSync ו-RepoSync מצוידים במדדים ברמה גבוהה, שנותנים תובנות שימושיות לגבי אופן הפעולה של סנכרון תצורות באשכול. כמעט כל המדדים מתויגים לפי שם המנגנון, כך שאתם יכולים לראות אם אירעו שגיאות ולהגדיר להן התראות ב-Prometheus.
רשימה מלאה של תוויות המדדים הזמינות לסינון
ב-Prometheus, אפשר להשתמש במסננים הבאים ל-RootSyncs או ל-RepoSyncs:
# Querying RootSync
config_sync_reconciler_errors{configsync_sync_name=ROOT_SYNC_NAME}
# Querying RepoSync
config_sync_reconciler_errors{configsync_sync_name=REPO_SYNC_NAME}
שאילתות על פעולות ייבוא וסנכרון לפי סטטוס
ב-Prometheus, אפשר להשתמש בשאילתות הבאות:
# Check for errors that occurred when sourcing configs.
config_sync_reconciler_errors{component="source"}
# Check for errors that occurred when syncing configs to the cluster.
config_sync_reconciler_errors{component="sync"}
אפשר גם לבדוק את המדדים של תהליכי המקור והסנכרון עצמם:
config_sync_parser_duration_seconds{status="error"}
config_sync_apply_duration_seconds{status="error"}
config_sync_remediate_duration_seconds{status="error"}
מעקב אחרי משאבים באמצעות Google Cloud שירות מנוהל ל-Prometheus
השירות המנוהל של Google Cloud ל-Prometheus הוא פתרון מנוהל לחלוטין של Google Cloudלמספר עננים, למדדים של Prometheus. הוא תומך בשני מצבים לאיסוף נתונים: איסוף מנוהל (המצב המומלץ) או איסוף נתונים בפריסה עצמית. כדי להגדיר מעקב אחרי סנכרון תצורות באמצעות השירות המנוהל של Google Cloud ל-Prometheus במצב איסוף מנוהל, צריך לבצע את השלבים הבאים.
מפעילים את Managed Prometheus באשכול לפי ההוראות במאמר הגדרת איסוף מנוהל.
שומרים את המניפסט לדוגמה הבא בתור
pod-monitoring-config-sync-monitoring.yaml. המניפסט הזה מגדיר משאב PodMonitoring כדי לאסוף את המדדים של "סנכרון הגדרות" ביציאה8675של ה-Podotel-collector-*במרחב השמותconfig-management-monitoring. המשאב PodMonitoring משתמש בבורר תוויות של Kubernetes כדי למצוא את ה-Pod שלotel-collector-*.apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: config-sync-monitoring namespace: config-management-monitoring spec: selector: matchLabels: app: opentelemetry component: otel-collector endpoints: - port: 8675 interval: 10sמחילים את המניפסט על האשכול:
kubectl apply -f pod-monitoring-config-sync-monitoring.yaml
כדי לוודא שנתוני Prometheus מיוצאים, משתמשים בדף Metrics Explorer של Cloud Monitoring במסוף Google Cloud , לפי ההוראות במאמר נתוני שירות מנוהל ל-Prometheus ב-Cloud Monitoring.