פתרון בעיות באופרטור AlloyDB Omni Kubernetes

בוחרים גרסת תיעוד:

בדף הזה מוסבר איך לפתור בעיות באופרטור AlloyDB Omni Kubernetes, כולל פתרונות עקיפים לבעיות מוכרות.

איסוף מידע על תוצאות ניפוי הבאגים

בקטעים הבאים מוסבר איך לאסוף יומנים והגדרות לצורך ניפוי באגים.

אחזור יומנים מתרמילי אופרטורים

כדי לאחזר יומנים מהפודים של האופרטור, מריצים את הפקודות הבאות:

kubectl logs deployments/fleet-controller-manager -c fleet-manager -n alloydb-omni-system > alloydb-omni-system-fleet-controller-manager.out
kubectl logs deployments/local-controller-manager -c local-manager -n alloydb-omni-system > alloydb-omni-system-local-controller-manager.out

אחזור יומנים של Pod של מסד נתונים

כדי לאחזר את היומנים של pod מסד הנתונים, מריצים את הפקודות הבאות:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl logs -c database ${DB_POD} -n DB_CLUSTER_NAMESPACE > ${DB_POD}.log
kubectl logs -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -c database -n DB_CLUSTER_NAMESPACE > dbcluster_DB_CLUSTER_NAME.out

היומנים הבאים הם דוגמאות לבדיקות תקינות מוצלחות של מסד נתונים:

I0813 11:01:49.210051      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196796      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196853      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.209824      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197013      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197093      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.210010      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197368      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197425      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.210416      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"

אחזור הקובץ postgresql.log

כדי לאחזר את postgresql.log, מריצים את הפקודה הבאה:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE -it ${DB_POD} -- cat /obs/diagnostic/postgresql.log > dbcluster_DB_CLUSTER_NAME_postgresql.log

אחזור קובץ ה-YAML של DBInstance

כדי לאחזר את קובץ ה-YAML של DBInstance, מריצים את הפקודה הבאה:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml

אחזור הגדרות ויומנים לתרחישי HA

כדי לאחזר הגדרות ויומנים שספציפיים לתרחישים של זמינות גבוהה (HA), מריצים את הפקודות הבאות:

kubectl get replicationconfig.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > replicationconfig_DB_CLUSTER_NAME.yaml
kubectl get deletestandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > deletestandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > createstandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get failovers.alloydbomni.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > failovers_DB_CLUSTER_NAME.yaml

אחזור סטטוסים של Pod ו-STS

כדי לאחזר את הסטטוסים של pod ו-StatefulSet‏ (STS), מריצים את הפקודות הבאות:

DB_POD=$(kubectl get pod -n DB_CLUSTER_NAMESPACE -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -o jsonpath='{.items[0].metadata.name}')
kubectl describe pod ${DB_POD} -n DB_CLUSTER_NAMESPACE > pod_${DB_POD}.out
kubectl describe statefulset -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE > statefulset_DB_CLUSTER_NAME.out

זיהוי השגיאות

בקטעים הבאים מוסבר איך לזהות שגיאות.

חיפוש סטטוס שגיאה וקודי שגיאה

כדי לזהות את קוד השגיאה, בודקים את קובץ ה-YAML של DBCluster בקטע status. מידע נוסף זמין במסמכי התיעוד של קודי השגיאה.

כדי לאחזר את קובץ ה-YAML של DBCluster, מריצים את הפקודה הבאה:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml

מחפשים את criticalIncidents. הקטע הזה מכיל את קוד השגיאה ואת דוח הקריסות.

הנה כמה דוגמאות לcriticalIncidents:

status:
    certificateReference:
      certificateKey: ca.crt
      secretRef:
        name: dbs-al-cert-dr-mce
        namespace: dr
    conditions:
    -   lastTransitionTime: "2024-10-07T22:46:03Z"
    ...
    criticalIncidents:
    -   code: DBSE0304
      createTime: "2024-10-03T11:50:54Z"
      message: 'Healthcheck: Health check invalid result.'
      resource:
        component: healthcheck
        location:
          group: alloydbomni.internal.dbadmin.goog
          kind: Instance
          name: bc0f-dr-mce
          namespace: dr
          version: v1
      stackTrace:
      -   component: healthcheck
        message: 'DBSE0304: Healthcheck: Health check invalid result. rpc error: code
          = Code(10304) desc = DBSE0304: Healthcheck: Health check invalid result.
          dbdaemon/healthCheck: invalid timestamp read back from the healthcheck table.
          Lag is 384837.296269 seconds, wanted 35 seconds'

אפשר גם לאחזר את הסטטוס על ידי חילוץ שדות ספציפיים בפורמט JSON:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.status.criticalIncidents}' | jq

הפלט אמור להיראות כך:

[
  {
    "code": "DBSE0085",
    "createTime": "2024-03-14T05:41:37Z",
    "message": "Platform: Pod is unschedulable.",
    "resource": {
      "component": "provisioning",
      "location": {
        "group": "alloydb.internal.dbadmin.goog",
        "kind": "Instance",
        "name": "b55f-testdbcluster",
        "namespace": "dbs-system",
        "version": "v1"
      }
    },
    "stackTrace": [
      {
        "component": "provisioning",
        "message": "DBSE0085: Platform: Pod is unschedulable. 0/16 nodes are available: pod has unbound immediate PersistentVolumeClaims. preemption: 0/16 nodes are available: 16 No preemption victims found for incoming pod..: Pod is unschedulable"
      }
    ]
  }
]

אם הודעת השגיאה מתייחסת ל-Pod של מסד הנתונים, בודקים את המכונות ואת המשאבים של ה-Pod באותו מרחב שמות:

kubectl get instances.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > instance_DB_CLUSTER_NAME.yaml
kubectl get pods -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE

בעיות מוכרות

בקטע הזה מתוארות בעיות מוכרות ודרכים לעקיפת הבעיות באופרטור AlloyDB Omni. בנתוני הגרסה מופיעה רשימה מלאה של הודעות על גרסאות, תיקוני באגים ועדכוני אבטחה.

הנפקת האישור נכשלה ב-cert-manager

אופרטור AlloyDB Omni משתמש ב-cert-manager כדי להקצות אישורי Transport Layer Security (‏TLS) לאופרטור ולאשכולות של מסדי הנתונים. בגרסה 1.21.2 של cert-manager ובגרסאות קודמות, מרוץ תהליכים ידוע (בעיה מספר 6331 ב-cert-manager) עלול לגרום לכך שהנפקת האישור תיכשל ותיכנס להשהיה של שעה לפני ניסיון חוזר.

גרסאות שהושפעו

אופרטור AlloyDB Omni בגרסה 1.0.0 ואילך עם cert-manager בגרסה 1.21.2 ומטה.

תסמינים

כשהבעיה הזו מתרחשת, יכול להיות שתבחינו בתסמינים הבאים:

  • משאב DBCluster נשאר בשלב DBClusterWaitingForCertificate, והזמן הקצוב ליצירה או לשדרוג של אשכול מסד הנתונים מסתיים.
  • התקנת Helm של אופרטור AlloyDB Omni נכשלת כי משאב Certificate, כמו local-serving-cert במרחב השמות alloydb-omni-system, לא מוכן.
  • תנאי הסטטוס של משאב Certificate כוללים את ההודעה CSR not signed by referenced private key עם הסיבה Failed או ErrorKeyMatch.

כדי למצוא את המשאבים של Certificate שהבעיה משפיעה עליהם, מריצים את הפקודה הבאה:

kubectl get certificates.cert-manager.io --all-namespaces \
    -o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.metadata.name}{"\t"}{.status.conditions[*].message}{"\n"}{end}' \
    | grep "CSR not signed by referenced private key"

הפלט מציג את מרחב השמות, השם והודעות סטטוס התנאי של כל משאב Certificate שהושפע. אם תציגו משאב Certificate מושפע בפורמט YAML, השדה status שלו יהיה דומה לזה:

status:
  conditions:
  - message: 'The certificate request has failed to complete and will be retried: Error generating certificate template: CSR not signed by referenced private key'
    reason: Failed
    status: "False"
    type: Issuing
  failedIssuanceAttempts: 1

דרך לעקיפת הבעיה

כדי למנוע התנגשויות בעדכונים של הבקר ולהפחית את משך ההשהיה לפני ניסיון חוזר של בקשות אישורים שנכשלו משעה ל-15 שניות, שדרגו את cert-manager באמצעות ה-Feature Gate‏ ServerSideApply ומשכי זמן מופחתים של השהיה לפני ניסיון חוזר:

helm upgrade cert-manager oci://quay.io/jetstack/charts/cert-manager \
    --version CERT_MANAGER_VERSION \
    --namespace cert-manager \
    --reuse-values \
    --set featureGates="ServerSideApply=true" \
    --set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CERT_MANAGER_VERSION: הגרסה של cert-manager שמותקנת באשכול Kubernetes, למשל v1.21.2. כדי למצוא את הגרסה המותקנת, מריצים את הפקודה helm list --namespace cert-manager.

אחרי שהבקר cert-manager מופעל מחדש, מוודאים שכל האישורים מציגים את הערך True בעמודה READY:

kubectl get certificates.cert-manager.io --all-namespaces

אם ההתקנה של אופרטור AlloyDB Omni נכשלה בגלל הבעיה הזו, צריך להפעיל את ההתקנה מחדש.

שדרוג גרסה משנית של תחזוקה עם זמן השבתה קצר מפסיק להתקדם באשכול משני של מסד נתונים

גרסאות שהושפעו

אופרטור AlloyDB Omni מגרסה 1.8.0 ואילך.

תסמינים

כשמשדרגים או משנמכים גרסה משנית של אשכול מסדי נתונים עם רפליקציה בין מרכזי נתונים, שיש לו גיבויים בזמינות גבוהה (HA), הפעולה מפסיקה להתקדם אחרי שדרוג הגיבוי הראשון. המשאב DBCluster נשאר במצב DBCUpgradeInProgress=True עם הסיבה DBCUpgradeFlowBegins.

דרך לעקיפת הבעיה

  1. משביתים את התחזוקה עם זמן השבתה קצר (LDTM) באשכול מסד הנתונים המשני, כדי שאופרטור AlloyDB Omni ישלים את השדרוג באמצעות תהליך העבודה הרגיל של שדרוג הדרגתי:

    kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        dbcluster.dbadmin.goog/enableLDTM=false \
        --namespace DB_CLUSTER_NAMESPACE \
        --overwrite
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DB_CLUSTER_NAME: השם של המשאב המשני ב-DBCluster.
    • ‫DB_CLUSTER_NAMESPACE: מרחב השמות של המשאב המשני ב-DBCluster.
  2. מוודאים שהשדרוג הושלם ושהמשאב DBCluster הגיע לשלב DBClusterReady:

    kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    
  3. מפעילים מחדש את התחזוקה עם זמן השבתה קצר באשכול מסד הנתונים המשני, כדי שהמשאב DBCluster ישמור על היכולת לתחזוקה עם זמן השבתה קצר אם הוא יקודם לאשכול מסד נתונים ראשי:

    kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        dbcluster.dbadmin.goog/enableLDTM=true \
        --namespace DB_CLUSTER_NAMESPACE \
        --overwrite
    

סוכן המעקב נתקל בשגיאות הרשאה של cgroups אחרי הפעלת שכפול בין מרכזי נתונים

גרסאות שהושפעו

‫אופרטור AlloyDB Omni 1.9.0.

תסמינים

אחרי שמפעילים את השכפול בין מרכזי נתונים, סוכן המעקב נתקל בשגיאות הרשאה ביומני הקונטיינר כשהוא מנסה לאסוף מידע על cgroups.

דרך לעקיפת הבעיה

  1. מציגים את רשימת ה-Pods של מסד הנתונים באשכול המשני של מסד הנתונים כדי למצוא את השם של ה-Pod של מסד הנתונים במורד הזרם:

    kubectl get pods \
        --selector alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database \
        --namespace DB_CLUSTER_NAMESPACE
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DB_CLUSTER_NAME: השם של המשאב המשני ב-DBCluster.
    • ‫DB_CLUSTER_NAMESPACE: מרחב השמות של המשאב המשני ב-DBCluster.
  2. מוחקים את ה-Pod של מסד הנתונים במורד הזרם כדי שאופרטור AlloyDB Omni ייצור מחדש ויפעיל מחדש את ה-Pod:

    kubectl delete pod DB_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    מחליפים את DB_POD_NAME בשם של Pod מסד הנתונים במורד הזרם מהשלב הקודם.

אשכול מסד הנתונים מפעיל כל הזמן יתירות כשל אוטומטית

אם המשאב DBCluster יוצר כמה מעברים אוטומטיים לגיבוי במקרה של כשל, אחד אחרי השני, בצעו את הבדיקות הבאות:

  1. מציגים את המשאבים של Failover ב-DBCluster ומשווים בין חותמות הזמן של היצירה שלהם:

    kubectl get failover.alloydbomni.dbadmin.goog \
        --selector failover.dbadmin.goog/dbcluster=DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DB_CLUSTER_NAME: השם של המשאב ב-DBCluster.
    • ‫DB_CLUSTER_NAMESPACE: מרחב השמות של המשאב DBCluster.
  2. מתחברים ל-Pod של מסד הנתונים הראשי במסד הנתונים alloydbadmin ובודקים את תקינות מסד הנתונים:

    SELECT * FROM healthcheck;
    

    מוודאים שחותמת הזמן של בדיקת התקינות האחרונה היא עדכנית, ושהבדיקות פועלות במרווחי הזמן הצפויים. אם המכונה הראשית לא תקינה, בודקים את הקובץ postgresql.log כדי להבין למה המכונה נכשלה. מידע נוסף על אחזור יומנים זמין במאמר פתרון בעיות באופרטור AlloyDB Omni Kubernetes.

אם אתם משתמשים במספר גדול של אשכולות של מסדי נתונים באשכול Kubernetes אחד, או אם יש לכם אשכולות של מסדי נתונים עם הקצאת משאבים נמוכה מדי, יכול להיות שתהיה חריגה מהזמן הקצוב לתפוגה של בדיקות התקינות של יתירות הכשל האוטומטית, או שהבדיקות לא יצליחו להתחבר. אם מופיעה הודעת שגיאה שמתחילה ב-HealthCheckProber: health check for instance failed, עיינו בתיקונים המומלצים במאמר פתרון בעיות בתיקון מכונות. כדי לצמצם או למנוע מעבר אוטומטי לגיבוי במקרה של כשל, אתם יכולים גם לבצע את הפעולות הבאות:

אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר למערכת חלופית

במהלך יתירות כשל או מעבר לזמינות גבוהה (HA), אופרטור AlloyDB Omni מגדר את המכונה הראשית הקודמת במהלך השלב StopPrimary על ידי שינוי השם של קובצי PG_VERSION ל-PG_VERSION.disabled גם בספריית הנתונים ברמה הבסיסית (root) ב-/pgdata/db/PG_VERSION.disabled וגם בכל ספריית משנה של מסד הנתונים ב-/pgdata/db/base/OID/PG_VERSION.disabled. אם יתירות הכשל או המעבר נכשלים לפני שהמכונה במצב המתנה מקודמת, והחזרה האוטומטית למצב הקודם לא מתרחשת או נכשלת, המכונה הראשית הקודמת נשארת מגודרת והמשאב DBCluster נשאר תקוע בשלב של חזרה למצב הקודם שנמצא בתהליך או שנכשל.

גרסאות שהושפעו

‫אופרטור AlloyDB Omni מגרסה 1.0.0 ואילך.

תסמינים

כשהבעיה הזו מתרחשת, יכול להיות שתבחינו בתסמינים הבאים:

  • השדה status.phase של המשאב DBCluster נשאר ב-DBClusterFailoverInProgress, ב-DBClusterSwitchoverInProgress, ב-DBClusterFailoverRollbackFailed או ב-DBClusterSwitchoverRollbackFailed.
  • התנאי HAReady במשאב DBCluster הוא status: "False" עם הסיבה FailoverInProgress או SwitchoverInProgress.
  • ‫המשאב Failover (failovers.alloydbomni.dbadmin.goog) או Switchover (switchovers.alloydbomni.dbadmin.goog) נמצא במצב Failed או Failed_RollbackFailed.
  • השדה status.internal.phase של המשאב Failover או Switchover נשאר בשלב שלפני PromoteStandby, כמו StopPrimary, או נשאר בשלב PromoteStandby במשך שעה או יותר בלי לקדם את המכונה במצב המתנה.
  • ה-Pod של מסד הנתונים הראשי לא מצליח להפעיל את PostgreSQL ומתעד שגיאה שמציינת שהקובץ PG_VERSION חסר כי השם של PG_VERSION שונה ל-PG_VERSION.disabled ב-/pgdata/db/PG_VERSION.disabled וב-/pgdata/db/base/OID/PG_VERSION.disabled.
  • אם בשחזור ידני קודם שוחזר רק קובץ /pgdata/db/PG_VERSION ברמה העליונה, וקבצי PG_VERSION.disabled נשארו בספריות המשנה של /pgdata/db/base/OID/, פעולות pg_basebackup הבאות במכונות במצב המתנה נכשלות ומופיעה השגיאה הבאה ביומני PostgreSQL במכונה הראשית:

    XX000:ERROR: [basebackup.c:1549] invalid segment number 0 in file "PG_VERSION.disabled"
    

דרך לעקיפת הבעיה

כדי לבטל באופן ידני את הגידור של המכונה הראשית הקודמת ולשחזר את המשאב DBCluster:

  1. בודקים את המשאבים החיצוניים והפנימיים של Failover או Switchover במרחב השמות של אשכול מסד הנתונים כדי לבדוק את השלב שלהם ולזהות את המכונה הראשית הקודמת (oldPrimary) ואת המכונה במצב המתנה (newPrimary):

    kubectl get failovers.alloydbomni.dbadmin.goog,switchovers.alloydbomni.dbadmin.goog,failovers.alloydbomni.internal.dbadmin.goog,instanceswitchovers.alloydbomni.internal.dbadmin.goog \
        --namespace DB_CLUSTER_NAMESPACE \
        -o yaml
    

    מחליפים את DB_CLUSTER_NAMESPACE במרחב השמות של המשאב DBCluster.

    מוודאים שהערך של status.internal.phase לא גדול מהערך של PromoteStandby. אם ה-Pod של מסד הנתונים במצב המתנה פועל, מוודאים ש-PostgreSQL במכונה במצב המתנה עדיין נמצא במצב שחזור לקריאה בלבד:

    kubectl exec -c database STANDBY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        psql -U alloydbadmin -d alloydbadmin -c "SELECT pg_is_in_recovery();"
    

    מחליפים את STANDBY_POD_NAME בשם של ה-Pod של מסד הנתונים במצב המתנה, בפורמט al-STANDBY_INSTANCE_NAME-0, כאשר STANDBY_INSTANCE_NAME הוא הערך של status.internal.newPrimary.

    מוודאים שהשאילתה מחזירה את הערך t (true), או שה-Pod של מסד הנתונים במצב המתנה הופסק. אחרי שמוודאים שהמכונה במצב המתנה לא קודמה, מוחקים את המשאב Instance במצב המתנה כדי למנוע את הקידום שלו במהלך השחזור:

    kubectl delete instances.alloydbomni.internal.dbadmin.goog STANDBY_INSTANCE_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    מחליפים את STANDBY_INSTANCE_NAME בשם של המשאב Instance במצב המתנה מהשדה status.internal.newPrimary.

  2. בודקים את ספריית הנתונים /pgdata/db ב-Pod של מסד הנתונים הראשי כדי למצוא את הקבצים PG_VERSION ו-PG_VERSION.disabled:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        find /pgdata/db -type f -name "PG_VERSION*"
    

    מחליפים את PRIMARY_POD_NAME בשם של Pod מסד הנתונים הראשי, בפורמט al-PRIMARY_INSTANCE_NAME-0, כאשר PRIMARY_INSTANCE_NAME הוא הערך של status.internal.oldPrimary.

    אם אף אחד מהקבצים PG_VERSION או PG_VERSION.disabled לא קיים ב-/pgdata/db, אי אפשר לשחזר את ספריית הנתונים של מסד הנתונים וצריך לשחזר אותה מגיבוי.

    אם קיימים קובצי PG_VERSION.disabled, משחזרים את PG_VERSION גם בספריית הנתונים ברמה הבסיסית (root) ב-/pgdata/db/PG_VERSION.disabled וגם בכל ספריית משנה של מסד הנתונים ב-/pgdata/db/base/OID/PG_VERSION.disabled. הפקודה הבאה משנה את השם של כל קובץ PG_VERSION.disabled בחזרה ל-PG_VERSION, או מסירה את קובץ ה-PG_VERSION.disabled אם קובץ ה-PG_VERSION התואם כבר שוחזר:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        sh -c 'find /pgdata/db -type f -name "PG_VERSION.disabled" | while read -r f; do
          target="${f%.disabled}"
          if [ -f "$target" ]; then rm -f "$f"; else mv "$f" "$target"; fi
        done'
    
  3. מפעילים מחדש את שירות PostgreSQL בתוך ה-Pod של מסד הנתונים הראשי:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        /scripts/supervisor/bin/supervisorctl.par \
        -c /scripts/supervisor/etc/supervisord.conf restart postgres
    
  4. כדי לנקות את המצב של מעבר לגיבוי במקרה חירום או מעבר למצב פעיל שנכשלו, משתמשים באחת מהאפשרויות הבאות:

    • אפשרות 1: מוחקים את המשאבים Failover או Switchover ומפעילים מחדש את בקרי המפעיל. מוחקים את המשאבים החיצוניים והפנימיים של Failover, ומפעילים מחדש את הפריסות של fleet-controller-manager ו-local-controller-manager במרחב השמות alloydb-omni-system כדי לשחרר נעילות בזיכרון:

      kubectl delete failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE
      kubectl delete failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE
      kubectl rollout restart deployment/fleet-controller-manager deployment/local-controller-manager \
          --namespace alloydb-omni-system
      

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫FAILOVER_NAME: השם של המשאב failovers.alloydbomni.dbadmin.goog.
      • ‫INTERNAL_FAILOVER_NAME: השם של המשאב failovers.alloydbomni.internal.dbadmin.goog.

      אם המעבר נתקע במקום יתירות כשל, צריך למחוק את המשאבים switchovers.alloydbomni.dbadmin.goog ו-instanceswitchovers.alloydbomni.internal.dbadmin.goog.

    • אפשרות 2: מסמנים את המשאבים של Failover כמשאבים שהוחזרו לגרסה קודמת. האפשרות הזו רלוונטית רק למשאבי Failover תקועים. אם משאב Switchover תקוע, צריך להשתמש באפשרות 1. עורכים את משאב המשנה status בשני המשאבים failovers.alloydbomni.dbadmin.goog ו-failovers.alloydbomni.internal.dbadmin.goog:

      kubectl edit failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE \
          --subresource=status
      kubectl edit failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE \
          --subresource=status
      

      בקטע status של כל משאב Failover, מגדירים את endTime לחותמת זמן אחרי createTime, מגדירים את internal.phase ל-RollbackSucceeded ומגדירים את state ל-Failed, כמו בדוגמה הבאה:

      apiVersion: alloydbomni.dbadmin.goog/v1
      kind: Failover
      status:
        createTime: "2026-09-01T22:07:42Z"
        endTime: "2026-09-01T22:07:50Z"
        internal:
          attempt: 0
          lastPhaseChangeTime: "2026-09-01T22:07:39Z"
          newPrimary: 4274-dbcluster-sample
          newPrimaryZone: ""
          oldPrimary: dafd-dbcluster-sample
          phase: RollbackSucceeded
        observedGeneration: 2
        reconciled: true
        startTime: "2026-09-01T22:07:39Z"
        state: Failed
      
  5. מעדכנים את משאב המשנה status של המשאב DBCluster כדי לנקות את latestFailoverStatus ולהגדיר את phase לערך DBClusterReconciling:

    kubectl patch dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE \
        --subresource=status \
        --type=merge \
        --patch '{"status":{"latestFailoverStatus":null,"phase":"DBClusterReconciling"}}'
    

    מחליפים את DB_CLUSTER_NAME בשם של המשאב ב-DBCluster.

    אם התנאי HAReady ב-status.conditions עדיין מונע התאמה כי השדה reason שלו מוגדר כ-FailoverInProgress או כ-SwitchoverInProgress, עורכים את משאב המשנה status של המשאב DBCluster ומסירים את רשומת התנאי HAReady מ-status.conditions כדי שאופרטור AlloyDB Omni ייצור אותה מחדש במהלך ההתאמה, או מגדירים את השדה reason שלו לערך CamelCase חוקי ולא ריק, כמו ClusterReady:

    kubectl edit dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE \
        --subresource=status
    
  6. מוודאים שהאופרטור AlloyDB Omni מתאים את המכונה במצב המתנה ומחזיר את המשאב DBCluster לשלב DBClusterReady:

    kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

ניפוי באגים של בעיות בזיכרון

בקטעים הבאים מוסבר איך לנפות באגים שקשורים לבעיות בזיכרון.

הפעלה וצילום מצב הערימה (heapdump)

מומלץ להפעיל את התכונה הזו רק למטרות פתרון בעיות. אל תשכחו לכבות אותו אחר כך.

כדי ליצור heapdump, מבצעים את השלבים הבאים:

  1. משנים את פריסת האופרטור במרחב השמות alloydb-omni-system עם השמות fleet-controller-manager ו-local-controller-manager.
  2. מוסיפים את הארגומנט הבא ל-pod --pprof-address=:8642 או לכל יציאה זמינה אחרת.
  3. מחכים שה-Pod של הבקר יופעל מחדש.
  4. מעבירים את היציאה הקודמת ליציאה אחרת. לדוגמה:

    kubectl port-forward FLEET_CONTROLLER_MANAGER_POD_NAME -n alloydb-omni-system 8642:8642
    
  5. בטרמינל אחר, מריצים את הפקודה go tool pprof http://localhost:8642/debug/pprof/heap. אם לא משתמשים ב-8642, צריך לשנות את היציאה כך שתתאים ליציאה הקודמת.

  6. מתחברים לכתובת ומריצים פקודות לפתרון בעיות. לדוגמה: top.

  7. אחרי שמסיימים לפתור בעיות, מבטלים את שלב 1 על ידי הסרת הארגומנט ומחכים שה-pod יופעל מחדש.

קביעת מספר המשאבים שהאופרטור צופה בהם

כדי להבין אילו משאבים נמצאים בשימוש, מריצים את הפקודות הבאות:

kubectl get backuprepositories -A  | wc -l
kubectl get failovers -A  | wc -l
kubectl get instancebackupplans -A  | wc -l
kubectl get instancebackups -A  | wc -l
kubectl get instancerestores -A  | wc -l
kubectl get instances -A  | wc -l
kubectl get instanceswitchovers -A  | wc -l
kubectl get lrojobs -A  | wc -l
kubectl get replicationconfigs -A  | wc -l
kubectl get sidecars -A  | wc -l
kubectl get deployments -A  | wc -l
kubectl get statefulsets -A  | wc -l
kubectl get certificates.cert-manager.io -A  | wc -l
kubectl get issuers.cert-manager.io -A  | wc -l
kubectl get configmaps -A  | wc -l
kubectl get persistentvolumeclaims -A  | wc -l
kubectl get persistentvolumes -A  | wc -l
kubectl get pods -A  | wc -l
kubectl get secrets -A  | wc -l
kubectl get services -A  | wc -l
kubectl get storageclasses.storage.k8s.io -A  | wc -l

לדוגמה, אם יש הרבה סודות, יכול להיות שתופיע הודעת שגיאה על מחסור בזיכרון (OOM).

kubectl get secrets -A | wc -l

ניפוי באגים מתקדם של HA

בקטע הזה יש הפניות למשאבים שהם הטמעות פנימיות. הם עשויים להשתנות בכל שלב, ואין התחייבות לתאימות לדורות קודמים. הפעילו תיקונים ידניים רק על בעיות במסדי נתונים שלא נמצאים בסביבת הייצור. אם תבצעו את הפעולות האלה, יכול להיות שלא תוכלו לשחזר את מסד הנתונים.

ההגדרה של זמינות גבוהה ב-AlloyDB Omni כוללת שלושה שלבים:

  1. מגדירים את השרת הראשי כך שיקבל חיבור מהשרת המשני.
  2. מאתחלים את השרת החלופי ומחברים אותו לשרת הראשי.
  3. מגדירים את ההגדרות הראשיות כדי שהחיבור יהיה סינכרוני.

שלב 2 הוא בדרך כלל האיטי ביותר. בהתאם לגודל מסד הנתונים, יכול להיות שהתהליך יימשך כמה שעות.

לכל מופע שמשכפל מופע צריך להיות מצורף replicationconfig. לדוגמה:

kubectl get replicationconfigs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE

פלט לדוגמה:

NAME                 PARENT     TYPE       ROLE         READY   HEALTHY   SYNC_U   SYNC_D   SLOT_LOG   SLOT_REPLAY
cd58-adb--58ea-adb   cd58-adb   Physical   Upstream     True    True      true
ds-58ea-adb          58ea-adb   Physical   Downstream   True    True               true

המפרט של הגדרת הרפליקציה מציין את ההגדרות הרצויות, והסטטוס משקף את המצב בפועל כפי שהוא נקרא ממסד הנתונים. אם יש חוסר התאמה בין המפרט לסטטוס, סימן שהבקר עדיין מנסה להחיל את השינוי, או שיש שגיאה שמונעת את החלת השינוי. השינוי הזה יופיע בשדות הסטטוס.

משימות בהמתנה

צריכות להיות שתי קבוצות של משימות פנימיות שעוקבות אחרי תהליך העבודה של המתנה:

  • createstandbyjobs.alloydbomni.internal.dbadmin.goog
  • deletestandbyjobs.alloydbomni.internal.dbadmin.goog

אם נראה שההגדרה נתקעה, אפשר לראות את המשימות שקשורות לאשכול מסד הנתונים (DBC). יכול להיות שבהודעות השגיאה של המשימה יוסבר באיזה שלב נמצאת ההגדרה. המשימות נמחקות באופן אוטומטי זמן מה לאחר שהן מסתיימות, כך שאם אין משימות בתהליך, יכול להיות שלא תראו משימות כלל.

kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE

הפלט אמור להיראות כך:

apiVersion: alloydbomni.dbadmin.gdc.goog/v1
  kind: CreateStandbyJob
  metadata:
    creationTimestamp: "2024-11-05T03:34:26Z"
    finalizers:
    -   createstandbyjob.dbadmin.goog/finalizer
    generation: 1804
    labels:
      dbs.internal.dbadmin.goog/dbc: foo-ha-alloydb1-clone1
    name: foo-ha-alloydb1-clone1--ac00-foo-ha-alloydb1-clone1--6036-foo-ha-alloydb1-clone1-1730777666
    namespace: db
    resourceVersion: "11819071"
    uid: 1f24cedf-b326-422f-9405-c96c8720cd90
  spec:
    attempt: 3
    cleanup: false
    currentStep: SetupSynchronous
    currentStepTime: "2024-11-05T03:45:31Z"
    metadata:
      dbc: foo-ha-alloydb1-clone1
      primaryInstance: ac00-foo-ha-alloydb1-clone1
      retryError: 'etcdserver: leader changed'
      standbyInstance: 6036-foo-ha-alloydb1-clone1
    requeueTime: "2024-11-05T18:33:03Z"
    startTime: "2024-11-05T03:36:56Z"

אימות ראשי

הדבר הראשון שצריך לבדוק הוא שהדומיין הראשי מוגדר בצורה נכונה. צריך להיות פרופיל שכפול לכל המתנה. אם הערך של isSynchronous הוא true במפרט ובסטטוס, ההגדרה אמורה להסתיים. אם הערך של isSynchronous הוא False במפרט ובסטטוס, סימן שהאשכול עדיין לא הגיע לשלב 3. בודקים את המשימות במצב המתנה כדי לראות אם יש משימות שפועלות, ואם יש בהן הודעות שגיאה.

  replication:
    profiles:
    -   isActive: true
      isSynchronous: true
      name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
      password:
        name: ha-rep-pw-dbcluster-sample
        namespace: default
      passwordResourceVersion: "896080"
      role: Upstream
      type: Physical
      username: alloydbreplica

מוודאים שההערה disableHealthcheck היא false. צריך להשבית אותו רק במהלך מעבר לגיבוי בעת כשל או מעבר.

apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
  annotations:
    dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
    dbs.internal.dbadmin.goog/disableHealthcheck: "false"
    dr-secondary: "false"
    forceReconcile: "1730414498"

שאילתות

כדי לוודא שהמשאבים ב-pod של מסד הנתונים מוגדרים כמו שצריך, נכנסים למסד הנתונים בתור משתמש אדמין alloydbadmin. ואז מריצים את השאילתות הבאות:

משבצת רפליקציה

\x on
select * from pg_replication_slots;
-[ RECORD 1 ]-------+---------------------------------------------
slot_name           | d85d_dbcluster_sample
plugin              |
slot_type           | physical
datoid              |
database            |
temporary           | f
active              | t
active_pid          | 250
xmin                | 16318
catalog_xmin        |
restart_lsn         | 0/CA657F0
confirmed_flush_lsn |
wal_status          | reserved
safe_wal_size       |
two_phase           | f

מצב תקין הוא מצב שבו יש משבצת רפליקציה עם אותו שם כמו המכונה במצב המתנה. אם אין משבצת שכפול, סימן שהשלב הראשון בהגדרה לא הושלם בהצלחה.

אם הערך של active הוא לא t (true), המשמעות היא שהגיבוי לא מתחבר מסיבה כלשהי (רשת, הגיבוי לא סיים את ההגדרה וכו'), וכנראה שצריך להמשיך את ניפוי הבאגים בצד הגיבוי.

נתונים סטטיסטיים של שכפול

\x on
select * from pg_stat_replication;
-[ RECORD 1 ]----+----------------------------------------------------------------
pid              | 250
usesysid         | 16385
usename          | alloydbreplica
application_name | d85d_dbcluster_sample
client_addr      | 10.54.79.196
client_hostname  | gke-samwise-default-pool-afaf152d-8197.us-central1-a.c.foo
client_port      | 24914
backend_start    | 2024-10-30 21:44:26.408261+00
backend_xmin     |
state            | streaming
sent_lsn         | 0/CA64DA8
write_lsn        | 0/CA64DA8
flush_lsn        | 0/CA64DA8
replay_lsn       | 0/CA64DA8
write_lag        |
flush_lag        |
replay_lag       |
sync_priority    | 2
sync_state       | sync
reply_time       | 2024-11-04 22:08:04.370838+00

אם אין מזהה כזה, זה אומר שאין חיבור פעיל. הערך של sync_state צריך להיות sync. אם הערך הוא לא sync, סימן שהשלב האחרון בהגדרה לא הושלם. כדי לקבל פרטים נוספים, כדאי לעיין ביומנים או במשימות.

אימות בהמתנה

למצב ההמתנה צריך להיות פרופיל רפליקציה שתואם לאותו פרופיל של המצב הראשי:

  replication:
    profiles:
    -   host: 10.54.79.210
      isActive: true
      isSynchronous: true
      name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
      passwordResourceVersion: "896080"
      port: 5432
      role: Downstream
      type: Physical
      username: alloydbreplica

אם אין חיבור מהשרת המשני לשרת הראשי, יש שתי סיבות נפוצות:

  1. ההגדרה של מכשיר הגיבוי עדיין מתבצעת.
  2. מופיעה הודעת שגיאה במכשיר החלופי בזמן ההגדרה או הניסיון להתחבר.

כדי לבדוק אם אפשרות 1 מתרחשת, צריך לקבל את היומנים של pod מסד הנתונים ולחפש פקודות רישום ביומן בשם dbdaemon/setupPhysicalReplicationDownstream. ריכזנו כאן דוגמאות ליומני הגדרה מוצלחים:

I1104 22:42:42.604871     103 replication.go:107] "dbdaemon/setupPhysicalReplicationDownstream: begin setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:42,605 INFO waiting for postgres to stop
2024-11-04 22:42:43,566 INFO stopped: postgres (exit status 0)
I1104 22:42:43.567590     103 replication.go:131] "dbdaemon/setupPhysicalReplicationDownstream: about to call pg_basebackup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample" cmd=["-h","10.54.79.210","-D","/mnt/disks/pgsql/pg_basebackup_data","-U","alloydbreplica","-v","-P","-p","5432","-w","-c","fast"]
I1104 22:42:44.206403     103 replication.go:139] "dbdaemon/setupPhysicalReplicationDownstream: pg_basebackup finished" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.206440     103 replication.go:141] "dbdaemon/setupPhysicalReplicationDownstream: replacing data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244749     103 replication.go:148] "dbdaemon/setupPhysicalReplicationDownstream: replaced data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244783     103 replication.go:150] "dbdaemon/setupPhysicalReplicationDownstream: Creating config files" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251565     103 replication.go:155] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql config file for log archiving" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251621     103 replication.go:160] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql auto config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251689     103 replication.go:165] "dbdaemon/setupPhysicalReplicationDownstream: Successfully wrote to config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:44,256 INFO spawned: 'postgres' with pid 271
2024-11-04 22:42:45,469 INFO success: postgres entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
I1104 22:42:45.469838     103 replication.go:174] "dbdaemon/setupPhysicalReplicationDownstream: backup replication configuration after changing replication config" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:45.476732     103 replication.go:179] "dbdaemon/setupPhysicalReplicationDownstream: finished standby setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"

אם יש שגיאת חיבור, בודקים את יומני ה-Pod של מסד הנתונים ואת קובץ היומן של מסד הנתונים ב-/obs/diagnostic/postgresql.log, כדי לראות מה השגיאה כשמנסים להתחבר. שגיאה נפוצה אחת היא שאין קישוריות רשת בין השרת הראשי לשרת הגיבוי.

תיקונים ידניים

הדרך הכי קלה לפתור בעיות בזמינות גבוהה היא להשבית את הזמינות הגבוהה ואז להפעיל אותה מחדש. כדי לעשות את זה, מגדירים את numberOfStandbys ל-0 ואז מאפסים אותו למספר הרצוי. אם השרתים החלופיים מושבתים, צריך לבצע את השלבים הבאים כדי לאפס באופן ידני את הגדרת הזמינות הגבוהה:

  1. מוחקים ידנית את המכונות במצב המתנה.
  2. מתחברים למסד הנתונים הראשי. מריצים שאילתה על משבצות השכפול הנוכחיות ומוחקים את משבצות השכפול של הגיבויים החמים שרוצים למחוק:

    select pg_drop_replication_slot('REPLICATION_SLOT_NAME');
    
  3. מוחקים מהמכונה הראשית את כל פרופילי הרפליקציה שרוצים למחוק.

אם המכונה לא הותאמה לאחרונה, אפשר לערוך את ערך ההערה forceReconcile. מגדירים את הערך המספרי של חותמת הזמן של הפעם האחרונה שבה ההערה עודכנה. המטרה היחידה של ההערה הזו היא לספק שדה שאפשר לעדכן כדי לאלץ התאמה חדשה.

apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
  annotations:
    dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
    dbs.internal.dbadmin.goog/disableHealthcheck: "false"
    dr-secondary: "false"
    forceReconcile: "1730414498"

אם משאב DBCluster נשאר תקוע במצב DBClusterFailoverInProgress,‏ DBClusterSwitchoverInProgress,‏ DBClusterFailoverRollbackFailed או DBClusterSwitchoverRollbackFailed כי המכונה הראשית מגודרת בקובצי PG_VERSION.disabled, קראו את המאמר אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר.

איסוף יומני ביקורת ויומנים של המנוע של מסד הנתונים

היומנים של המנוע של מסד הנתונים ויומני הביקורת זמינים כקבצים בתוך pod של מסד הנתונים (נדרשת גישת בסיס):

  • obs/diagnostic/postgresql.log
  • obs/diagnostic/postgresql.audit
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE ${DB_POD} -it -- /bin/bash

כשהחיבור למאגר של מסד הנתונים פעיל:

ls -l /obs/diagnostic/

פלט לדוגמה:

drwx--S--- 2 postgres postgres    4096 Aug 13 10:22 archive
-rw------- 1 postgres postgres  256050 Aug 13 13:25 postgresql.internal
-rw------- 1 postgres postgres 1594799 Aug 13 13:25 postgresql.log

איסוף מדדים של מסד הנתונים ושל pod של מסד הנתונים

אופרטור AlloyDB Omni מספק קבוצה של מדדים בסיסיים למנוע AlloyDB Omni ול-Pod שמארח אותו. המדדים זמינים כנקודות קצה (endpoints) של Prometheus ביציאה 9187. כדי לגשת לנקודות הקצה, צריך לזהות את שם ה-Pod של מסד הנתונים באמצעות התווית DBCluster ולהתחיל את ההעברה ליציאה אחרת באופן הבא:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl port-forward -n DB_CLUSTER_NAMESPACE ${DB_POD} 9187:9187

גישה למדדים של קבוצות Pod של מסדי נתונים

בטרמינל אחר:

curl http://localhost:9187/metrics | grep HELP

מידע נוסף על מעקב זמין במאמר מעקב אחרי AlloyDB Omni.

אפשר גם להגדיר את Prometheus כך שיגרד את המדדים באשכול Kubernetes. פרטים נוספים זמינים במאמר הגדרת זיהוי שירותים של Prometheus Kubernetes.