איסוף מידע על תוצאות ניפוי הבאגים
בקטעים הבאים מוסבר איך לאסוף יומנים והגדרות לצורך ניפוי באגים.
אחזור יומנים מתרמילי אופרטורים
כדי לאחזר יומנים מהפודים של האופרטור, מריצים את הפקודות הבאות:
kubectl logs deployments/fleet-controller-manager -c fleet-manager -n alloydb-omni-system > alloydb-omni-system-fleet-controller-manager.out
kubectl logs deployments/local-controller-manager -c local-manager -n alloydb-omni-system > alloydb-omni-system-local-controller-manager.out
אחזור יומנים של Pod של מסד נתונים
כדי לאחזר את היומנים של pod מסד הנתונים, מריצים את הפקודות הבאות:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl logs -c database ${DB_POD} -n DB_CLUSTER_NAMESPACE > ${DB_POD}.log
kubectl logs -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -c database -n DB_CLUSTER_NAMESPACE > dbcluster_DB_CLUSTER_NAME.out
היומנים הבאים הם דוגמאות לבדיקות תקינות מוצלחות של מסד נתונים:
I0813 11:01:49.210051 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196796 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196853 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.209824 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197013 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197093 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.210010 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197368 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197425 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.210416 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
אחזור הקובץ postgresql.log
כדי לאחזר את postgresql.log, מריצים את הפקודה הבאה:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE -it ${DB_POD} -- cat /obs/diagnostic/postgresql.log > dbcluster_DB_CLUSTER_NAME_postgresql.log
אחזור קובץ ה-YAML של DBInstance
כדי לאחזר את קובץ ה-YAML של DBInstance, מריצים את הפקודה הבאה:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml
אחזור הגדרות ויומנים לתרחישי HA
כדי לאחזר הגדרות ויומנים שספציפיים לתרחישים של זמינות גבוהה (HA), מריצים את הפקודות הבאות:
kubectl get replicationconfig.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > replicationconfig_DB_CLUSTER_NAME.yaml
kubectl get deletestandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > deletestandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > createstandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get failovers.alloydbomni.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > failovers_DB_CLUSTER_NAME.yaml
אחזור סטטוסים של Pod ו-STS
כדי לאחזר את הסטטוסים של pod ו-StatefulSet (STS), מריצים את הפקודות הבאות:
DB_POD=$(kubectl get pod -n DB_CLUSTER_NAMESPACE -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -o jsonpath='{.items[0].metadata.name}')
kubectl describe pod ${DB_POD} -n DB_CLUSTER_NAMESPACE > pod_${DB_POD}.out
kubectl describe statefulset -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE > statefulset_DB_CLUSTER_NAME.out
זיהוי השגיאות
בקטעים הבאים מוסבר איך לזהות שגיאות.
חיפוש סטטוס שגיאה וקודי שגיאה
כדי לזהות את קוד השגיאה, בודקים את קובץ ה-YAML של DBCluster בקטע status. מידע נוסף זמין במסמכי התיעוד של קודי השגיאה.
כדי לאחזר את קובץ ה-YAML של DBCluster, מריצים את הפקודה הבאה:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml
מחפשים את criticalIncidents. הקטע הזה מכיל את קוד השגיאה ואת דוח הקריסות.
הנה כמה דוגמאות לcriticalIncidents:
status:
certificateReference:
certificateKey: ca.crt
secretRef:
name: dbs-al-cert-dr-mce
namespace: dr
conditions:
- lastTransitionTime: "2024-10-07T22:46:03Z"
...
criticalIncidents:
- code: DBSE0304
createTime: "2024-10-03T11:50:54Z"
message: 'Healthcheck: Health check invalid result.'
resource:
component: healthcheck
location:
group: alloydbomni.internal.dbadmin.goog
kind: Instance
name: bc0f-dr-mce
namespace: dr
version: v1
stackTrace:
- component: healthcheck
message: 'DBSE0304: Healthcheck: Health check invalid result. rpc error: code
= Code(10304) desc = DBSE0304: Healthcheck: Health check invalid result.
dbdaemon/healthCheck: invalid timestamp read back from the healthcheck table.
Lag is 384837.296269 seconds, wanted 35 seconds'
אפשר גם לאחזר את הסטטוס על ידי חילוץ שדות ספציפיים בפורמט JSON:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.status.criticalIncidents}' | jq
הפלט אמור להיראות כך:
[
{
"code": "DBSE0085",
"createTime": "2024-03-14T05:41:37Z",
"message": "Platform: Pod is unschedulable.",
"resource": {
"component": "provisioning",
"location": {
"group": "alloydb.internal.dbadmin.goog",
"kind": "Instance",
"name": "b55f-testdbcluster",
"namespace": "dbs-system",
"version": "v1"
}
},
"stackTrace": [
{
"component": "provisioning",
"message": "DBSE0085: Platform: Pod is unschedulable. 0/16 nodes are available: pod has unbound immediate PersistentVolumeClaims. preemption: 0/16 nodes are available: 16 No preemption victims found for incoming pod..: Pod is unschedulable"
}
]
}
]
אם הודעת השגיאה מתייחסת ל-Pod של מסד הנתונים, בודקים את המכונות ואת המשאבים של ה-Pod באותו מרחב שמות:
kubectl get instances.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > instance_DB_CLUSTER_NAME.yaml
kubectl get pods -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE
בעיות מוכרות
בקטע הזה מתוארות בעיות מוכרות ודרכים לעקיפת הבעיות באופרטור AlloyDB Omni. בנתוני הגרסה מופיעה רשימה מלאה של הודעות על גרסאות, תיקוני באגים ועדכוני אבטחה.
הנפקת האישור נכשלה ב-cert-manager
אופרטור AlloyDB Omni משתמש ב-cert-manager כדי להקצות אישורי Transport Layer Security (TLS) לאופרטור ולאשכולות של מסדי הנתונים. בגרסה 1.21.2 של cert-manager ובגרסאות קודמות, מרוץ תהליכים ידוע (בעיה מספר 6331 ב-cert-manager) עלול לגרום לכך שהנפקת האישור תיכשל ותיכנס להשהיה של שעה לפני ניסיון חוזר.
גרסאות שהושפעו
אופרטור AlloyDB Omni בגרסה 1.0.0 ואילך עם cert-manager בגרסה 1.21.2 ומטה.
תסמינים
כשהבעיה הזו מתרחשת, יכול להיות שתבחינו בתסמינים הבאים:
- משאב
DBClusterנשאר בשלבDBClusterWaitingForCertificate, והזמן הקצוב ליצירה או לשדרוג של אשכול מסד הנתונים מסתיים. - התקנת Helm של אופרטור AlloyDB Omni נכשלת כי משאב
Certificate, כמוlocal-serving-certבמרחב השמותalloydb-omni-system, לא מוכן. - תנאי הסטטוס של משאב
Certificateכוללים את ההודעהCSR not signed by referenced private keyעם הסיבהFailedאוErrorKeyMatch.
כדי למצוא את המשאבים של Certificate שהבעיה משפיעה עליהם, מריצים את הפקודה הבאה:
kubectl get certificates.cert-manager.io --all-namespaces \
-o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.metadata.name}{"\t"}{.status.conditions[*].message}{"\n"}{end}' \
| grep "CSR not signed by referenced private key"
הפלט מציג את מרחב השמות, השם והודעות סטטוס התנאי של כל משאב Certificate שהושפע. אם תציגו משאב Certificate מושפע בפורמט YAML, השדה status שלו יהיה דומה לזה:
status:
conditions:
- message: 'The certificate request has failed to complete and will be retried: Error generating certificate template: CSR not signed by referenced private key'
reason: Failed
status: "False"
type: Issuing
failedIssuanceAttempts: 1
דרך לעקיפת הבעיה
כדי למנוע התנגשויות בעדכונים של הבקר ולהפחית את משך ההשהיה לפני ניסיון חוזר של בקשות אישורים שנכשלו משעה ל-15 שניות, שדרגו את cert-manager באמצעות ה-Feature Gate ServerSideApply ומשכי זמן מופחתים של השהיה לפני ניסיון חוזר:
helm upgrade cert-manager oci://quay.io/jetstack/charts/cert-manager \
--version CERT_MANAGER_VERSION \
--namespace cert-manager \
--reuse-values \
--set featureGates="ServerSideApply=true" \
--set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}"
מחליפים את מה שכתוב בשדות הבאים:
-
CERT_MANAGER_VERSION: הגרסה שלcert-managerשמותקנת באשכול Kubernetes, למשלv1.21.2. כדי למצוא את הגרסה המותקנת, מריצים את הפקודהhelm list --namespace cert-manager.
אחרי שהבקר cert-manager מופעל מחדש, מוודאים שכל האישורים מציגים את הערך True בעמודה READY:
kubectl get certificates.cert-manager.io --all-namespaces
אם ההתקנה של אופרטור AlloyDB Omni נכשלה בגלל הבעיה הזו, צריך להפעיל את ההתקנה מחדש.
שדרוג גרסה משנית של תחזוקה עם זמן השבתה קצר מפסיק להתקדם באשכול משני של מסד נתונים
גרסאות שהושפעו
אופרטור AlloyDB Omni מגרסה 1.8.0 ואילך.
תסמינים
כשמשדרגים או משנמכים גרסה משנית של אשכול מסדי נתונים עם רפליקציה בין מרכזי נתונים, שיש לו גיבויים בזמינות גבוהה (HA), הפעולה מפסיקה להתקדם אחרי שדרוג הגיבוי הראשון. המשאב DBCluster נשאר במצב DBCUpgradeInProgress=True עם הסיבה DBCUpgradeFlowBegins.
דרך לעקיפת הבעיה
משביתים את התחזוקה עם זמן השבתה קצר (LDTM) באשכול מסד הנתונים המשני, כדי שאופרטור AlloyDB Omni ישלים את השדרוג באמצעות תהליך העבודה הרגיל של שדרוג הדרגתי:
kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ dbcluster.dbadmin.goog/enableLDTM=false \ --namespace DB_CLUSTER_NAMESPACE \ --overwriteמחליפים את מה שכתוב בשדות הבאים:
-
DB_CLUSTER_NAME: השם של המשאב המשני ב-DBCluster. -
DB_CLUSTER_NAMESPACE: מרחב השמות של המשאב המשני ב-DBCluster.
-
מוודאים שהשדרוג הושלם ושהמשאב
DBClusterהגיע לשלבDBClusterReady:kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACEמפעילים מחדש את התחזוקה עם זמן השבתה קצר באשכול מסד הנתונים המשני, כדי שהמשאב
DBClusterישמור על היכולת לתחזוקה עם זמן השבתה קצר אם הוא יקודם לאשכול מסד נתונים ראשי:kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ dbcluster.dbadmin.goog/enableLDTM=true \ --namespace DB_CLUSTER_NAMESPACE \ --overwrite
סוכן המעקב נתקל בשגיאות הרשאה של cgroups אחרי הפעלת שכפול בין מרכזי נתונים
גרסאות שהושפעו
אופרטור AlloyDB Omni 1.9.0.
תסמינים
אחרי שמפעילים את השכפול בין מרכזי נתונים, סוכן המעקב נתקל בשגיאות הרשאה ביומני הקונטיינר כשהוא מנסה לאסוף מידע על cgroups.
דרך לעקיפת הבעיה
מציגים את רשימת ה-Pods של מסד הנתונים באשכול המשני של מסד הנתונים כדי למצוא את השם של ה-Pod של מסד הנתונים במורד הזרם:
kubectl get pods \ --selector alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database \ --namespace DB_CLUSTER_NAMESPACEמחליפים את מה שכתוב בשדות הבאים:
-
DB_CLUSTER_NAME: השם של המשאב המשני ב-DBCluster. -
DB_CLUSTER_NAMESPACE: מרחב השמות של המשאב המשני ב-DBCluster.
-
מוחקים את ה-Pod של מסד הנתונים במורד הזרם כדי שאופרטור AlloyDB Omni ייצור מחדש ויפעיל מחדש את ה-Pod:
kubectl delete pod DB_POD_NAME \ --namespace DB_CLUSTER_NAMESPACEמחליפים את
DB_POD_NAMEבשם של Pod מסד הנתונים במורד הזרם מהשלב הקודם.
אשכול מסד הנתונים מפעיל כל הזמן יתירות כשל אוטומטית
אם המשאב DBCluster יוצר כמה מעברים אוטומטיים לגיבוי במקרה של כשל, אחד אחרי השני, בצעו את הבדיקות הבאות:
מציגים את המשאבים של
Failoverב-DBClusterומשווים בין חותמות הזמן של היצירה שלהם:kubectl get failover.alloydbomni.dbadmin.goog \ --selector failover.dbadmin.goog/dbcluster=DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACEמחליפים את מה שכתוב בשדות הבאים:
-
DB_CLUSTER_NAME: השם של המשאב ב-DBCluster. -
DB_CLUSTER_NAMESPACE: מרחב השמות של המשאבDBCluster.
-
מתחברים ל-Pod של מסד הנתונים הראשי במסד הנתונים
alloydbadminובודקים את תקינות מסד הנתונים:SELECT * FROM healthcheck;מוודאים שחותמת הזמן של בדיקת התקינות האחרונה היא עדכנית, ושהבדיקות פועלות במרווחי הזמן הצפויים. אם המכונה הראשית לא תקינה, בודקים את הקובץ
postgresql.logכדי להבין למה המכונה נכשלה. מידע נוסף על אחזור יומנים זמין במאמר פתרון בעיות באופרטור AlloyDB Omni Kubernetes.
אם אתם משתמשים במספר גדול של אשכולות של מסדי נתונים באשכול Kubernetes אחד, או אם יש לכם אשכולות של מסדי נתונים עם הקצאת משאבים נמוכה מדי, יכול להיות שתהיה חריגה מהזמן הקצוב לתפוגה של בדיקות התקינות של יתירות הכשל האוטומטית, או שהבדיקות לא יצליחו להתחבר. אם מופיעה הודעת שגיאה שמתחילה ב-HealthCheckProber: health check for instance failed, עיינו בתיקונים המומלצים במאמר פתרון בעיות בתיקון מכונות.
כדי לצמצם או למנוע מעבר אוטומטי לגיבוי במקרה של כשל, אתם יכולים גם לבצע את הפעולות הבאות:
מגדילים את הערך של
autoFailoverTriggerThresholdכדי שמעבר אוטומטי לגיבוי במקרה של כשל יתרחש בתדירות נמוכה יותר. מידע נוסף מופיע במאמר שינוי ההגדרות של הטריגר למעבר אוטומטי לגיבוי במקרה של כשל.השבתת יתירות כשל אוטומטית באשכולות של מסדי נתונים. מידע נוסף זמין במאמר השבתת יתירות כשל אוטומטית.
אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר למערכת חלופית
במהלך יתירות כשל או מעבר לזמינות גבוהה (HA), אופרטור AlloyDB Omni מגדר את המכונה הראשית הקודמת במהלך השלב StopPrimary על ידי שינוי השם של קובצי PG_VERSION ל-PG_VERSION.disabled גם בספריית הנתונים ברמה הבסיסית (root) ב-/pgdata/db/PG_VERSION.disabled וגם בכל ספריית משנה של מסד הנתונים ב-/pgdata/db/base/OID/PG_VERSION.disabled. אם יתירות הכשל או המעבר נכשלים לפני שהמכונה במצב המתנה מקודמת, והחזרה האוטומטית למצב הקודם לא מתרחשת או נכשלת, המכונה הראשית הקודמת נשארת מגודרת והמשאב DBCluster נשאר תקוע בשלב של חזרה למצב הקודם שנמצא בתהליך או שנכשל.
גרסאות שהושפעו
אופרטור AlloyDB Omni מגרסה 1.0.0 ואילך.
תסמינים
כשהבעיה הזו מתרחשת, יכול להיות שתבחינו בתסמינים הבאים:
- השדה
status.phaseשל המשאבDBClusterנשאר ב-DBClusterFailoverInProgress, ב-DBClusterSwitchoverInProgress, ב-DBClusterFailoverRollbackFailedאו ב-DBClusterSwitchoverRollbackFailed. - התנאי
HAReadyבמשאבDBClusterהואstatus: "False"עם הסיבהFailoverInProgressאוSwitchoverInProgress. - המשאב
Failover(failovers.alloydbomni.dbadmin.goog) אוSwitchover(switchovers.alloydbomni.dbadmin.goog) נמצא במצבFailedאוFailed_RollbackFailed. - השדה
status.internal.phaseשל המשאבFailoverאוSwitchoverנשאר בשלב שלפניPromoteStandby, כמוStopPrimary, או נשאר בשלבPromoteStandbyבמשך שעה או יותר בלי לקדם את המכונה במצב המתנה. - ה-Pod של מסד הנתונים הראשי לא מצליח להפעיל את PostgreSQL ומתעד שגיאה שמציינת שהקובץ
PG_VERSIONחסר כי השם שלPG_VERSIONשונה ל-PG_VERSION.disabledב-/pgdata/db/PG_VERSION.disabledוב-/pgdata/db/base/OID/PG_VERSION.disabled. אם בשחזור ידני קודם שוחזר רק קובץ
/pgdata/db/PG_VERSIONברמה העליונה, וקבציPG_VERSION.disabledנשארו בספריות המשנה של/pgdata/db/base/OID/, פעולותpg_basebackupהבאות במכונות במצב המתנה נכשלות ומופיעה השגיאה הבאה ביומני PostgreSQL במכונה הראשית:XX000:ERROR: [basebackup.c:1549] invalid segment number 0 in file "PG_VERSION.disabled"
דרך לעקיפת הבעיה
כדי לבטל באופן ידני את הגידור של המכונה הראשית הקודמת ולשחזר את המשאב DBCluster:
בודקים את המשאבים החיצוניים והפנימיים של
FailoverאוSwitchoverבמרחב השמות של אשכול מסד הנתונים כדי לבדוק את השלב שלהם ולזהות את המכונה הראשית הקודמת (oldPrimary) ואת המכונה במצב המתנה (newPrimary):kubectl get failovers.alloydbomni.dbadmin.goog,switchovers.alloydbomni.dbadmin.goog,failovers.alloydbomni.internal.dbadmin.goog,instanceswitchovers.alloydbomni.internal.dbadmin.goog \ --namespace DB_CLUSTER_NAMESPACE \ -o yamlמחליפים את
DB_CLUSTER_NAMESPACEבמרחב השמות של המשאבDBCluster.מוודאים שהערך של
status.internal.phaseלא גדול מהערך שלPromoteStandby. אם ה-Pod של מסד הנתונים במצב המתנה פועל, מוודאים ש-PostgreSQL במכונה במצב המתנה עדיין נמצא במצב שחזור לקריאה בלבד:kubectl exec -c database STANDBY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ psql -U alloydbadmin -d alloydbadmin -c "SELECT pg_is_in_recovery();"מחליפים את
STANDBY_POD_NAMEבשם של ה-Pod של מסד הנתונים במצב המתנה, בפורמטal-STANDBY_INSTANCE_NAME-0, כאשרSTANDBY_INSTANCE_NAMEהוא הערך שלstatus.internal.newPrimary.מוודאים שהשאילתה מחזירה את הערך
t(true), או שה-Pod של מסד הנתונים במצב המתנה הופסק. אחרי שמוודאים שהמכונה במצב המתנה לא קודמה, מוחקים את המשאבInstanceבמצב המתנה כדי למנוע את הקידום שלו במהלך השחזור:kubectl delete instances.alloydbomni.internal.dbadmin.goog STANDBY_INSTANCE_NAME \ --namespace DB_CLUSTER_NAMESPACEמחליפים את
STANDBY_INSTANCE_NAMEבשם של המשאבInstanceבמצב המתנה מהשדהstatus.internal.newPrimary.בודקים את ספריית הנתונים
/pgdata/dbב-Pod של מסד הנתונים הראשי כדי למצוא את הקבציםPG_VERSIONו-PG_VERSION.disabled:kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ find /pgdata/db -type f -name "PG_VERSION*"מחליפים את
PRIMARY_POD_NAMEבשם של Pod מסד הנתונים הראשי, בפורמטal-PRIMARY_INSTANCE_NAME-0, כאשרPRIMARY_INSTANCE_NAMEהוא הערך שלstatus.internal.oldPrimary.אם אף אחד מהקבצים
PG_VERSIONאוPG_VERSION.disabledלא קיים ב-/pgdata/db, אי אפשר לשחזר את ספריית הנתונים של מסד הנתונים וצריך לשחזר אותה מגיבוי.אם קיימים קובצי
PG_VERSION.disabled, משחזרים אתPG_VERSIONגם בספריית הנתונים ברמה הבסיסית (root) ב-/pgdata/db/PG_VERSION.disabledוגם בכל ספריית משנה של מסד הנתונים ב-/pgdata/db/base/OID/PG_VERSION.disabled. הפקודה הבאה משנה את השם של כל קובץPG_VERSION.disabledבחזרה ל-PG_VERSION, או מסירה את קובץ ה-PG_VERSION.disabledאם קובץ ה-PG_VERSIONהתואם כבר שוחזר:kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ sh -c 'find /pgdata/db -type f -name "PG_VERSION.disabled" | while read -r f; do target="${f%.disabled}" if [ -f "$target" ]; then rm -f "$f"; else mv "$f" "$target"; fi done'מפעילים מחדש את שירות PostgreSQL בתוך ה-Pod של מסד הנתונים הראשי:
kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ /scripts/supervisor/bin/supervisorctl.par \ -c /scripts/supervisor/etc/supervisord.conf restart postgresכדי לנקות את המצב של מעבר לגיבוי במקרה חירום או מעבר למצב פעיל שנכשלו, משתמשים באחת מהאפשרויות הבאות:
אפשרות 1: מוחקים את המשאבים
FailoverאוSwitchoverומפעילים מחדש את בקרי המפעיל. מוחקים את המשאבים החיצוניים והפנימיים שלFailover, ומפעילים מחדש את הפריסות שלfleet-controller-managerו-local-controller-managerבמרחב השמותalloydb-omni-systemכדי לשחרר נעילות בזיכרון:kubectl delete failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE kubectl delete failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE kubectl rollout restart deployment/fleet-controller-manager deployment/local-controller-manager \ --namespace alloydb-omni-systemמחליפים את מה שכתוב בשדות הבאים:
-
FAILOVER_NAME: השם של המשאבfailovers.alloydbomni.dbadmin.goog. -
INTERNAL_FAILOVER_NAME: השם של המשאבfailovers.alloydbomni.internal.dbadmin.goog.
אם המעבר נתקע במקום יתירות כשל, צריך למחוק את המשאבים
switchovers.alloydbomni.dbadmin.googו-instanceswitchovers.alloydbomni.internal.dbadmin.goog.-
אפשרות 2: מסמנים את המשאבים של
Failoverכמשאבים שהוחזרו לגרסה קודמת. האפשרות הזו רלוונטית רק למשאביFailoverתקועים. אם משאבSwitchoverתקוע, צריך להשתמש באפשרות 1. עורכים את משאב המשנהstatusבשני המשאביםfailovers.alloydbomni.dbadmin.googו-failovers.alloydbomni.internal.dbadmin.goog:kubectl edit failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=status kubectl edit failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=statusבקטע
statusשל כל משאבFailover, מגדירים אתendTimeלחותמת זמן אחריcreateTime, מגדירים אתinternal.phaseל-RollbackSucceededומגדירים אתstateל-Failed, כמו בדוגמה הבאה:apiVersion: alloydbomni.dbadmin.goog/v1 kind: Failover status: createTime: "2026-09-01T22:07:42Z" endTime: "2026-09-01T22:07:50Z" internal: attempt: 0 lastPhaseChangeTime: "2026-09-01T22:07:39Z" newPrimary: 4274-dbcluster-sample newPrimaryZone: "" oldPrimary: dafd-dbcluster-sample phase: RollbackSucceeded observedGeneration: 2 reconciled: true startTime: "2026-09-01T22:07:39Z" state: Failed
מעדכנים את משאב המשנה
statusשל המשאבDBClusterכדי לנקות אתlatestFailoverStatusולהגדיר אתphaseלערךDBClusterReconciling:kubectl patch dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=status \ --type=merge \ --patch '{"status":{"latestFailoverStatus":null,"phase":"DBClusterReconciling"}}'מחליפים את
DB_CLUSTER_NAMEבשם של המשאב ב-DBCluster.אם התנאי
HAReadyב-status.conditionsעדיין מונע התאמה כי השדהreasonשלו מוגדר כ-FailoverInProgressאו כ-SwitchoverInProgress, עורכים את משאב המשנהstatusשל המשאבDBClusterומסירים את רשומת התנאיHAReadyמ-status.conditionsכדי שאופרטור AlloyDB Omni ייצור אותה מחדש במהלך ההתאמה, או מגדירים את השדהreasonשלו לערךCamelCaseחוקי ולא ריק, כמוClusterReady:kubectl edit dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=statusמוודאים שהאופרטור AlloyDB Omni מתאים את המכונה במצב המתנה ומחזיר את המשאב
DBClusterלשלבDBClusterReady:kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE
ניפוי באגים של בעיות בזיכרון
בקטעים הבאים מוסבר איך לנפות באגים שקשורים לבעיות בזיכרון.
הפעלה וצילום מצב הערימה (heapdump)
מומלץ להפעיל את התכונה הזו רק למטרות פתרון בעיות. אל תשכחו לכבות אותו אחר כך.
כדי ליצור heapdump, מבצעים את השלבים הבאים:
- משנים את פריסת האופרטור במרחב השמות
alloydb-omni-systemעם השמותfleet-controller-managerו-local-controller-manager. - מוסיפים את הארגומנט הבא ל-pod
--pprof-address=:8642או לכל יציאה זמינה אחרת. - מחכים שה-Pod של הבקר יופעל מחדש.
מעבירים את היציאה הקודמת ליציאה אחרת. לדוגמה:
kubectl port-forward FLEET_CONTROLLER_MANAGER_POD_NAME -n alloydb-omni-system 8642:8642בטרמינל אחר, מריצים את הפקודה
go tool pprof http://localhost:8642/debug/pprof/heap. אם לא משתמשים ב-8642, צריך לשנות את היציאה כך שתתאים ליציאה הקודמת.מתחברים לכתובת ומריצים פקודות לפתרון בעיות. לדוגמה:
top.אחרי שמסיימים לפתור בעיות, מבטלים את שלב 1 על ידי הסרת הארגומנט ומחכים שה-pod יופעל מחדש.
קביעת מספר המשאבים שהאופרטור צופה בהם
כדי להבין אילו משאבים נמצאים בשימוש, מריצים את הפקודות הבאות:
kubectl get backuprepositories -A | wc -l
kubectl get failovers -A | wc -l
kubectl get instancebackupplans -A | wc -l
kubectl get instancebackups -A | wc -l
kubectl get instancerestores -A | wc -l
kubectl get instances -A | wc -l
kubectl get instanceswitchovers -A | wc -l
kubectl get lrojobs -A | wc -l
kubectl get replicationconfigs -A | wc -l
kubectl get sidecars -A | wc -l
kubectl get deployments -A | wc -l
kubectl get statefulsets -A | wc -l
kubectl get certificates.cert-manager.io -A | wc -l
kubectl get issuers.cert-manager.io -A | wc -l
kubectl get configmaps -A | wc -l
kubectl get persistentvolumeclaims -A | wc -l
kubectl get persistentvolumes -A | wc -l
kubectl get pods -A | wc -l
kubectl get secrets -A | wc -l
kubectl get services -A | wc -l
kubectl get storageclasses.storage.k8s.io -A | wc -l
לדוגמה, אם יש הרבה סודות, יכול להיות שתופיע הודעת שגיאה על מחסור בזיכרון (OOM).
kubectl get secrets -A | wc -l
ניפוי באגים מתקדם של HA
בקטע הזה יש הפניות למשאבים שהם הטמעות פנימיות. הם עשויים להשתנות בכל שלב, ואין התחייבות לתאימות לדורות קודמים. הפעילו תיקונים ידניים רק על בעיות במסדי נתונים שלא נמצאים בסביבת הייצור. אם תבצעו את הפעולות האלה, יכול להיות שלא תוכלו לשחזר את מסד הנתונים.
ההגדרה של זמינות גבוהה ב-AlloyDB Omni כוללת שלושה שלבים:
- מגדירים את השרת הראשי כך שיקבל חיבור מהשרת המשני.
- מאתחלים את השרת החלופי ומחברים אותו לשרת הראשי.
- מגדירים את ההגדרות הראשיות כדי שהחיבור יהיה סינכרוני.
שלב 2 הוא בדרך כלל האיטי ביותר. בהתאם לגודל מסד הנתונים, יכול להיות שהתהליך יימשך כמה שעות.
לכל מופע שמשכפל מופע צריך להיות מצורף replicationconfig. לדוגמה:
kubectl get replicationconfigs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE
פלט לדוגמה:
NAME PARENT TYPE ROLE READY HEALTHY SYNC_U SYNC_D SLOT_LOG SLOT_REPLAY
cd58-adb--58ea-adb cd58-adb Physical Upstream True True true
ds-58ea-adb 58ea-adb Physical Downstream True True true
המפרט של הגדרת הרפליקציה מציין את ההגדרות הרצויות, והסטטוס משקף את המצב בפועל כפי שהוא נקרא ממסד הנתונים. אם יש חוסר התאמה בין המפרט לסטטוס, סימן שהבקר עדיין מנסה להחיל את השינוי, או שיש שגיאה שמונעת את החלת השינוי. השינוי הזה יופיע בשדות הסטטוס.
משימות בהמתנה
צריכות להיות שתי קבוצות של משימות פנימיות שעוקבות אחרי תהליך העבודה של המתנה:
createstandbyjobs.alloydbomni.internal.dbadmin.googdeletestandbyjobs.alloydbomni.internal.dbadmin.goog
אם נראה שההגדרה נתקעה, אפשר לראות את המשימות שקשורות לאשכול מסד הנתונים (DBC). יכול להיות שבהודעות השגיאה של המשימה יוסבר באיזה שלב נמצאת ההגדרה. המשימות נמחקות באופן אוטומטי זמן מה לאחר שהן מסתיימות, כך שאם אין משימות בתהליך, יכול להיות שלא תראו משימות כלל.
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE
הפלט אמור להיראות כך:
apiVersion: alloydbomni.dbadmin.gdc.goog/v1
kind: CreateStandbyJob
metadata:
creationTimestamp: "2024-11-05T03:34:26Z"
finalizers:
- createstandbyjob.dbadmin.goog/finalizer
generation: 1804
labels:
dbs.internal.dbadmin.goog/dbc: foo-ha-alloydb1-clone1
name: foo-ha-alloydb1-clone1--ac00-foo-ha-alloydb1-clone1--6036-foo-ha-alloydb1-clone1-1730777666
namespace: db
resourceVersion: "11819071"
uid: 1f24cedf-b326-422f-9405-c96c8720cd90
spec:
attempt: 3
cleanup: false
currentStep: SetupSynchronous
currentStepTime: "2024-11-05T03:45:31Z"
metadata:
dbc: foo-ha-alloydb1-clone1
primaryInstance: ac00-foo-ha-alloydb1-clone1
retryError: 'etcdserver: leader changed'
standbyInstance: 6036-foo-ha-alloydb1-clone1
requeueTime: "2024-11-05T18:33:03Z"
startTime: "2024-11-05T03:36:56Z"
אימות ראשי
הדבר הראשון שצריך לבדוק הוא שהדומיין הראשי מוגדר בצורה נכונה. צריך להיות פרופיל שכפול לכל המתנה. אם הערך של isSynchronous הוא true במפרט ובסטטוס, ההגדרה אמורה להסתיים. אם הערך של isSynchronous הוא False במפרט ובסטטוס, סימן שהאשכול עדיין לא הגיע לשלב 3. בודקים את המשימות במצב המתנה כדי לראות אם יש משימות שפועלות, ואם יש בהן הודעות שגיאה.
replication:
profiles:
- isActive: true
isSynchronous: true
name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
password:
name: ha-rep-pw-dbcluster-sample
namespace: default
passwordResourceVersion: "896080"
role: Upstream
type: Physical
username: alloydbreplica
מוודאים שההערה disableHealthcheck היא false. צריך להשבית אותו רק במהלך מעבר לגיבוי בעת כשל או מעבר.
apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
annotations:
dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
dbs.internal.dbadmin.goog/disableHealthcheck: "false"
dr-secondary: "false"
forceReconcile: "1730414498"
שאילתות
כדי לוודא שהמשאבים ב-pod של מסד הנתונים מוגדרים כמו שצריך, נכנסים למסד הנתונים בתור משתמש אדמין alloydbadmin. ואז מריצים את השאילתות הבאות:
משבצת רפליקציה
\x on
select * from pg_replication_slots;
-[ RECORD 1 ]-------+---------------------------------------------
slot_name | d85d_dbcluster_sample
plugin |
slot_type | physical
datoid |
database |
temporary | f
active | t
active_pid | 250
xmin | 16318
catalog_xmin |
restart_lsn | 0/CA657F0
confirmed_flush_lsn |
wal_status | reserved
safe_wal_size |
two_phase | f
מצב תקין הוא מצב שבו יש משבצת רפליקציה עם אותו שם כמו המכונה במצב המתנה. אם אין משבצת שכפול, סימן שהשלב הראשון בהגדרה לא הושלם בהצלחה.
אם הערך של active הוא לא t (true), המשמעות היא שהגיבוי לא מתחבר מסיבה כלשהי (רשת, הגיבוי לא סיים את ההגדרה וכו'), וכנראה שצריך להמשיך את ניפוי הבאגים בצד הגיבוי.
נתונים סטטיסטיים של שכפול
\x on
select * from pg_stat_replication;
-[ RECORD 1 ]----+----------------------------------------------------------------
pid | 250
usesysid | 16385
usename | alloydbreplica
application_name | d85d_dbcluster_sample
client_addr | 10.54.79.196
client_hostname | gke-samwise-default-pool-afaf152d-8197.us-central1-a.c.foo
client_port | 24914
backend_start | 2024-10-30 21:44:26.408261+00
backend_xmin |
state | streaming
sent_lsn | 0/CA64DA8
write_lsn | 0/CA64DA8
flush_lsn | 0/CA64DA8
replay_lsn | 0/CA64DA8
write_lag |
flush_lag |
replay_lag |
sync_priority | 2
sync_state | sync
reply_time | 2024-11-04 22:08:04.370838+00
אם אין מזהה כזה, זה אומר שאין חיבור פעיל. הערך של sync_state צריך להיות sync. אם הערך הוא לא sync, סימן שהשלב האחרון בהגדרה לא הושלם. כדי לקבל פרטים נוספים, כדאי לעיין ביומנים או במשימות.
אימות בהמתנה
למצב ההמתנה צריך להיות פרופיל רפליקציה שתואם לאותו פרופיל של המצב הראשי:
replication:
profiles:
- host: 10.54.79.210
isActive: true
isSynchronous: true
name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
passwordResourceVersion: "896080"
port: 5432
role: Downstream
type: Physical
username: alloydbreplica
אם אין חיבור מהשרת המשני לשרת הראשי, יש שתי סיבות נפוצות:
- ההגדרה של מכשיר הגיבוי עדיין מתבצעת.
- מופיעה הודעת שגיאה במכשיר החלופי בזמן ההגדרה או הניסיון להתחבר.
כדי לבדוק אם אפשרות 1 מתרחשת, צריך לקבל את היומנים של pod מסד הנתונים ולחפש פקודות רישום ביומן בשם dbdaemon/setupPhysicalReplicationDownstream. ריכזנו כאן דוגמאות ליומני הגדרה מוצלחים:
I1104 22:42:42.604871 103 replication.go:107] "dbdaemon/setupPhysicalReplicationDownstream: begin setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:42,605 INFO waiting for postgres to stop
2024-11-04 22:42:43,566 INFO stopped: postgres (exit status 0)
I1104 22:42:43.567590 103 replication.go:131] "dbdaemon/setupPhysicalReplicationDownstream: about to call pg_basebackup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample" cmd=["-h","10.54.79.210","-D","/mnt/disks/pgsql/pg_basebackup_data","-U","alloydbreplica","-v","-P","-p","5432","-w","-c","fast"]
I1104 22:42:44.206403 103 replication.go:139] "dbdaemon/setupPhysicalReplicationDownstream: pg_basebackup finished" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.206440 103 replication.go:141] "dbdaemon/setupPhysicalReplicationDownstream: replacing data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244749 103 replication.go:148] "dbdaemon/setupPhysicalReplicationDownstream: replaced data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244783 103 replication.go:150] "dbdaemon/setupPhysicalReplicationDownstream: Creating config files" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251565 103 replication.go:155] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql config file for log archiving" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251621 103 replication.go:160] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql auto config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251689 103 replication.go:165] "dbdaemon/setupPhysicalReplicationDownstream: Successfully wrote to config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:44,256 INFO spawned: 'postgres' with pid 271
2024-11-04 22:42:45,469 INFO success: postgres entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
I1104 22:42:45.469838 103 replication.go:174] "dbdaemon/setupPhysicalReplicationDownstream: backup replication configuration after changing replication config" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:45.476732 103 replication.go:179] "dbdaemon/setupPhysicalReplicationDownstream: finished standby setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
אם יש שגיאת חיבור, בודקים את יומני ה-Pod של מסד הנתונים ואת קובץ היומן של מסד הנתונים ב-/obs/diagnostic/postgresql.log, כדי לראות מה השגיאה כשמנסים להתחבר. שגיאה נפוצה אחת היא שאין קישוריות רשת בין השרת הראשי לשרת הגיבוי.
תיקונים ידניים
הדרך הכי קלה לפתור בעיות בזמינות גבוהה היא להשבית את הזמינות הגבוהה ואז להפעיל אותה מחדש. כדי לעשות את זה, מגדירים את numberOfStandbys ל-0 ואז מאפסים אותו למספר הרצוי. אם השרתים החלופיים מושבתים, צריך לבצע את השלבים הבאים כדי לאפס באופן ידני את הגדרת הזמינות הגבוהה:
- מוחקים ידנית את המכונות במצב המתנה.
מתחברים למסד הנתונים הראשי. מריצים שאילתה על משבצות השכפול הנוכחיות ומוחקים את משבצות השכפול של הגיבויים החמים שרוצים למחוק:
select pg_drop_replication_slot('REPLICATION_SLOT_NAME');מוחקים מהמכונה הראשית את כל פרופילי הרפליקציה שרוצים למחוק.
אם המכונה לא הותאמה לאחרונה, אפשר לערוך את ערך ההערה forceReconcile. מגדירים את הערך המספרי של חותמת הזמן של הפעם האחרונה שבה ההערה עודכנה. המטרה היחידה של ההערה הזו היא לספק שדה שאפשר לעדכן כדי לאלץ התאמה חדשה.
apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
annotations:
dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
dbs.internal.dbadmin.goog/disableHealthcheck: "false"
dr-secondary: "false"
forceReconcile: "1730414498"
אם משאב DBCluster נשאר תקוע במצב DBClusterFailoverInProgress, DBClusterSwitchoverInProgress, DBClusterFailoverRollbackFailed או DBClusterSwitchoverRollbackFailed כי המכונה הראשית מגודרת בקובצי PG_VERSION.disabled, קראו את המאמר אשכול מסד הנתונים נשאר תקוע במצב של יתירות כשל או מעבר.
איסוף יומני ביקורת ויומנים של המנוע של מסד הנתונים
היומנים של המנוע של מסד הנתונים ויומני הביקורת זמינים כקבצים בתוך pod של מסד הנתונים (נדרשת גישת בסיס):
obs/diagnostic/postgresql.logobs/diagnostic/postgresql.audit
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE ${DB_POD} -it -- /bin/bash
כשהחיבור למאגר של מסד הנתונים פעיל:
ls -l /obs/diagnostic/
פלט לדוגמה:
drwx--S--- 2 postgres postgres 4096 Aug 13 10:22 archive
-rw------- 1 postgres postgres 256050 Aug 13 13:25 postgresql.internal
-rw------- 1 postgres postgres 1594799 Aug 13 13:25 postgresql.log
איסוף מדדים של מסד הנתונים ושל pod של מסד הנתונים
אופרטור AlloyDB Omni מספק קבוצה של מדדים בסיסיים למנוע AlloyDB Omni ול-Pod שמארח אותו. המדדים זמינים כנקודות קצה (endpoints) של Prometheus ביציאה 9187. כדי לגשת לנקודות הקצה, צריך לזהות את שם ה-Pod של מסד הנתונים באמצעות התווית DBCluster ולהתחיל את ההעברה ליציאה אחרת באופן הבא:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl port-forward -n DB_CLUSTER_NAMESPACE ${DB_POD} 9187:9187
גישה למדדים של קבוצות Pod של מסדי נתונים
בטרמינל אחר:
curl http://localhost:9187/metrics | grep HELP
מידע נוסף על מעקב זמין במאמר מעקב אחרי AlloyDB Omni.
אפשר גם להגדיר את Prometheus כך שיגרד את המדדים באשכול Kubernetes. פרטים נוספים זמינים במאמר הגדרת זיהוי שירותים של Prometheus Kubernetes.