Memecahkan masalah operator AlloyDB Omni Kubernetes

Pilih versi dokumentasi:

Halaman ini menunjukkan cara menyelesaikan masalah terkait operator Kubernetes AlloyDB Omni, termasuk solusi untuk masalah umum.

Mengumpulkan informasi proses debug

Bagian ini menjelaskan cara mengumpulkan log dan konfigurasi untuk proses debug.

Mengambil log dari pod operator

Untuk mengambil log dari pod operator, jalankan perintah berikut:

kubectl logs deployments/fleet-controller-manager -c fleet-manager -n alloydb-omni-system > alloydb-omni-system-fleet-controller-manager.out
kubectl logs deployments/local-controller-manager -c local-manager -n alloydb-omni-system > alloydb-omni-system-local-controller-manager.out

Mengambil log pod database

Untuk mengambil log pod database, jalankan perintah berikut:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl logs -c database ${DB_POD} -n DB_CLUSTER_NAMESPACE > ${DB_POD}.log
kubectl logs -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -c database -n DB_CLUSTER_NAMESPACE > dbcluster_DB_CLUSTER_NAME.out

Log berikut adalah contoh health check database yang berhasil:

I0813 11:01:49.210051      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196796      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196853      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.209824      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197013      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197093      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.210010      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197368      27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197425      27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.210416      27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"

Mengambil postgresql.log

Untuk mengambil postgresql.log, jalankan perintah berikut:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE -it ${DB_POD} -- cat /obs/diagnostic/postgresql.log > dbcluster_DB_CLUSTER_NAME_postgresql.log

Mengambil file YAML DBInstance

Untuk mengambil file YAML DBInstance, jalankan perintah berikut:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml

Mengambil konfigurasi dan log untuk skenario HA

Untuk mengambil konfigurasi dan log khusus untuk skenario ketersediaan tinggi (HA), jalankan perintah berikut:

kubectl get replicationconfig.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > replicationconfig_DB_CLUSTER_NAME.yaml
kubectl get deletestandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > deletestandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > createstandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get failovers.alloydbomni.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > failovers_DB_CLUSTER_NAME.yaml

Mengambil status pod dan STS

Untuk mengambil status pod dan StatefulSet (STS), jalankan perintah berikut:

DB_POD=$(kubectl get pod -n DB_CLUSTER_NAMESPACE -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -o jsonpath='{.items[0].metadata.name}')
kubectl describe pod ${DB_POD} -n DB_CLUSTER_NAMESPACE > pod_${DB_POD}.out
kubectl describe statefulset -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE > statefulset_DB_CLUSTER_NAME.out

Mengidentifikasi error

Bagian ini menjelaskan cara mengidentifikasi error.

Mencari status error dan kode error

Untuk mengidentifikasi kode error, periksa file YAML DBCluster di bagian status. Baca dokumentasi kode error untuk mengetahui informasi selengkapnya.

Untuk mengambil file YAML DBCluster, jalankan perintah berikut:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml

Cari criticalIncidents. Bagian ini berisi kode error dan stack trace.

Berikut adalah contoh criticalIncidents:

status:
    certificateReference:
      certificateKey: ca.crt
      secretRef:
        name: dbs-al-cert-dr-mce
        namespace: dr
    conditions:
    -   lastTransitionTime: "2024-10-07T22:46:03Z"
    ...
    criticalIncidents:
    -   code: DBSE0304
      createTime: "2024-10-03T11:50:54Z"
      message: 'Healthcheck: Health check invalid result.'
      resource:
        component: healthcheck
        location:
          group: alloydbomni.internal.dbadmin.goog
          kind: Instance
          name: bc0f-dr-mce
          namespace: dr
          version: v1
      stackTrace:
      -   component: healthcheck
        message: 'DBSE0304: Healthcheck: Health check invalid result. rpc error: code
          = Code(10304) desc = DBSE0304: Healthcheck: Health check invalid result.
          dbdaemon/healthCheck: invalid timestamp read back from the healthcheck table.
          Lag is 384837.296269 seconds, wanted 35 seconds'

Anda juga dapat mengambil status dengan mengekstrak kolom tertentu dalam format JSON:

kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.status.criticalIncidents}' | jq

Outputnya mirip dengan hal berikut ini:

[
  {
    "code": "DBSE0085",
    "createTime": "2024-03-14T05:41:37Z",
    "message": "Platform: Pod is unschedulable.",
    "resource": {
      "component": "provisioning",
      "location": {
        "group": "alloydb.internal.dbadmin.goog",
        "kind": "Instance",
        "name": "b55f-testdbcluster",
        "namespace": "dbs-system",
        "version": "v1"
      }
    },
    "stackTrace": [
      {
        "component": "provisioning",
        "message": "DBSE0085: Platform: Pod is unschedulable. 0/16 nodes are available: pod has unbound immediate PersistentVolumeClaims. preemption: 0/16 nodes are available: 16 No preemption victims found for incoming pod..: Pod is unschedulable"
      }
    ]
  }
]

Jika pesan error merujuk ke pod database, periksa instance dan resource pod di namespace yang sama:

kubectl get instances.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > instance_DB_CLUSTER_NAME.yaml
kubectl get pods -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE

Masalah umum

Bagian ini menjelaskan masalah umum dan solusi untuk operator AlloyDB Omni. Untuk mengetahui daftar lengkap pengumuman rilis, perbaikan bug, dan update keamanan, lihat Catatan rilis.

Penerbitan sertifikat gagal di cert-manager

Operator AlloyDB Omni menggunakan cert-manager untuk menyediakan sertifikat Transport Layer Security (TLS) untuk operator dan cluster database. Di cert-manager versi 1.21.2 dan yang lebih lama, kondisi race yang diketahui (masalah cert-manager #6331) dapat menyebabkan penerbitan sertifikat gagal dan memasuki backoff percobaan ulang satu jam.

Versi yang terpengaruh

Operator AlloyDB Omni 1.0.0 dan yang lebih baru dengan cert-manager 1.21.2 dan yang lebih lama.

Gejala

Saat masalah ini terjadi, Anda mungkin mengamati gejala berikut:

  • Resource DBCluster tetap berada dalam fase DBClusterWaitingForCertificate, dan pembuatan atau upgrade cluster database akan mengalami waktu tunggu habis.
  • Penginstalan Helm untuk operator AlloyDB Omni gagal karena resource Certificate, seperti local-serving-cert di namespace alloydb-omni-system, belum siap.
  • Kondisi status resource Certificate mencakup pesan CSR not signed by referenced private key dengan alasan Failed atau ErrorKeyMatch.

Untuk menemukan resource Certificate yang terpengaruh oleh masalah ini, jalankan perintah berikut:

kubectl get certificates.cert-manager.io --all-namespaces \
    -o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.metadata.name}{"\t"}{.status.conditions[*].message}{"\n"}{end}' \
    | grep "CSR not signed by referenced private key"

Output mencantumkan namespace, nama, dan pesan kondisi status dari setiap resource Certificate yang terpengaruh. Jika Anda melihat resource Certificate yang terpengaruh dalam format YAML, kolom status-nya akan mirip dengan berikut ini:

status:
  conditions:
  - message: 'The certificate request has failed to complete and will be retried: Error generating certificate template: CSR not signed by referenced private key'
    reason: Failed
    status: "False"
    type: Issuing
  failedIssuanceAttempts: 1

Solusi

Untuk mencegah konflik update pengontrol dan mengurangi penundaan percobaan ulang untuk permintaan sertifikat yang gagal dari satu jam menjadi 15 detik, upgrade cert-manager dengan feature gate ServerSideApply dan durasi backoff yang dikurangi:

helm upgrade cert-manager oci://quay.io/jetstack/charts/cert-manager \
    --version CERT_MANAGER_VERSION \
    --namespace cert-manager \
    --reuse-values \
    --set featureGates="ServerSideApply=true" \
    --set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}"

Ganti kode berikut:

  • CERT_MANAGER_VERSION: versi cert-manager yang diinstal di cluster Kubernetes Anda, seperti v1.21.2. Untuk menemukan versi yang diinstal, jalankan perintah helm list --namespace cert-manager.

Setelah pengontrol cert-manager dimulai ulang, pastikan semua sertifikat menampilkan True di kolom READY:

kubectl get certificates.cert-manager.io --all-namespaces

Jika penginstalan operator AlloyDB Omni gagal karena masalah ini, jalankan penginstalan lagi.

Upgrade versi minor pemeliharaan dengan periode nonaktif rendah berhenti berjalan di cluster database sekunder

Versi yang terpengaruh

Operator AlloyDB Omni 1.8.0 dan yang lebih baru.

Gejala

Selama upgrade atau downgrade versi minor cluster database sekunder replikasi lintas pusat data yang memiliki standby ketersediaan tinggi (HA), operasi akan berhenti berjalan setelah standby pertama diupgrade. Resource DBCluster tetap dalam status DBCUpgradeInProgress=True dengan alasan DBCUpgradeFlowBegins.

Solusi

  1. Nonaktifkan pemeliharaan dengan periode nonaktif rendah (LDTM) di cluster database sekunder agar operator AlloyDB Omni menyelesaikan upgrade menggunakan alur kerja update berkelanjutan standar:

    kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        dbcluster.dbadmin.goog/enableLDTM=false \
        --namespace DB_CLUSTER_NAMESPACE \
        --overwrite
    

    Ganti kode berikut:

    • DB_CLUSTER_NAME: nama resource DBCluster sekunder Anda.
    • DB_CLUSTER_NAMESPACE: namespace resource DBCluster sekunder Anda.
  2. Pastikan upgrade selesai dan resource DBCluster mencapai fase DBClusterReady:

    kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    
  3. Aktifkan kembali pemeliharaan dengan periode nonaktif rendah di cluster database sekunder agar resource DBCluster mempertahankan kemampuan pemeliharaan dengan periode nonaktif rendah jika dipromosikan ke cluster database utama:

    kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        dbcluster.dbadmin.goog/enableLDTM=true \
        --namespace DB_CLUSTER_NAMESPACE \
        --overwrite
    

Agen pemantauan mengalami error izin cgroups setelah mengaktifkan replikasi lintas pusat data

Versi yang terpengaruh

Operator AlloyDB Omni 1.9.0.

Gejala

Setelah Anda mengaktifkan replikasi lintas pusat data, agen pemantauan akan mengalami error izin di log container saat mencoba mengumpulkan informasi cgroups.

Solusi

  1. Cantumkan Pod database di cluster database sekunder Anda untuk menemukan nama Pod database downstream:

    kubectl get pods \
        --selector alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database \
        --namespace DB_CLUSTER_NAMESPACE
    

    Ganti kode berikut:

    • DB_CLUSTER_NAME: nama resource DBCluster sekunder Anda.
    • DB_CLUSTER_NAMESPACE: namespace resource DBCluster sekunder Anda.
  2. Hapus Pod database downstream agar operator AlloyDB Omni membuat ulang dan memulai ulang Pod:

    kubectl delete pod DB_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    Ganti DB_POD_NAME dengan nama Pod database downstream dari langkah sebelumnya.

Cluster database terus memicu failover otomatis

Jika resource DBCluster Anda membuat beberapa failover otomatis satu demi satu, selesaikan pemeriksaan berikut:

  1. Cantumkan resource Failover untuk DBCluster Anda dan bandingkan stempel waktu pembuatannya:

    kubectl get failover.alloydbomni.dbadmin.goog \
        --selector failover.dbadmin.goog/dbcluster=DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    Ganti kode berikut:

    • DB_CLUSTER_NAME: nama resource DBCluster Anda.
    • DB_CLUSTER_NAMESPACE: namespace resource DBCluster Anda.
  2. Hubungkan ke Pod database utama di database alloydbadmin dan verifikasi kondisi database:

    SELECT * FROM healthcheck;
    

    Pastikan stempel waktu health check terakhir adalah yang terbaru dan health check berjalan pada interval yang diharapkan. Jika instance utama tidak responsif, periksa file postgresql.log untuk menentukan penyebab kegagalan instance. Untuk mengetahui informasi selengkapnya tentang cara mengambil log, lihat Memecahkan masalah operator Kubernetes AlloyDB Omni.

Jika Anda menggunakan banyak cluster database dalam satu cluster Kubernetes, atau jika Anda memiliki cluster database yang kurang disediakan, health check failover otomatis mungkin akan mengalami waktu tunggu habis atau gagal terhubung. Jika Anda menerima error yang dimulai dengan HealthCheckProber: health check for instance failed, lihat perbaikan yang direkomendasikan di Memecahkan masalah pemulihan instance. Untuk mengurangi atau mencegah failover otomatis, Anda juga dapat melakukan tindakan berikut:

Cluster database tetap macet dalam status failover atau pengalihan

Selama failover atau pengalihan ketersediaan tinggi (HA), operator AlloyDB Omni membatasi instance utama sebelumnya selama fase StopPrimary dengan mengganti nama file PG_VERSION menjadi PG_VERSION.disabled di direktori data root di /pgdata/db/PG_VERSION.disabled dan setiap subdirektori database di /pgdata/db/base/OID/PG_VERSION.disabled. Jika failover atau pengalihan gagal sebelum instance standby dipromosikan dan rollback otomatis tidak terjadi atau gagal, instance utama sebelumnya akan tetap dipagari dan resource DBCluster akan tetap terjebak dalam fase rollback yang sedang berlangsung atau gagal.

Versi yang terpengaruh

Operator AlloyDB Omni 1.0.0 dan yang lebih baru.

Gejala

Saat masalah ini terjadi, Anda mungkin mengamati gejala berikut:

  • Kolom status.phase dari resource DBCluster tetap berada di DBClusterFailoverInProgress, DBClusterSwitchoverInProgress, DBClusterFailoverRollbackFailed, atau DBClusterSwitchoverRollbackFailed.
  • Kondisi HAReady pada resource DBCluster memiliki status: "False" dengan alasan FailoverInProgress atau SwitchoverInProgress.
  • Resource Failover (failovers.alloydbomni.dbadmin.goog) atau Switchover (switchovers.alloydbomni.dbadmin.goog) berada dalam status Failed atau Failed_RollbackFailed.
  • Kolom status.internal.phase dari resource Failover atau Switchover tetap berada dalam fase sebelum PromoteStandby, seperti StopPrimary, atau tetap berada dalam fase PromoteStandby selama satu jam atau lebih tanpa mempromosikan instance standby.
  • Pod database utama gagal memulai PostgreSQL dan mencatat error yang menunjukkan bahwa file PG_VERSION tidak ada karena PG_VERSION diganti namanya menjadi PG_VERSION.disabled di /pgdata/db/PG_VERSION.disabled dan /pgdata/db/base/OID/PG_VERSION.disabled.
  • Jika pemulihan manual sebelumnya hanya memulihkan file /pgdata/db/PG_VERSION level teratas dan membiarkan file PG_VERSION.disabled di subdirektori /pgdata/db/base/OID/, operasi pg_basebackup berikutnya pada instance standby akan gagal dengan error berikut di log PostgreSQL pada instance utama:

    XX000:ERROR: [basebackup.c:1549] invalid segment number 0 in file "PG_VERSION.disabled"
    

Solusi

Untuk membatalkan pemagaran instance utama sebelumnya secara manual dan memulihkan resource DBCluster, selesaikan langkah-langkah berikut:

  1. Periksa resource Failover atau Switchover eksternal dan internal di namespace cluster database Anda untuk memeriksa fasenya dan mengidentifikasi instance utama (oldPrimary) dan standby target (newPrimary) sebelumnya:

    kubectl get failovers.alloydbomni.dbadmin.goog,switchovers.alloydbomni.dbadmin.goog,failovers.alloydbomni.internal.dbadmin.goog,instanceswitchovers.alloydbomni.internal.dbadmin.goog \
        --namespace DB_CLUSTER_NAMESPACE \
        -o yaml
    

    Ganti DB_CLUSTER_NAMESPACE dengan namespace resource DBCluster Anda.

    Pastikan status.internal.phase belum melampaui PromoteStandby. Jika Pod database standby berjalan, pastikan PostgreSQL pada instance standby masih dalam mode pemulihan hanya baca:

    kubectl exec -c database STANDBY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        psql -U alloydbadmin -d alloydbadmin -c "SELECT pg_is_in_recovery();"
    

    Ganti STANDBY_POD_NAME dengan nama Pod database standby, yang diformat sebagai al-STANDBY_INSTANCE_NAME-0, dengan STANDBY_INSTANCE_NAME adalah nilai status.internal.newPrimary.

    Pastikan kueri menampilkan t (true), atau Pod database standby dihentikan. Setelah Anda mengonfirmasi bahwa instance standby belum dipromosikan, hapus resource Instance standby untuk mencegahnya dipromosikan selama pemulihan:

    kubectl delete instances.alloydbomni.internal.dbadmin.goog STANDBY_INSTANCE_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

    Ganti STANDBY_INSTANCE_NAME dengan nama resource Instance standby dari kolom status.internal.newPrimary.

  2. Periksa direktori data /pgdata/db di Pod database utama untuk file PG_VERSION dan PG_VERSION.disabled:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        find /pgdata/db -type f -name "PG_VERSION*"
    

    Ganti PRIMARY_POD_NAME dengan nama Pod database utama, yang diformat sebagai al-PRIMARY_INSTANCE_NAME-0, dengan PRIMARY_INSTANCE_NAME adalah nilai status.internal.oldPrimary.

    Jika PG_VERSION maupun PG_VERSION.disabled tidak ada di /pgdata/db, direktori data database tidak dapat dipulihkan dan harus dipulihkan dari cadangan.

    Jika file PG_VERSION.disabled ada, pulihkan PG_VERSION di seluruh direktori data root di /pgdata/db/PG_VERSION.disabled dan setiap subdirektori database di /pgdata/db/base/OID/PG_VERSION.disabled. Perintah berikut mengganti nama setiap file PG_VERSION.disabled kembali menjadi PG_VERSION, atau menghapus file PG_VERSION.disabled jika file PG_VERSION yang sesuai telah dipulihkan:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        sh -c 'find /pgdata/db -type f -name "PG_VERSION.disabled" | while read -r f; do
          target="${f%.disabled}"
          if [ -f "$target" ]; then rm -f "$f"; else mv "$f" "$target"; fi
        done'
    
  3. Mulai ulang layanan PostgreSQL di dalam Pod database utama:

    kubectl exec -c database PRIMARY_POD_NAME \
        --namespace DB_CLUSTER_NAMESPACE -- \
        /scripts/supervisor/bin/supervisorctl.par \
        -c /scripts/supervisor/etc/supervisord.conf restart postgres
    
  4. Hapus status failover atau pengalihan yang gagal menggunakan salah satu opsi berikut:

    • Opsi 1: Hapus resource Failover atau Switchover dan mulai ulang pengontrol operator. Hapus resource Failover eksternal dan internal, lalu mulai ulang deployment fleet-controller-manager dan local-controller-manager di namespace alloydb-omni-system untuk merilis kunci dalam memori:

      kubectl delete failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE
      kubectl delete failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE
      kubectl rollout restart deployment/fleet-controller-manager deployment/local-controller-manager \
          --namespace alloydb-omni-system
      

      Ganti kode berikut:

      • FAILOVER_NAME: nama resource failovers.alloydbomni.dbadmin.goog.
      • INTERNAL_FAILOVER_NAME: nama resource failovers.alloydbomni.internal.dbadmin.goog.

      Jika pengalihan macet, bukan failover, hapus resource switchovers.alloydbomni.dbadmin.goog dan instanceswitchovers.alloydbomni.internal.dbadmin.goog.

    • Opsi 2: Tandai resource Failover sebagai di-roll back. Opsi ini hanya berlaku untuk resource Failover yang macet. Jika resource Switchover macet, gunakan Opsi 1. Edit subresource status pada resource failovers.alloydbomni.dbadmin.goog dan failovers.alloydbomni.internal.dbadmin.goog:

      kubectl edit failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE \
          --subresource=status
      kubectl edit failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \
          --namespace DB_CLUSTER_NAMESPACE \
          --subresource=status
      

      Di bagian status setiap resource Failover, tetapkan endTime ke stempel waktu setelah createTime, tetapkan internal.phase ke RollbackSucceeded, dan tetapkan state ke Failed, seperti yang ditunjukkan dalam contoh berikut:

      apiVersion: alloydbomni.dbadmin.goog/v1
      kind: Failover
      status:
        createTime: "2026-09-01T22:07:42Z"
        endTime: "2026-09-01T22:07:50Z"
        internal:
          attempt: 0
          lastPhaseChangeTime: "2026-09-01T22:07:39Z"
          newPrimary: 4274-dbcluster-sample
          newPrimaryZone: ""
          oldPrimary: dafd-dbcluster-sample
          phase: RollbackSucceeded
        observedGeneration: 2
        reconciled: true
        startTime: "2026-09-01T22:07:39Z"
        state: Failed
      
  5. Update subresource status dari resource DBCluster untuk menghapus latestFailoverStatus dan tetapkan phase ke DBClusterReconciling:

    kubectl patch dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE \
        --subresource=status \
        --type=merge \
        --patch '{"status":{"latestFailoverStatus":null,"phase":"DBClusterReconciling"}}'
    

    Ganti DB_CLUSTER_NAME dengan nama resource DBCluster Anda.

    Jika kondisi HAReady di status.conditions masih mencegah rekonsiliasi karena kolom reason-nya ditetapkan ke FailoverInProgress atau SwitchoverInProgress, edit subresource status dari resource DBCluster dan hapus entri kondisi HAReady dari status.conditions agar operator AlloyDB Omni membuatnya kembali selama rekonsiliasi, atau tetapkan kolom reason-nya ke nilai CamelCase yang tidak kosong dan valid, seperti ClusterReady:

    kubectl edit dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE \
        --subresource=status
    
  6. Pastikan operator AlloyDB Omni merekonsiliasi instance standby dan mengembalikan resource DBCluster ke fase DBClusterReady:

    kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \
        --namespace DB_CLUSTER_NAMESPACE
    

Men-debug masalah memori

Bagian ini menjelaskan cara men-debug masalah memori.

Menjalankan dan mengambil heapdump

Hanya aktifkan fitur ini untuk tujuan pemecahan masalah. Jangan lupa untuk menonaktifkannya setelah itu.

Untuk mengambil heapdump, selesaikan langkah-langkah berikut:

  1. Ubah deployment operator di namespace alloydb-omni-system dengan nama fleet-controller-manager dan local-controller-manager.
  2. Tambahkan argumen berikut ke pod --pprof-address=:8642 atau ke port lain yang tersedia.
  3. Tunggu hingga pod pengontrol dimulai ulang.
  4. Teruskan port sebelumnya. Contoh:

    kubectl port-forward FLEET_CONTROLLER_MANAGER_POD_NAME -n alloydb-omni-system 8642:8642
    
  5. Di terminal lain, jalankan go tool pprof http://localhost:8642/debug/pprof/heap. Ubah port agar sesuai dengan port sebelumnya jika Anda tidak menggunakan 8642.

  6. Hubungkan ke alamat dan jalankan perintah pemecahan masalah. Misalnya: top.

  7. Setelah menyelesaikan pemecahan masalah, batalkan langkah 1 dengan menghapus argumen dan menunggu pod dimulai ulang.

Menentukan jumlah resource yang dipantau operator

Untuk memahami resource yang sedang digunakan, jalankan perintah berikut:

kubectl get backuprepositories -A  | wc -l
kubectl get failovers -A  | wc -l
kubectl get instancebackupplans -A  | wc -l
kubectl get instancebackups -A  | wc -l
kubectl get instancerestores -A  | wc -l
kubectl get instances -A  | wc -l
kubectl get instanceswitchovers -A  | wc -l
kubectl get lrojobs -A  | wc -l
kubectl get replicationconfigs -A  | wc -l
kubectl get sidecars -A  | wc -l
kubectl get deployments -A  | wc -l
kubectl get statefulsets -A  | wc -l
kubectl get certificates.cert-manager.io -A  | wc -l
kubectl get issuers.cert-manager.io -A  | wc -l
kubectl get configmaps -A  | wc -l
kubectl get persistentvolumeclaims -A  | wc -l
kubectl get persistentvolumes -A  | wc -l
kubectl get pods -A  | wc -l
kubectl get secrets -A  | wc -l
kubectl get services -A  | wc -l
kubectl get storageclasses.storage.k8s.io -A  | wc -l

Misalnya, jika jumlah secret tinggi, hal ini dapat menyebabkan error Kehabisan Memori (OOM).

kubectl get secrets -A | wc -l

Proses debug HA lanjutan

Bagian ini merujuk pada resource yang merupakan implementasi internal. Fitur ini dapat berubah sewaktu-waktu dan tidak memiliki komitmen kompatibilitas mundur. Hanya terapkan perbaikan manual pada masalah di database non-produksi. Langkah-langkah ini dapat membuat database tidak dapat dipulihkan.

Penyiapan HA AlloyDB Omni memiliki tiga fase:

  1. Siapkan instance utama untuk menerima koneksi dari instance standby.
  2. Lakukan inisialisasi standby dan hubungkan ke instance utama.
  3. Tetapkan setelan utama untuk membuat koneksi sinkron.

Langkah 2 biasanya merupakan langkah yang paling lambat. Bergantung pada ukuran database, proses ini mungkin memerlukan waktu beberapa jam.

Setiap instance yang mereplikasi instance harus memiliki replicationconfig yang terpasang padanya. Contoh:

kubectl get replicationconfigs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE

Contoh output:

NAME                 PARENT     TYPE       ROLE         READY   HEALTHY   SYNC_U   SYNC_D   SLOT_LOG   SLOT_REPLAY
cd58-adb--58ea-adb   cd58-adb   Physical   Upstream     True    True      true
ds-58ea-adb          58ea-adb   Physical   Downstream   True    True               true

Spesifikasi Replication Config menunjukkan setelan yang diinginkan, sedangkan statusnya mencerminkan status sebenarnya seperti yang dibaca dari database. Jika ada ketidakcocokan antara spesifikasi dan status, pengontrol masih mencoba menerapkan perubahan, atau ada beberapa error yang mencegah perubahan diterapkan. Hal ini akan terlihat di kolom status.

Tugas standby

Harus ada dua set tugas internal yang melacak alur kerja standby:

  • createstandbyjobs.alloydbomni.internal.dbadmin.goog
  • deletestandbyjobs.alloydbomni.internal.dbadmin.goog

Jika penyiapan tampaknya macet, lihat tugas yang terkait dengan cluster database (DBC). Tugas mungkin memiliki pesan error yang menjelaskan status penyiapan. Tugas akan otomatis dihapus beberapa saat setelah selesai, jadi Anda mungkin tidak melihat tugas apa pun jika tidak ada yang sedang berjalan.

kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE

Outputnya mirip dengan hal berikut ini:

apiVersion: alloydbomni.dbadmin.gdc.goog/v1
  kind: CreateStandbyJob
  metadata:
    creationTimestamp: "2024-11-05T03:34:26Z"
    finalizers:
    -   createstandbyjob.dbadmin.goog/finalizer
    generation: 1804
    labels:
      dbs.internal.dbadmin.goog/dbc: foo-ha-alloydb1-clone1
    name: foo-ha-alloydb1-clone1--ac00-foo-ha-alloydb1-clone1--6036-foo-ha-alloydb1-clone1-1730777666
    namespace: db
    resourceVersion: "11819071"
    uid: 1f24cedf-b326-422f-9405-c96c8720cd90
  spec:
    attempt: 3
    cleanup: false
    currentStep: SetupSynchronous
    currentStepTime: "2024-11-05T03:45:31Z"
    metadata:
      dbc: foo-ha-alloydb1-clone1
      primaryInstance: ac00-foo-ha-alloydb1-clone1
      retryError: 'etcdserver: leader changed'
      standbyInstance: 6036-foo-ha-alloydb1-clone1
    requeueTime: "2024-11-05T18:33:03Z"
    startTime: "2024-11-05T03:36:56Z"

Verifikasi utama

Hal pertama yang harus diverifikasi adalah apakah server utama disiapkan dengan benar. Harus ada Profil Replikasi untuk setiap standby. Jika isSynchronous bernilai benar pada spesifikasi dan status, penyiapan akan selesai. Jika isSynchronous bernilai salah pada spesifikasi dan status, berarti langkah 3 belum tercapai. Lihat tugas standby untuk melihat apakah ada tugas yang berjalan, dan apakah ada pesan error.

  replication:
    profiles:
    -   isActive: true
      isSynchronous: true
      name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
      password:
        name: ha-rep-pw-dbcluster-sample
        namespace: default
      passwordResourceVersion: "896080"
      role: Upstream
      type: Physical
      username: alloydbreplica

Pastikan anotasi disableHealthcheck bernilai false. Fitur ini dimaksudkan untuk dinonaktifkan hanya selama failover atau switchover.

apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
  annotations:
    dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
    dbs.internal.dbadmin.goog/disableHealthcheck: "false"
    dr-secondary: "false"
    forceReconcile: "1730414498"

Kueri

Untuk memverifikasi bahwa resource di pod DB telah disiapkan dengan benar, login ke database sebagai pengguna administrator alloydbadmin. Kemudian, jalankan kueri berikut:

Slot replikasi

\x on
select * from pg_replication_slots;
-[ RECORD 1 ]-------+---------------------------------------------
slot_name           | d85d_dbcluster_sample
plugin              |
slot_type           | physical
datoid              |
database            |
temporary           | f
active              | t
active_pid          | 250
xmin                | 16318
catalog_xmin        |
restart_lsn         | 0/CA657F0
confirmed_flush_lsn |
wal_status          | reserved
safe_wal_size       |
two_phase           | f

Status yang baik adalah adanya slot replikasi yang memiliki nama yang sama dengan instance standby. Tidak adanya slot replikasi menunjukkan bahwa langkah penyiapan pertama belum berhasil diselesaikan.

Jika active bukan t (true), berarti standby tidak terhubung karena beberapa alasan (jaringan, standby tidak menyelesaikan penyiapan, dll.) dan proses debug kemungkinan perlu dilanjutkan di sisi standby.

Statistik replikasi

\x on
select * from pg_stat_replication;
-[ RECORD 1 ]----+----------------------------------------------------------------
pid              | 250
usesysid         | 16385
usename          | alloydbreplica
application_name | d85d_dbcluster_sample
client_addr      | 10.54.79.196
client_hostname  | gke-samwise-default-pool-afaf152d-8197.us-central1-a.c.foo
client_port      | 24914
backend_start    | 2024-10-30 21:44:26.408261+00
backend_xmin     |
state            | streaming
sent_lsn         | 0/CA64DA8
write_lsn        | 0/CA64DA8
flush_lsn        | 0/CA64DA8
replay_lsn       | 0/CA64DA8
write_lag        |
flush_lag        |
replay_lag       |
sync_priority    | 2
sync_state       | sync
reply_time       | 2024-11-04 22:08:04.370838+00

Jika tidak ada, berarti tidak ada koneksi aktif. sync_state harus sync. Jika bukan sync, berarti langkah terakhir penyiapan tidak selesai. Melihat log/tugas akan memberikan detail selengkapnya.

Verifikasi standby

Standby harus memiliki profil replikasi yang cocok dengan profil yang sama dengan utama:

  replication:
    profiles:
    -   host: 10.54.79.210
      isActive: true
      isSynchronous: true
      name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
      passwordResourceVersion: "896080"
      port: 5432
      role: Downstream
      type: Physical
      username: alloydbreplica

Jika tidak ada koneksi dari standby ke primer, ada dua kemungkinan umum:

  1. Standby masih disiapkan.
  2. Standby mengalami error saat menyiapkan atau mencoba terhubung.

Untuk memeriksa apakah opsi 1 terjadi, dapatkan log pod database dan cari pernyataan log bernama dbdaemon/setupPhysicalReplicationDownstream. Berikut adalah contoh log penyiapan yang berhasil:

I1104 22:42:42.604871     103 replication.go:107] "dbdaemon/setupPhysicalReplicationDownstream: begin setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:42,605 INFO waiting for postgres to stop
2024-11-04 22:42:43,566 INFO stopped: postgres (exit status 0)
I1104 22:42:43.567590     103 replication.go:131] "dbdaemon/setupPhysicalReplicationDownstream: about to call pg_basebackup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample" cmd=["-h","10.54.79.210","-D","/mnt/disks/pgsql/pg_basebackup_data","-U","alloydbreplica","-v","-P","-p","5432","-w","-c","fast"]
I1104 22:42:44.206403     103 replication.go:139] "dbdaemon/setupPhysicalReplicationDownstream: pg_basebackup finished" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.206440     103 replication.go:141] "dbdaemon/setupPhysicalReplicationDownstream: replacing data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244749     103 replication.go:148] "dbdaemon/setupPhysicalReplicationDownstream: replaced data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244783     103 replication.go:150] "dbdaemon/setupPhysicalReplicationDownstream: Creating config files" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251565     103 replication.go:155] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql config file for log archiving" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251621     103 replication.go:160] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql auto config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251689     103 replication.go:165] "dbdaemon/setupPhysicalReplicationDownstream: Successfully wrote to config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:44,256 INFO spawned: 'postgres' with pid 271
2024-11-04 22:42:45,469 INFO success: postgres entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
I1104 22:42:45.469838     103 replication.go:174] "dbdaemon/setupPhysicalReplicationDownstream: backup replication configuration after changing replication config" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:45.476732     103 replication.go:179] "dbdaemon/setupPhysicalReplicationDownstream: finished standby setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"

Jika terjadi error koneksi, periksa log pod db serta file log di database di /obs/diagnostic/postgresql.log dan lihat error yang terjadi saat mencoba terhubung. Salah satu error yang umum terjadi adalah tidak adanya konektivitas jaringan antara standby dan primer.

Perbaikan manual

Cara termudah untuk memperbaiki masalah HA adalah dengan menonaktifkan, lalu mengaktifkan kembali HA dengan menetapkan numberOfStandbys ke 0, lalu meresetnya ke jumlah yang Anda inginkan. Jika standby terjebak dalam status dinonaktifkan, ikuti langkah-langkah berikut untuk mereset penyiapan HA secara manual menjadi kosong:

  1. Hapus instance standby secara manual.
  2. Hubungkan ke database utama. Buat kueri slot replikasi saat ini dan hapus slot replikasi standby yang ingin Anda hapus:

    select pg_drop_replication_slot('REPLICATION_SLOT_NAME');
    
  3. Hapus semua profil replikasi dari instance utama yang ingin Anda hapus.

Jika instance belum direkonsiliasi baru-baru ini, Anda dapat mengedit nilai anotasi forceReconcile. Tetapkan ke nilai numerik apa pun, yang merupakan stempel waktu terakhir kali anotasi tersebut diperbarui. Satu-satunya tujuan anotasi tersebut adalah untuk menyediakan kolom yang dapat kita perbarui untuk memaksa rekonsiliasi baru.

apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
  annotations:
    dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
    dbs.internal.dbadmin.goog/disableHealthcheck: "false"
    dr-secondary: "false"
    forceReconcile: "1730414498"

Jika resource DBCluster tetap macet di DBClusterFailoverInProgress, DBClusterSwitchoverInProgress, DBClusterFailoverRollbackFailed, atau DBClusterSwitchoverRollbackFailed karena instance utama dipagari dengan file PG_VERSION.disabled, lihat Cluster database tetap macet dalam status failover atau pengalihan.

Mengumpulkan mesin database dan log audit

Log mesin database dan log audit tersedia sebagai file di dalam pod database (memerlukan akses root):

  • obs/diagnostic/postgresql.log
  • obs/diagnostic/postgresql.audit
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE ${DB_POD} -it -- /bin/bash

Saat terhubung ke container database:

ls -l /obs/diagnostic/

Contoh output:

drwx--S--- 2 postgres postgres    4096 Aug 13 10:22 archive
-rw------- 1 postgres postgres  256050 Aug 13 13:25 postgresql.internal
-rw------- 1 postgres postgres 1594799 Aug 13 13:25 postgresql.log

Mengumpulkan metrik database dan pod database

Operator AlloyDB Omni menyediakan serangkaian metrik dasar untuk mesin AlloyDB Omni dan pod yang menghostingnya. Metrik tersedia sebagai endpoint Prometheus yang tersedia di port 9187. Untuk mengakses endpoint, Anda harus mengidentifikasi nama pod untuk pod database menggunakan label DBCluster dan memulai penerusan port sebagai berikut:

DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl port-forward -n DB_CLUSTER_NAMESPACE ${DB_POD} 9187:9187

Mengakses metrik pod database

Di terminal lain:

curl http://localhost:9187/metrics | grep HELP

Untuk mengetahui informasi selengkapnya tentang pemantauan, lihat Memantau AlloyDB Omni.

Anda juga dapat mengonfigurasi Prometheus untuk melakukan scraping metrik di cluster Kubernetes Anda. Lihat konfigurasi penemuan layanan Prometheus Kubernetes untuk mengetahui detailnya.