Coletar informações de depuração
Estas seções descrevem como coletar registros e configurações para depuração.
Buscar registros de pods do operador
Para buscar registros dos pods do operador, execute os seguintes comandos:
kubectl logs deployments/fleet-controller-manager -c fleet-manager -n alloydb-omni-system > alloydb-omni-system-fleet-controller-manager.out
kubectl logs deployments/local-controller-manager -c local-manager -n alloydb-omni-system > alloydb-omni-system-local-controller-manager.out
Buscar registros de pods do banco de dados
Para buscar registros de pods do banco de dados, execute os seguintes comandos:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl logs -c database ${DB_POD} -n DB_CLUSTER_NAMESPACE > ${DB_POD}.log
kubectl logs -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -c database -n DB_CLUSTER_NAMESPACE > dbcluster_DB_CLUSTER_NAME.out
Os registros a seguir são exemplos de verificações de integridade do banco de dados bem-sucedidas:
I0813 11:01:49.210051 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196796 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.196853 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:01:59.209824 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197013 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.197093 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:09.210010 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197368 27 gateway.go:166] "DatabaseHealthCheck: handling request" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.197425 27 database.go:702] "dbdaemon/isRestoreInProgress: starting" log_name="agent" project_ns="default" dbcluster="adb"
I0813 11:02:19.210416 27 gateway.go:184] "DatabaseHealthCheck: request handled successfully" log_name="agent" project_ns="default" dbcluster="adb"
Busque o postgresql.log
Para buscar o postgresql.log, execute o seguinte comando:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE -it ${DB_POD} -- cat /obs/diagnostic/postgresql.log > dbcluster_DB_CLUSTER_NAME_postgresql.log
Buscar o arquivo YAML da DBInstance
Para buscar o arquivo YAML DBInstance, execute o seguinte comando:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml
Buscar configurações e registros para cenários de alta disponibilidade
Para buscar configurações e registros específicos de cenários de alta disponibilidade (HA), execute os seguintes comandos:
kubectl get replicationconfig.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > replicationconfig_DB_CLUSTER_NAME.yaml
kubectl get deletestandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > deletestandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > createstandbyjobs_DB_CLUSTER_NAME.yaml
kubectl get failovers.alloydbomni.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > failovers_DB_CLUSTER_NAME.yaml
Buscar status de pod e STS
Para buscar os status do pod e do StatefulSet (STS), execute os seguintes comandos:
DB_POD=$(kubectl get pod -n DB_CLUSTER_NAMESPACE -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -o jsonpath='{.items[0].metadata.name}')
kubectl describe pod ${DB_POD} -n DB_CLUSTER_NAMESPACE > pod_${DB_POD}.out
kubectl describe statefulset -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE > statefulset_DB_CLUSTER_NAME.out
Identificar erros
Estas seções descrevem como identificar erros.
Procurar status e códigos de erro
Para identificar o código do erro, verifique o arquivo YAML do DBCluster em "status". Consulte a documentação de códigos de erro para mais informações.
Para buscar o arquivo YAML do DBCluster, execute o seguinte comando:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > dbcluster_DB_CLUSTER_NAME.yaml
Procure por criticalIncidents. Esta seção contém o código do erro e um stack trace.
Confira alguns exemplos de criticalIncidents:
status:
certificateReference:
certificateKey: ca.crt
secretRef:
name: dbs-al-cert-dr-mce
namespace: dr
conditions:
- lastTransitionTime: "2024-10-07T22:46:03Z"
...
criticalIncidents:
- code: DBSE0304
createTime: "2024-10-03T11:50:54Z"
message: 'Healthcheck: Health check invalid result.'
resource:
component: healthcheck
location:
group: alloydbomni.internal.dbadmin.goog
kind: Instance
name: bc0f-dr-mce
namespace: dr
version: v1
stackTrace:
- component: healthcheck
message: 'DBSE0304: Healthcheck: Health check invalid result. rpc error: code
= Code(10304) desc = DBSE0304: Healthcheck: Health check invalid result.
dbdaemon/healthCheck: invalid timestamp read back from the healthcheck table.
Lag is 384837.296269 seconds, wanted 35 seconds'
Também é possível recuperar o status extraindo campos específicos no formato JSON:
kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.status.criticalIncidents}' | jq
O resultado será o seguinte:
[
{
"code": "DBSE0085",
"createTime": "2024-03-14T05:41:37Z",
"message": "Platform: Pod is unschedulable.",
"resource": {
"component": "provisioning",
"location": {
"group": "alloydb.internal.dbadmin.goog",
"kind": "Instance",
"name": "b55f-testdbcluster",
"namespace": "dbs-system",
"version": "v1"
}
},
"stackTrace": [
{
"component": "provisioning",
"message": "DBSE0085: Platform: Pod is unschedulable. 0/16 nodes are available: pod has unbound immediate PersistentVolumeClaims. preemption: 0/16 nodes are available: 16 No preemption victims found for incoming pod..: Pod is unschedulable"
}
]
}
]
Se a mensagem de erro se referir ao pod do banco de dados, verifique as instâncias e os recursos do pod no mesmo namespace:
kubectl get instances.alloydbomni.internal.dbadmin.goog -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o yaml > instance_DB_CLUSTER_NAME.yaml
kubectl get pods -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE
Problemas conhecidos
Nesta seção, descrevemos problemas conhecidos e soluções alternativas para o operador do AlloyDB Omni. Para uma lista completa de comunicados de lançamento, correções de bugs e atualizações de segurança, consulte as Notas da versão.
Falha na emissão de certificados no cert-manager
O operador do AlloyDB Omni usa cert-manager para provisionar certificados Transport
Layer Security (TLS) para o operador e os clusters de banco de dados. Na
versão 1.21.2 e anteriores do cert-manager, uma disputa conhecida
(problema nº 6331 do cert-manager)
pode fazer com que a emissão do certificado falhe e entre em uma espera de nova tentativa de uma hora.
Versões afetadas
Operador do AlloyDB Omni 1.0.0 e versões mais recentes com cert-manager 1.21.2 e
anteriores.
Sintomas
Quando esse problema ocorre, é possível observar os seguintes sintomas:
- Um recurso
DBClusterpermanece na faseDBClusterWaitingForCertificate, e a criação ou o upgrade do cluster de banco de dados expira. - Uma instalação do Helm do operador do AlloyDB Omni falha porque um
recurso
Certificate, comolocal-serving-certno namespacealloydb-omni-system, não está pronto. - As condições de status de um recurso
Certificateincluem a mensagemCSR not signed by referenced private keycom o motivoFailedouErrorKeyMatch.
Para encontrar os recursos Certificate afetados por esse problema, execute o seguinte
comando:
kubectl get certificates.cert-manager.io --all-namespaces \
-o jsonpath='{range .items[*]}{.metadata.namespace}{"\t"}{.metadata.name}{"\t"}{.status.conditions[*].message}{"\n"}{end}' \
| grep "CSR not signed by referenced private key"
A saída lista o namespace, o nome e as mensagens de condição de status de
cada recurso Certificate afetado. Se você visualizar um recurso Certificate afetado no formato YAML, o campo status será semelhante ao seguinte:
status:
conditions:
- message: 'The certificate request has failed to complete and will be retried: Error generating certificate template: CSR not signed by referenced private key'
reason: Failed
status: "False"
type: Issuing
failedIssuanceAttempts: 1
Alternativa
Para evitar conflitos de atualização do controlador e reduzir o atraso de repetição de solicitações de certificado com falha de uma hora para 15 segundos, faça upgrade de cert-manager com o feature gate ServerSideApply e durações de espera reduzidas:
helm upgrade cert-manager oci://quay.io/jetstack/charts/cert-manager \
--version CERT_MANAGER_VERSION \
--namespace cert-manager \
--reuse-values \
--set featureGates="ServerSideApply=true" \
--set "extraArgs={--certificate-request-minimum-backoff-duration=15s,--certificate-request-maximum-backoff-duration=5m}"
Substitua:
CERT_MANAGER_VERSION: a versão docert-managerinstalada no cluster do Kubernetes, comov1.21.2. Para encontrar a versão instalada, execute o comandohelm list --namespace cert-manager.
Depois que o controlador cert-manager for reiniciado, verifique se todos os certificados mostram
True na coluna READY:
kubectl get certificates.cert-manager.io --all-namespaces
Se uma instalação do operador do AlloyDB Omni falhar devido a esse problema, execute a instalação novamente.
O upgrade da versão secundária de manutenção com pouco tempo de inatividade para de progredir em um cluster de banco de dados secundário
Versões afetadas
Operador do AlloyDB Omni 1.8.0 e versões mais recentes.
Sintomas
Durante um upgrade ou downgrade de versão secundária de um cluster de banco de dados secundário de replicação entre data centers que tenha standbys de alta disponibilidade (HA), a operação para de progredir após o primeiro upgrade de standby. O recurso DBCluster
permanece no estado DBCUpgradeInProgress=True com o
motivo DBCUpgradeFlowBegins.
Alternativa
Desative a manutenção com pouco tempo de inatividade (LDTM) no cluster de banco de dados secundário para que o operador do AlloyDB Omni conclua o upgrade usando o fluxo de trabalho de upgrade contínuo padrão:
kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ dbcluster.dbadmin.goog/enableLDTM=false \ --namespace DB_CLUSTER_NAMESPACE \ --overwriteSubstitua:
DB_CLUSTER_NAME: o nome do recurso secundárioDBCluster.DB_CLUSTER_NAMESPACE: o namespace do recurso secundárioDBCluster.
Verifique se o upgrade foi concluído e se o recurso
DBClusteratingiu a faseDBClusterReady:kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACEReative a manutenção com pouco tempo de inatividade no cluster de banco de dados secundário para que o recurso
DBClustermantenha a capacidade de manutenção com pouco tempo de inatividade se for promovido a um cluster de banco de dados principal:kubectl annotate dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ dbcluster.dbadmin.goog/enableLDTM=true \ --namespace DB_CLUSTER_NAMESPACE \ --overwrite
O agente do Monitoring encontra erros de permissão de cgroups após ativar a replicação entre data centers
Versões afetadas
Operador do AlloyDB Omni 1.9.0.
Sintomas
Depois de ativar a replicação entre data centers, o agente de monitoramento encontra
erros de permissão nos registros do contêiner ao tentar coletar informações de
cgroups.
Alternativa
Liste os pods de banco de dados no cluster de banco de dados secundário para encontrar o nome do pod de banco de dados downstream:
kubectl get pods \ --selector alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database \ --namespace DB_CLUSTER_NAMESPACESubstitua:
DB_CLUSTER_NAME: o nome do recurso secundárioDBCluster.DB_CLUSTER_NAMESPACE: o namespace do recurso secundárioDBCluster.
Exclua o pod do banco de dados downstream para que o operador do AlloyDB Omni recrie e reinicie o pod:
kubectl delete pod DB_POD_NAME \ --namespace DB_CLUSTER_NAMESPACESubstitua
DB_POD_NAMEpelo nome do pod do banco de dados downstream da etapa anterior.
O cluster de banco de dados aciona continuamente failovers automáticos
Se o recurso DBCluster criar vários failovers automáticos um após o outro, conclua as seguintes verificações:
Liste os recursos
FailoverdoDBClustere compare os carimbos de data/hora de criação:kubectl get failover.alloydbomni.dbadmin.goog \ --selector failover.dbadmin.goog/dbcluster=DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACESubstitua:
DB_CLUSTER_NAME: o nome do recursoDBCluster.DB_CLUSTER_NAMESPACE: o namespace do recursoDBCluster.
Conecte-se ao pod do banco de dados principal no banco de dados
alloydbadmine verifique a integridade do banco de dados:SELECT * FROM healthcheck;Verifique se o carimbo de data/hora da última verificação de integridade é recente e se as verificações de integridade são executadas nos intervalos esperados. Se a instância principal não estiver íntegra, inspecione o arquivo
postgresql.logpara determinar por que ela está falhando. Para mais informações sobre como buscar registros, consulte Resolver problemas do operador do AlloyDB Omni no Kubernetes.
Se você usar um grande número de clusters de banco de dados em um único cluster do Kubernetes
ou se tiver clusters de banco de dados subprovisionados, as verificações de integridade de failover automático
poderão expirar ou não se conectar. Se você receber um erro que
começa com HealthCheckProber: health check for instance failed, consulte as
correções recomendadas em
Resolver problemas de recuperação de instâncias.
Para reduzir ou evitar failovers automáticos, você também pode realizar as seguintes
ações:
Aumente o valor de
autoFailoverTriggerThresholdpara que o failover automático ocorra com menos frequência. Para mais informações, consulte Ajustar as configurações do gatilho de failover automático.Desativar o failover automático em clusters de banco de dados. Para mais informações, consulte Desativar o failover automático.
O cluster de banco de dados permanece travado em um estado de failover ou switchover
Durante um failover ou uma troca de alta disponibilidade (HA), o
operador do AlloyDB Omni isola a antiga instância primária durante a
fase StopPrimary renomeando os arquivos PG_VERSION como PG_VERSION.disabled
no diretório de dados raiz em /pgdata/db/PG_VERSION.disabled e em cada
subdiretório de banco de dados em
/pgdata/db/base/OID/PG_VERSION.disabled. Se o failover ou a alternância falhar antes que a instância em espera seja promovida e a reversão automática não ocorrer ou falhar, a antiga instância primária permanecerá isolada e o recurso DBCluster permanecerá travado em uma fase de reversão em andamento ou com falha.
Versões afetadas
Operador do AlloyDB Omni 1.0.0 e versões mais recentes.
Sintomas
Quando esse problema ocorre, é possível observar os seguintes sintomas:
- O campo
status.phasedo recursoDBClusterpermanece emDBClusterFailoverInProgress,DBClusterSwitchoverInProgress,DBClusterFailoverRollbackFailedouDBClusterSwitchoverRollbackFailed. - A condição
HAReadyno recursoDBClustertemstatus: "False"com o motivoFailoverInProgressouSwitchoverInProgress. - O recurso
Failover(failovers.alloydbomni.dbadmin.goog) ouSwitchover(switchovers.alloydbomni.dbadmin.goog) está no estadoFailedouFailed_RollbackFailed. - O campo
status.internal.phasedo recursoFailoverouSwitchoverpermanece em uma fase anterior aPromoteStandby, comoStopPrimary, ou permanece na fasePromoteStandbypor uma hora ou mais sem promover a instância em espera. - O pod do banco de dados principal não inicia o PostgreSQL e registra um erro
indicando que o arquivo
PG_VERSIONestá ausente porquePG_VERSIONfoi renomeado comoPG_VERSION.disabledem/pgdata/db/PG_VERSION.disablede/pgdata/db/base/OID/PG_VERSION.disabled. Se uma recuperação manual anterior tiver restaurado apenas o arquivo
/pgdata/db/PG_VERSIONde nível superior, deixando os arquivosPG_VERSION.disablednos subdiretórios/pgdata/db/base/OID/, as operaçõespg_basebackupsubsequentes em instâncias em espera vão falhar com o seguinte erro nos registros do PostgreSQL na instância principal:XX000:ERROR: [basebackup.c:1549] invalid segment number 0 in file "PG_VERSION.disabled"
Alternativa
Para remover manualmente o isolamento da antiga instância principal e recuperar o recurso DBCluster,
siga estas etapas:
Inspecione os recursos externos e internos
FailoverouSwitchoverno namespace do cluster de banco de dados para verificar a fase deles e identificar as instâncias principal anterior (oldPrimary) e de espera de destino (newPrimary):kubectl get failovers.alloydbomni.dbadmin.goog,switchovers.alloydbomni.dbadmin.goog,failovers.alloydbomni.internal.dbadmin.goog,instanceswitchovers.alloydbomni.internal.dbadmin.goog \ --namespace DB_CLUSTER_NAMESPACE \ -o yamlSubstitua
DB_CLUSTER_NAMESPACEpelo namespace do recursoDBCluster.Confirme se
status.internal.phasenão ultrapassouPromoteStandby. Se o pod do banco de dados em espera estiver em execução, verifique se o PostgreSQL na instância em espera ainda está no modo de recuperação somente leitura:kubectl exec -c database STANDBY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ psql -U alloydbadmin -d alloydbadmin -c "SELECT pg_is_in_recovery();"Substitua
STANDBY_POD_NAMEpelo nome do pod do banco de dados em espera, formatado comoal-STANDBY_INSTANCE_NAME-0, em queSTANDBY_INSTANCE_NAMEé o valor destatus.internal.newPrimary.Confirme se a consulta retorna
t(verdadeiro) ou se o pod do banco de dados em espera está interrompido. Depois de confirmar que a instância em espera não foi promovida, exclua o recursoInstanceem espera para evitar que ele seja promovido durante a recuperação:kubectl delete instances.alloydbomni.internal.dbadmin.goog STANDBY_INSTANCE_NAME \ --namespace DB_CLUSTER_NAMESPACESubstitua
STANDBY_INSTANCE_NAMEpelo nome do recursoInstanceem espera do campostatus.internal.newPrimary.Verifique o diretório de dados
/pgdata/dbno pod do banco de dados principal para arquivosPG_VERSIONePG_VERSION.disabled:kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ find /pgdata/db -type f -name "PG_VERSION*"Substitua
PRIMARY_POD_NAMEpelo nome do pod do banco de dados principal, formatado comoal-PRIMARY_INSTANCE_NAME-0, em quePRIMARY_INSTANCE_NAMEé o valor destatus.internal.oldPrimary.Se nem
PG_VERSIONnemPG_VERSION.disabledexistirem em/pgdata/db, o diretório de dados do banco de dados não será recuperável e precisará ser restaurado de um backup.Se houver arquivos
PG_VERSION.disabled, restaurePG_VERSIONno diretório de dados raiz em/pgdata/db/PG_VERSION.disablede em cada subdiretório do banco de dados em/pgdata/db/base/OID/PG_VERSION.disabled. O comando a seguir renomeia cada arquivoPG_VERSION.disabledde volta paraPG_VERSIONou remove o arquivoPG_VERSION.disabledse o arquivoPG_VERSIONcorrespondente já tiver sido restaurado:kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ sh -c 'find /pgdata/db -type f -name "PG_VERSION.disabled" | while read -r f; do target="${f%.disabled}" if [ -f "$target" ]; then rm -f "$f"; else mv "$f" "$target"; fi done'Reinicie o serviço PostgreSQL no pod do banco de dados principal:
kubectl exec -c database PRIMARY_POD_NAME \ --namespace DB_CLUSTER_NAMESPACE -- \ /scripts/supervisor/bin/supervisorctl.par \ -c /scripts/supervisor/etc/supervisord.conf restart postgresLimpe o estado de failover ou de alternância com falha usando uma das seguintes opções:
Opção 1: excluir os recursos
FailoverouSwitchovere reiniciar os controladores do operador. Exclua os recursosFailoverexternos e internos e reinicie as implantaçõesfleet-controller-managerelocal-controller-managerno namespacealloydb-omni-systempara liberar bloqueios na memória:kubectl delete failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE kubectl delete failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE kubectl rollout restart deployment/fleet-controller-manager deployment/local-controller-manager \ --namespace alloydb-omni-systemSubstitua:
FAILOVER_NAME: o nome do recursofailovers.alloydbomni.dbadmin.goog.INTERNAL_FAILOVER_NAME: o nome do recursofailovers.alloydbomni.internal.dbadmin.goog.
Se uma alternância estiver travada em vez de um failover, exclua os recursos
switchovers.alloydbomni.dbadmin.googeinstanceswitchovers.alloydbomni.internal.dbadmin.goog.Opção 2: marcar os recursos
Failovercomo revertidos. Essa opção se aplica apenas a recursosFailovertravados. Se um recursoSwitchoverestiver travado, use a Opção 1. Edite o sub-recursostatusnos recursosfailovers.alloydbomni.dbadmin.googefailovers.alloydbomni.internal.dbadmin.goog:kubectl edit failovers.alloydbomni.dbadmin.goog FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=status kubectl edit failovers.alloydbomni.internal.dbadmin.goog INTERNAL_FAILOVER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=statusNa seção
statusde cada recursoFailover, definaendTimecomo um carimbo de data/hora apóscreateTime, definainternal.phasecomoRollbackSucceedede definastatecomoFailed, conforme mostrado no exemplo a seguir:apiVersion: alloydbomni.dbadmin.goog/v1 kind: Failover status: createTime: "2026-09-01T22:07:42Z" endTime: "2026-09-01T22:07:50Z" internal: attempt: 0 lastPhaseChangeTime: "2026-09-01T22:07:39Z" newPrimary: 4274-dbcluster-sample newPrimaryZone: "" oldPrimary: dafd-dbcluster-sample phase: RollbackSucceeded observedGeneration: 2 reconciled: true startTime: "2026-09-01T22:07:39Z" state: Failed
Atualize o sub-recurso
statusdo recursoDBClusterpara limparlatestFailoverStatuse definirphasecomoDBClusterReconciling:kubectl patch dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=status \ --type=merge \ --patch '{"status":{"latestFailoverStatus":null,"phase":"DBClusterReconciling"}}'Substitua
DB_CLUSTER_NAMEpelo nome do recursoDBCluster.Se a condição
HAReadyemstatus.conditionsainda impedir a reconciliação porque o camporeasonestá definido comoFailoverInProgressouSwitchoverInProgress, edite o subrecursostatusdo recursoDBClustere remova a entrada de condiçãoHAReadydestatus.conditionspara que o operador do AlloyDB Omni a recrie durante a reconciliação ou defina o camporeasoncomo um valorCamelCaseválido não vazio, comoClusterReady:kubectl edit dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE \ --subresource=statusVerifique se o operador do AlloyDB Omni reconcilia a instância em espera e retorna o recurso
DBClusterpara a faseDBClusterReady:kubectl get dbclusters.alloydbomni.dbadmin.goog DB_CLUSTER_NAME \ --namespace DB_CLUSTER_NAMESPACE
Depurar problemas de memória
Estas seções descrevem como depurar problemas de memória.
Executar e gerar um heapdump
Ative esse recurso apenas para resolver problemas. Lembre-se de desativá-lo depois.
Para fazer um heapdump, siga estas etapas:
- Modifique a implantação do operador no namespace
alloydb-omni-systemcom o nomefleet-controller-managerelocal-controller-manager. - Adicione o seguinte argumento ao pod
--pprof-address=:8642ou a qualquer outra porta disponível. - Aguarde o pod do controlador reiniciar.
Encaminhe a porta anterior. Exemplo:
kubectl port-forward FLEET_CONTROLLER_MANAGER_POD_NAME -n alloydb-omni-system 8642:8642Em outro terminal, execute
go tool pprof http://localhost:8642/debug/pprof/heap. Mude a porta para corresponder à anterior se você não usar8642.Conecte-se ao endereço e execute comandos de solução de problemas. Por exemplo,
top.Depois de concluir a solução de problemas, desfaça a etapa 1 removendo o argumento e aguardando a reinicialização do pod.
Determinar o número de recursos que o operador está monitorando
Para entender os recursos em uso, execute os seguintes comandos:
kubectl get backuprepositories -A | wc -l
kubectl get failovers -A | wc -l
kubectl get instancebackupplans -A | wc -l
kubectl get instancebackups -A | wc -l
kubectl get instancerestores -A | wc -l
kubectl get instances -A | wc -l
kubectl get instanceswitchovers -A | wc -l
kubectl get lrojobs -A | wc -l
kubectl get replicationconfigs -A | wc -l
kubectl get sidecars -A | wc -l
kubectl get deployments -A | wc -l
kubectl get statefulsets -A | wc -l
kubectl get certificates.cert-manager.io -A | wc -l
kubectl get issuers.cert-manager.io -A | wc -l
kubectl get configmaps -A | wc -l
kubectl get persistentvolumeclaims -A | wc -l
kubectl get persistentvolumes -A | wc -l
kubectl get pods -A | wc -l
kubectl get secrets -A | wc -l
kubectl get services -A | wc -l
kubectl get storageclasses.storage.k8s.io -A | wc -l
Por exemplo, se o número de secrets for alto, isso pode levar a um erro de memória insuficiente (OOM).
kubectl get secrets -A | wc -l
Depuração avançada de alta disponibilidade
Esta seção faz referência a recursos que são implementações internas. Eles estão sujeitos a mudanças a qualquer momento e não têm compromissos de compatibilidade com versões anteriores. Aplique correções manuais apenas a problemas em bancos de dados que não são de produção. Essas etapas podem tornar o banco de dados irrecuperável.
A configuração de alta disponibilidade do AlloyDB Omni tem três fases:
- Configure a instância principal para receber uma conexão da instância de espera.
- Inicialize o modo de espera e conecte-o ao principal.
- Defina as configurações principais para tornar a conexão síncrona.
A etapa 2 geralmente é a mais lenta. Dependendo do tamanho do banco de dados, isso pode levar várias horas.
Cada instância de replicação precisa ter um replicationconfig anexado a ela. Exemplo:
kubectl get replicationconfigs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE
Exemplo de saída:
NAME PARENT TYPE ROLE READY HEALTHY SYNC_U SYNC_D SLOT_LOG SLOT_REPLAY
cd58-adb--58ea-adb cd58-adb Physical Upstream True True true
ds-58ea-adb 58ea-adb Physical Downstream True True true
A especificação da configuração de replicação indica as configurações pretendidas, enquanto o status reflete o estado real lido no banco de dados. Se houver uma incompatibilidade entre a especificação e o status, o controlador ainda estará tentando aplicar a alteração ou haverá algum erro que impede a aplicação da alteração. Isso seria indicado nos campos de status.
Jobs em espera
Deve haver dois conjuntos de jobs internos que rastreiam o fluxo de trabalho de um modo de espera:
createstandbyjobs.alloydbomni.internal.dbadmin.googdeletestandbyjobs.alloydbomni.internal.dbadmin.goog
Se a configuração parecer travada, confira os jobs relacionados ao cluster de banco de dados (DBC). O job pode ter mensagens de erro que explicam o estado da configuração. Os jobs são limpos automaticamente algum tempo depois de serem concluídos. Por isso, talvez você não veja nenhum job se nenhum estiver em andamento.
kubectl get createstandbyjobs.alloydbomni.internal.dbadmin.goog -n DB_CLUSTER_NAMESPACE
O resultado será o seguinte:
apiVersion: alloydbomni.dbadmin.gdc.goog/v1
kind: CreateStandbyJob
metadata:
creationTimestamp: "2024-11-05T03:34:26Z"
finalizers:
- createstandbyjob.dbadmin.goog/finalizer
generation: 1804
labels:
dbs.internal.dbadmin.goog/dbc: foo-ha-alloydb1-clone1
name: foo-ha-alloydb1-clone1--ac00-foo-ha-alloydb1-clone1--6036-foo-ha-alloydb1-clone1-1730777666
namespace: db
resourceVersion: "11819071"
uid: 1f24cedf-b326-422f-9405-c96c8720cd90
spec:
attempt: 3
cleanup: false
currentStep: SetupSynchronous
currentStepTime: "2024-11-05T03:45:31Z"
metadata:
dbc: foo-ha-alloydb1-clone1
primaryInstance: ac00-foo-ha-alloydb1-clone1
retryError: 'etcdserver: leader changed'
standbyInstance: 6036-foo-ha-alloydb1-clone1
requeueTime: "2024-11-05T18:33:03Z"
startTime: "2024-11-05T03:36:56Z"
Verificação principal
A primeira coisa a verificar é se a instância principal está configurada corretamente. Deve haver um perfil de replicação para cada espera. Se isSynchronous for verdadeiro na especificação e no status, a configuração estará concluída. Se isSynchronous for falso na
especificação e no status, ele ainda não terá atingido a etapa 3. Confira os jobs em espera
para ver se há algum em execução e se eles têm mensagens de
erro.
replication:
profiles:
- isActive: true
isSynchronous: true
name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
password:
name: ha-rep-pw-dbcluster-sample
namespace: default
passwordResourceVersion: "896080"
role: Upstream
type: Physical
username: alloydbreplica
Verifique se a anotação disableHealthcheck é falsa. Ele deve ser desativado apenas durante um failover ou switchover.
apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
annotations:
dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
dbs.internal.dbadmin.goog/disableHealthcheck: "false"
dr-secondary: "false"
forceReconcile: "1730414498"
Consultas
Para verificar se os recursos no pod do banco de dados estão configurados corretamente, faça login no
banco de dados como o usuário administrador alloydbadmin. Em seguida, execute as seguintes consultas:
Slot de replicação
\x on
select * from pg_replication_slots;
-[ RECORD 1 ]-------+---------------------------------------------
slot_name | d85d_dbcluster_sample
plugin |
slot_type | physical
datoid |
database |
temporary | f
active | t
active_pid | 250
xmin | 16318
catalog_xmin |
restart_lsn | 0/CA657F0
confirmed_flush_lsn |
wal_status | reserved
safe_wal_size |
two_phase | f
Um bom estado é a presença de um slot de replicação com o mesmo nome da instância em espera. A ausência de um slot de replicação indica que a primeira etapa de configuração não foi concluída com sucesso.
Se active não for t (verdadeiro), isso significa que o modo de espera não está se conectando por
algum motivo (rede, modo de espera não finalizando a configuração etc.) e a depuração provavelmente
precisará continuar no modo de espera.
Estatísticas de replicação
\x on
select * from pg_stat_replication;
-[ RECORD 1 ]----+----------------------------------------------------------------
pid | 250
usesysid | 16385
usename | alloydbreplica
application_name | d85d_dbcluster_sample
client_addr | 10.54.79.196
client_hostname | gke-samwise-default-pool-afaf152d-8197.us-central1-a.c.foo
client_port | 24914
backend_start | 2024-10-30 21:44:26.408261+00
backend_xmin |
state | streaming
sent_lsn | 0/CA64DA8
write_lsn | 0/CA64DA8
flush_lsn | 0/CA64DA8
replay_lsn | 0/CA64DA8
write_lag |
flush_lag |
replay_lag |
sync_priority | 2
sync_state | sync
reply_time | 2024-11-04 22:08:04.370838+00
Se não houver, significa que não há uma conexão ativa. sync_state precisa ser sync. Se não for sync, isso significa que a etapa final da
configuração não foi concluída. Confira os registros / jobs para mais detalhes.
Verificação de espera
O modo de espera precisa ter um perfil de replicação que corresponda ao mesmo perfil do principal:
replication:
profiles:
- host: 10.54.79.210
isActive: true
isSynchronous: true
name: ha:4c82-dbcluster-sample::d85d-dbcluster-sample
passwordResourceVersion: "896080"
port: 5432
role: Downstream
type: Physical
username: alloydbreplica
Se não houver conexão entre a instância de espera e a principal, há duas possibilidades comuns:
- A configuração do modo de espera ainda está em andamento.
- O modo de espera está recebendo um erro ao configurar ou tentar se conectar.
Para verificar se a opção 1 está acontecendo, acesse os registros do pod do banco de dados e procure log statements chamados dbdaemon/setupPhysicalReplicationDownstream. Veja a seguir
exemplos de registros de configuração bem-sucedidos:
I1104 22:42:42.604871 103 replication.go:107] "dbdaemon/setupPhysicalReplicationDownstream: begin setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:42,605 INFO waiting for postgres to stop
2024-11-04 22:42:43,566 INFO stopped: postgres (exit status 0)
I1104 22:42:43.567590 103 replication.go:131] "dbdaemon/setupPhysicalReplicationDownstream: about to call pg_basebackup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample" cmd=["-h","10.54.79.210","-D","/mnt/disks/pgsql/pg_basebackup_data","-U","alloydbreplica","-v","-P","-p","5432","-w","-c","fast"]
I1104 22:42:44.206403 103 replication.go:139] "dbdaemon/setupPhysicalReplicationDownstream: pg_basebackup finished" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.206440 103 replication.go:141] "dbdaemon/setupPhysicalReplicationDownstream: replacing data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244749 103 replication.go:148] "dbdaemon/setupPhysicalReplicationDownstream: replaced data directory with pg_basebackup data directory" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.244783 103 replication.go:150] "dbdaemon/setupPhysicalReplicationDownstream: Creating config files" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251565 103 replication.go:155] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql config file for log archiving" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251621 103 replication.go:160] "dbdaemon/setupPhysicalReplicationDownstream: removing postgresql auto config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:44.251689 103 replication.go:165] "dbdaemon/setupPhysicalReplicationDownstream: Successfully wrote to config file" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
2024-11-04 22:42:44,256 INFO spawned: 'postgres' with pid 271
2024-11-04 22:42:45,469 INFO success: postgres entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
I1104 22:42:45.469838 103 replication.go:174] "dbdaemon/setupPhysicalReplicationDownstream: backup replication configuration after changing replication config" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
I1104 22:42:45.476732 103 replication.go:179] "dbdaemon/setupPhysicalReplicationDownstream: finished standby setup" log_name="agent" project_ns="default" dbcluster="dbcluster-sample"
Se houver um erro de conexão, verifique os registros do pod do banco de dados e o arquivo de registro no
banco de dados em /obs/diagnostic/postgresql.log para ver qual é o erro ao
tentar se conectar. Um erro comum é a falta de conectividade de rede
entre o standby e o primário.
Correções manuais
A maneira mais fácil de corrigir problemas de alta disponibilidade é desativar e reativar a alta disponibilidade definindo
numberOfStandbys como 0 e, em seguida, redefinindo-o para o número desejado. Se as instâncias em espera estiverem
presas sendo desativadas, siga estas etapas para redefinir manualmente a
configuração de alta disponibilidade para que fique vazia:
- Exclua manualmente as instâncias em espera.
Conecte-se ao banco de dados principal. Consulte os slots de replicação atuais e exclua os slots de replicação de espera que você quer excluir:
select pg_drop_replication_slot('REPLICATION_SLOT_NAME');Exclua todos os perfis de replicação da instância principal que você quer excluir.
Se uma instância não tiver sido reconciliada recentemente, será possível editar o valor da anotação forceReconcile. Defina como qualquer valor numérico, que é o carimbo de data/hora da
última vez que a anotação foi atualizada. O único propósito dessa anotação é
fornecer um campo que possa ser atualizado para forçar uma nova reconciliação.
apiVersion: alloydbomni.internal.dbadmin.goog/v1
kind: Instance
metadata:
annotations:
dbs.internal.dbadmin.goog/consecutiveHealthcheckFailures: "0"
dbs.internal.dbadmin.goog/disableHealthcheck: "false"
dr-secondary: "false"
forceReconcile: "1730414498"
Se um recurso DBCluster permanecer travado em DBClusterFailoverInProgress,
DBClusterSwitchoverInProgress, DBClusterFailoverRollbackFailed ou
DBClusterSwitchoverRollbackFailed porque a instância principal está isolada com
arquivos PG_VERSION.disabled, consulte O cluster de banco de dados permanece travado em um estado de failover
ou alternância.
Coletar registros de auditoria e do mecanismo de banco de dados
Os registros do mecanismo de banco de dados e registros de auditoria estão disponíveis como arquivos no pod do banco de dados (exige acesso raiz):
obs/diagnostic/postgresql.logobs/diagnostic/postgresql.audit
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME,alloydbomni.internal.dbadmin.goog/task-type=database -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl exec -c database -n DB_CLUSTER_NAMESPACE ${DB_POD} -it -- /bin/bash
Quando estiver conectado ao contêiner do banco de dados:
ls -l /obs/diagnostic/
Exemplo de saída:
drwx--S--- 2 postgres postgres 4096 Aug 13 10:22 archive
-rw------- 1 postgres postgres 256050 Aug 13 13:25 postgresql.internal
-rw------- 1 postgres postgres 1594799 Aug 13 13:25 postgresql.log
Coletar métricas de banco de dados e de pods de banco de dados
O operador do AlloyDB Omni fornece um conjunto de métricas básicas para o mecanismo do AlloyDB Omni e o pod que o hospeda. As métricas estão disponíveis como endpoints do Prometheus na porta 9187. Para acessar os endpoints, é necessário identificar o nome do pod do banco de dados usando o rótulo DBCluster e iniciar o encaminhamento de portas da seguinte maneira:
DB_POD=$(kubectl get pod -l alloydbomni.internal.dbadmin.goog/dbcluster=DB_CLUSTER_NAME -n DB_CLUSTER_NAMESPACE -o jsonpath='{.items[0].metadata.name}')
kubectl port-forward -n DB_CLUSTER_NAMESPACE ${DB_POD} 9187:9187
Acessar métricas de pods do banco de dados
Em outro terminal:
curl http://localhost:9187/metrics | grep HELP
Para mais informações sobre monitoramento, consulte Monitorar o AlloyDB Omni.
Também é possível configurar o Prometheus para coletar as métricas no cluster do Kubernetes. Consulte a configuração de descoberta de serviços do Kubernetes do Prometheus para mais detalhes.