Práticas recomendadas gerais ao usar o Datastream

Nesta página, encontra práticas recomendadas para usar o Datastream. Estas incluem práticas recomendadas gerais quando usa o Datastream.

Altere a base de dados de origem de uma stream

Em alguns casos, pode ter de alterar a base de dados de origem de uma stream. Por exemplo, pode ter de modificar a stream para fazer a replicação a partir de uma réplica em vez da instância da base de dados principal.

  1. Crie um perfil de ligação para a instância da réplica.
  2. Crie uma stream, usando o perfil de associação para a réplica que criou e o perfil de associação existente para o destino.
  3. Inicie a stream com o preenchimento histórico desativado. Quando a stream é iniciada, só traz os dados dos registos binários.
  4. Opcional. Depois de a stream estar em execução, modifique-a para ativar o preenchimento automático.
  5. Pausar a stream que está a ler a partir da instância principal.
  6. Opcional. Elimine a stream que estava a transmitir dados da instância principal.
  7. Opcional. Elimine o perfil de ligação para a instância principal.

Alertas e monitorização no Datastream

O painel de controlo do Datastream contém muitas informações. Estas informações podem ser úteis para fins de depuração. Pode encontrar informações adicionais nos registos, que estão disponíveis no Cloud Logging.

Alertas do Datastream

Não existe nenhum alerta predefinido configurado para o fluxo de dados. Por exemplo, pode criar uma política de alertas para a métrica Atualidade dos dados clicando no link Criar política de alertas no separador Vista geral. Para as restantes métricas, siga estes passos:

  1. Na Google Cloud consola, aceda à página  Alertas:

    Aceder a Alertas

  2. Clique em Criar política.

  3. Clique no menu pendente Selecionar uma métrica.

  4. No campo de filtro, introduza Datastream.

  5. Opcional: pode ter de desativar o filtro Ativo para ver todas as métricas disponíveis.

  6. Pesquise a métrica que quer monitorizar em Stream de dados.

  7. Clique em Aplicar.

  8. Opcional: introduza os detalhes necessários nas secções Adicionar filtros e Transformar dados. Clique em Seguinte.

  9. Introduza as informações necessárias na secção Configurar acionador de alerta. Clique em Seguinte.

  10. Configure as notificações na secção Configurar notificações e finalizar alerta.

  11. Reveja o alerta e clique em Criar política quando estiver tudo pronto.

    Para obter informações detalhadas sobre como concluir cada um destes passos, consulte o artigo Crie uma política de alertas.

Recomendamos que crie alertas para as seguintes métricas da stream de dados:

  • Atualidade dos dados
  • Contagem de eventos não suportados da stream
  • Latências totais da stream

Um alerta em qualquer uma destas métricas pode indicar um problema com a stream ou a base de dados de origem.

Compreenda a latência

O fluxo de dados fornece as seguintes métricas para ajudar a compreender a latência de replicação:

  • Atualidade dos dados: a diferença entre a hora em que os dados foram confirmados na origem e a hora em que os dados foram lidos pelo fluxo de dados. Se esta métrica for elevada, indica que o Datastream está a ler os dados mais lentamente do que estão a ser gerados na origem. Isto indica que pode existir um problema com a origem ou com a ligação de rede à origem.
  • Latência do sistema: o tempo que o fluxo de dados demora a processar um evento, desde o momento em que o evento é lido da origem até ser escrito no destino.
  • Latência total: o atraso de replicação ponto a ponto, que representa o tempo total desde o momento em que os dados são confirmados na origem até serem escritos no destino.

Se a atualização dos dados for elevada, as causas comuns incluem:

  • Sobrecarga da origem: a base de dados de origem está a gerar registos (ficheiros binlog, ficheiros redo log e ficheiros WAL) mais rapidamente do que o Datastream os consegue ler.
    • Ação para MySQL/Oracle: aumente o maxConcurrentCdcTasks parâmetro para ler mais registos em paralelo.
    • Ação para o PostgreSQL: isole as tabelas com elevada taxa de abandono em streams dedicadas.
    • Ação para o SQL Server: aumente o parâmetro maxConcurrentCdcTasks para ler mais tabelas de alterações em paralelo.
  • Escassez de recursos de origem: o próprio servidor da base de dados de origem tem problemas, como utilização elevada da CPU, memória baixa ou restrições de I/O do disco.
    • Ação: certifique-se de que a instância de origem não tem problemas. Verifique a utilização da CPU/RAM. Para o PostgreSQL, considere aumentar o valor do parâmetro logical_decoding_work_mem. Para o Oracle, certifique-se de que é alocada uma área global do sistema (SGA) suficiente.
  • Problemas de capacidade da rede: tempo de ping elevado ou largura de banda saturada entre a sua origem e o Google Cloud.
    • Ação: monitorize a largura de banda e a latência da VPN ou do Cloud Interconnect.
  • Transação única grande: uma tarefa em lote grande, como uma UPDATE em milhões de linhas, pode causar um pico temporário na latência.
    • Ação: isto é esperado. Aguarde que o Datastream processe o evento grande. Considere dividir grandes tarefas em lote em partes mais pequenas no futuro.

Se a latência do sistema for elevada, isto pode indicar um problema no fluxo de dados ou no destino.

  • Ação: verifique o Cloud Logging quanto a erros persistentes ao nível da linha (por exemplo, invalid input for type json). Se a stream estiver num ciclo de repetição devido a erros de tipo de dados ou restrições, isto pode exigir a correção manual dos dados na origem. Se não existirem erros óbvios, contacte o apoio técnico da Google para receber assistência.

Quantas tabelas pode processar um único fluxo?

Recomendamos que uma única stream inclua até 10 000 tabelas. Não existe limite para o tamanho das tabelas. Se precisar de criar uma stream com mais tabelas, a stream pode entrar num estado de erro. Para evitar esta situação, considere dividir a origem em vários streams.