Fazer streaming de dados dos bancos de dados Oracle

Essa seção contém informações sobre:

  • O comportamento de como o Datastream lida com dados que estão sendo extraídos de um banco de dados Oracle de origem
  • As versões do banco de dados Oracle compatíveis com o Datastream
  • Uma visão geral de como configurar um banco de dados Oracle de origem para que os dados possam ser transmitidos dele para um destino
  • Limitações conhecidas para o uso do banco de dados Oracle como fonte

Comportamento

O Datastream oferece suporte a dois métodos de extração de alterações nos dados de arquivos de redo log on-line: o leitor de registros binários da Oracle (visualização) e o Oracle LogMiner.

Com o método de leitura de registros binários (visualização), o seguinte comportamento é observado:

  • Se houver um atraso de leitura ao extrair as alterações dos arquivos de registro on-line, o Datastream extrairá as alterações dos arquivos de registro arquivados.

  • O Datastream replica apenas as alterações confirmadas no destino. As transações não confirmadas ou revertidas não são replicadas.

  • O leitor binário oferece suporte à replicação de colunas VARCHAR2 da Oracle com mais de 4.000 caracteres.

O Datastream também oferece suporte ao recurso Oracle LogMiner para expor alterações nos dados. O método tem o seguinte comportamento:

  • Todos os esquemas ou esquemas específicos de um determinado banco de dados, bem como todas as tabelas de esquemas ou tabelas específicas, podem ser selecionados.
  • Todos os dados históricos são replicados.
  • Todas as alterações na linguagem de manipulação de dados (DML) como inserções, atualizações e exclusões dos bancos de dados e tabelas especificados são replicadas.
  • O Datastream replica alterações confirmadas e, em alguns casos, alterações não confirmadas no destino. O Datastream lê alterações não confirmadas. No caso de reversão, os registros de saída do Datastream também incluem a operação oposta. Por exemplo, se houver uma operação INSERT revertida, os registros de saída também conterão uma operação DELETE correspondente. Nesse caso, o evento aparecerá como DELETE apenas com o ROWID.

Preenchimento baseado em ROWID

No Oracle, ROWID é uma pseudocoluna que armazena identificadores exclusivos para linhas em uma tabela. O Datastream usa os valores ROWID para as operações de preenchimento. Por isso, recomendamos que você não execute ações que possam mudar os valores ROWID no banco de dados Oracle de origem até que a operação de preenchimento seja concluída.

As ações que podem mudar os valores ROWID incluem:

  • Movimento físico de linhas:

    • Operações de exportação e importação: quando você exporta uma tabela e a importa de volta, o local físico das linhas pode mudar, resultando em novos valores ROWID.
    • Comando ALTER TABLE (...) MOVE: mover uma tabela para um tablespace diferente pode mudar o armazenamento físico e levar a alterações de ROWID.
    • Comando ALTER TABLE (...) SHRINK SPACE: esse comando compacta a tabela, possivelmente movendo linhas e afetando os valores ROWID delas.
    • Operações de particionamento: dividir, mesclar ou mover partições pode mudar o posicionamento físico das linhas e os valores ROWID delas.

  • Operações de flashback:

    • Comando FLASHBACK TABLE: restaurar uma tabela para um estado anterior envolve excluir e reinserir linhas, criando novos valores ROWID.
    • FLASHBACK_TRANSACTION_QUERY: semelhante a FLASHBACK TABLE. A reversão de uma transação pode causar alterações de ROWID se as linhas foram excluídas ou atualizadas na transação.

Resolver problemas de preenchimento de tabela de partição do Oracle 11.2.0.4

Se o preenchimento falhar para uma tabela particionada no Oracle 11.2.0.4 com um erro de busca inesperado (índice fora dos limites), isso ocorre devido a um bug de metadados da Oracle em que as consultas para ALL_OBJECTS não retornam subpartições.

  • Solução alternativa: revogue temporariamente o privilégio SELECT ON DBA_EXTENTS do usuário do Datastream (por exemplo, REVOKE SELECT ON sys.dba_extents FROM USER_NAME;). Isso força o Datastream a usar o preenchimento baseado em índice, ignorando o problema de metadados.

Bancos de dados em espera

Ao usar um banco de dados em espera do Oracle Active Data Guard como fonte, o Datastream lê os registros de refazer arquivados. Para garantir que o Datastream processe apenas os registros de refazer que foram aplicados com sucesso ao banco de dados em espera, filtre as visualizações padrão da Oracle, como V$ARCHIVED_LOG e GV$ARCHIVED_LOG, para incluir apenas registros com o filtro APPLIED = 'YES'.

Para fazer isso, crie visualizações personalizadas. Conceda o acesso adequado a essas visualizações para o usuário do Datastream. Exemplo:

CREATE OR REPLACE VIEW USER_NAME.local_v$archived_log AS 
SELECT * FROM sys.v_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE OR REPLACE VIEW USER_NAME.local_gv$archived_log AS 
SELECT * FROM sys.gv_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE SYNONYM USER_NAME.v$archived_log FOR USER_NAME.local_v$archived_log;
CREATE SYNONYM USER_NAME.gv$archived_log FOR USER_NAME.local_gv$archived_log;

O uso do filtro APPLIED = 'YES' tem uma implicação na atualização de dados. O Datastream aguarda até que o processo de recuperação gerenciada (MRP, na sigla em inglês) do banco de dados em espera aplique os registros e atualize a coluna APPLIED para YES antes de extrair as alterações. Se o processo de MRP for atrasado ou pausado, por exemplo, se você suspender o processo de aplicação em espera, isso afetará diretamente a atualização dos dados replicados. O Datastream entra em um loop de nova tentativa e atrasa o processamento até que os registros arquivados recém-aplicados fiquem disponíveis.

Essa configuração é muito relevante ao replicar tabelas que incluem colunas de objetos grandes (LOBs). Para operações UPDATE, os valores detalhados das colunas LOB não estão presentes nos registros de refazer. Portanto, o Datastream precisa consultar o banco de dados para buscar a linha associada. Se o Datastream processar um redo log não aplicado e tentar buscar o valor LOB do banco de dados em espera, ele poderá buscar um valor incorreto e desatualizado. Ao filtrar os registros para garantir que eles sejam totalmente aplicados primeiro, o Datastream recupera os dados corretos.

Versões

O Datastream é compatível com as seguintes versões do banco de dados Oracle:

  • Oracle 11g, versão 11.2.0.4 (com suporte apenas para o método Logminer CDC)
  • Oracle 12c, versão 12.1.0.2
  • Oracle 12c, versão 12.2.0.1
  • Oracle 18c
  • Oracle 19c
  • Oracle 21c

O Datastream oferece suporte aos seguintes tipos de banco de dados Oracle:

  • Auto-hospedado no local ou em qualquer provedor de nuvem
  • Amazon RDS para Oracle
  • Oracle Cloud
  • Oracle Exadata
  • Oracle RAC
  • Banco de dados em espera do Oracle Active Data Guard

Configuração

Para configurar um banco de dados Oracle de origem para que os dados dele possam ser transmitidos para um destino, configure o banco de dados para conceder acesso, defina a geração de registros e defina uma política de retenção.

Consulte Configurar um banco de dados Oracle de origem para saber como configurar esse banco de dados para que o Datastream possa extrair dados dele para um destino.

Práticas recomendadas

Esta seção descreve as práticas recomendadas para configurar sua origem da Oracle para uso com o Datastream.

Diferenciação entre maiúsculas e minúsculas para o leitor binário

Ao configurar uma origem da Oracle com o método CDC do leitor binário e especificar nomes de diretórios para registros de refazer e arquivamento, observe que os nomes diferenciam maiúsculas de minúsculas. Verifique se os nomes de diretório fornecidos no perfil de conexão do Datastream correspondem exatamente ao caso dos nomes de diretório no banco de dados Oracle.

Concorrência de CDC

Para minimizar o atraso de replicação, verifique se o Datastream pode processar registros de refazer tão rápido quanto a origem da Oracle os cria. Ao usar o método CDC do leitor binário, a simultaneidade do Datastream está no nível do arquivo de redo log: cada tarefa definida por maxConcurrentCdcTasks processa um arquivo por vez.

Recomendamos que você use a seguinte metodologia:

  • Ajustar a simultaneidade no Datastream: identifique o número médio de trocas de redo log durante o horário de funcionamento de pico e configure o maxConcurrentCdcTasks parâmetro de acordo. Para mais informações, consulte Número máximo de tarefas de CDC.
  • Configurar a troca de registros da Oracle:configure a Oracle para trocar registros com frequência, por exemplo, a cada 10 a 20 minutos. Isso cria um fluxo constante de unidades de trabalho menores, permitindo que as tarefas simultâneas do Datastream funcionem em paralelo de maneira eficaz.

Recomendamos que você otimize as configurações para que haja tarefas simultâneas suficientes no Datastream para lidar com a criação frequente de registros de refazer menores da Oracle. Para mais informações, consulte Controles de simultaneidade de stream.

Limitações conhecidas

Limitações conhecidas para o uso do banco de dados Oracle como fonte incluem:

  • Os streams são limitados a 10.000 tabelas. Se um stream incluir mais de 10.000 tabelas, ele poderá gerar erros.
  • O Datastream oferece suporte à arquitetura multilocatária da Oracle (CDB/PDB). No entanto, só é possível replicar um único banco de dados conectável em um stream.
  • O banco de dados autônomo da Oracle não é compatível.
  • Para tabelas que não têm uma chave primária, o Datastream usa o ROWID da linha para realizar uma operação de mesclagem no lado do consumidor. O ROWID pode não ser exclusivo. Se você excluir e reinserir uma linha com o utilitário de exportação/importação da Oracle, por exemplo, o ROWID da linha poderá mudar. Se você excluir uma linha, a Oracle poderá reatribuir o ROWID a uma nova linha inserida posteriormente.
  • As tabelas organizadas pelo índice (IOTs) não são compatíveis.
  • Tabelas temporárias não são compatíveis.
  • Os seguintes tipos de dados da Oracle não são compatíveis e não são replicados. As colunas desses tipos são replicadas como valores NULL no destino:
    • ANYDATA, ANYDATASET, ANYTYPE
    • VARRAY (matrizes da Oracle)
    • BFILE, BFILENAME
    • INTERVAL DAY TO SECOND, INTERVAL YEAR TO MONTH
    • LONG, LONG RAW
    • UROWID
    • UDT
    • Tipos de mídia e espaciais: ORDAUDIO, ORDDATASOURCE, ORDDICOM, ORDDOC, ORDIMAGE, ORDVIDEO, SDO_GEOMETRY (e todos os outros tipos MDSYS.SDO_*).

  • Para transmitir colunas de tipos de dados de objetos grandes, como XMLTYPE, objetos binários grandes (BLOB), objetos grandes de caracteres (CLOB) e objetos grandes de caracteres nacionais (NCLOB), inclua a flag streamLargeObjects na configuração do stream. Se você não incluir a flag, o Datastream não transmitirá essas colunas, e elas serão substituídas por valores NULL no destino. Para mais informações, consulte Ativar o streaming de objetos grandes para origens da Oracle. Ao transmitir esses tipos de dados, o Datastream precisa consultar o banco de dados de origem para buscar valores LOB ausentes em um momento específico (em um processo de pesquisa ativa chamado suplementação). Isso ocorre nos seguintes cenários:

    • Quando payloads LOB inalterados são descartados do registro de refazer durante uma UPDATE
    • Durante qualquer operação DML envolvendo tipos XML binários
    • Durante qualquer DML analisado em uma tabela que contenha LOBs se o stream usar o método LogMiner

    Como o Datastream transmite essas colunas consultando o banco de dados, as alterações intermediárias podem não ser capturadas em cenários que envolvem atualizações rápidas e consecutivas ou uma exclusão rápida após uma inserção. Observação: as operações DELETE não acionam a suplementação. Essa limitação é particularmente relevante ao usar o modo de gravação somente de anexação, que espera que todas as alterações intermediárias sejam capturadas.

  • Para o Oracle 11g, as tabelas com colunas de tipos de dados ANYDATA ou UDT não são compatíveis, e a tabela inteira não será replicada.

  • O Oracle Label Security (OLS) não é replicado.

  • O Datastream busca periodicamente o esquema mais recente da origem à medida que os eventos são processados. Se um esquema for alterado, alguns eventos do novo esquema poderão ser lidos enquanto o esquema antigo ainda estiver aplicado. Nesse caso, o Datastream detecta a mudança de esquema, aciona uma busca de esquema e reprocessa os eventos com falha.

  • Nem todas as alterações no esquema de origem podem ser detectadas automaticamente. Nesse caso, pode ocorrer corrupção de dados. As seguintes alterações de esquema podem causar corrupção de dados ou falha no processamento de eventos downstream:

    • Como descartar colunas
    • Como adicionar colunas no meio de uma tabela
    • Como alterar o tipo de dados de uma coluna
    • Como reorganizar as colunas
    • Como descartar tabelas (relevantes se a mesma tabela for recriada com novos dados adicionados)
    • Truncando tabelas

  • O Datastream não é compatível com a replicação de visualizações.

  • O Datastream é compatível com visualizações materializadas. No entanto, as novas visualizações criadas enquanto o stream está em execução não são preenchidas automaticamente.

  • Ao usar o método Oracle LogMiner, as instruções SAVEPOINT não são compatíveis e podem causar discrepâncias de dados em caso de reversão.

  • Ao usar o método de leitura binária, as tabelas particionadas dinamicamente não são compatíveis.

  • Ao usar o método Oracle LogMiner, o Datastream não oferece suporte à replicação de tabelas e colunas com nomes que excedam 30 caracteres.

  • O Datastream oferece suporte às seguintes codificações de conjunto de caracteres para bancos de dados Oracle:

    • AL16UTF16
    • AL32UTF8
    • IN8ISCII
    • IW8ISO8859P8
    • JA16SJIS
    • JA16SJISTILDE
    • KO16MSWIN949
    • US7ASCII
    • UTF8
    • WE8ISO8859P1
    • WE8ISO8859P9
    • WE8ISO8859P15
    • WE8MSWIN1252
    • ZHT16BIG5

  • O Datastream não oferece suporte à replicação de valores de data zero. Essas datas são substituídas por valores NULL.

  • O Datastream não oferece suporte à conectividade direta a bancos de dados usando o recurso Single Client Access Name (SCAN) em ambientes Oracle Real Application Clusters (RAC). Para informações sobre possíveis soluções, consulte Comportamento e limitações da origem da Oracle.

  • Se a origem for um banco de dados em espera do Oracle Active Data Guard, o Datastream oferecerá suporte apenas à criptografia no nível do tablespace e não à criptografia no nível da coluna.

Outras limitações ao usar o leitor binário

  • O método de leitor binário de alta performance é compatível apenas com o Oracle 12c e versões mais recentes. Para o Oracle 11g e versões anteriores, é necessário usar o LogMiner.

  • O leitor binário não oferece suporte aos seguintes recursos:

    • Criptografia transparente de banco de dados (TDE)
    • Compactação de coluna híbrida
    • Arquivos seguros
    • O ASM não é compatível com origens do Amazon RDS.
    • O método CDC do leitor binário não oferece suporte ao Oracle 11g e versões anteriores.

A seguir