Este tutorial mostra como implementar uma tarefa que replica continuamente dados alterados de uma base de dados Oracle para um conjunto de dados do BigQuery, através da replicação do Cloud Data Fusion. Esta funcionalidade é fornecida pela stream de dados.
Opcional: instale o Oracle no Compute Engine
Esta secção mostra como configurar uma base de dados de exemplo. Se já tiver uma base de dados do Oracle instalada, pode ignorar esta secção.
Transfira uma imagem Docker do servidor Oracle.
Para ver as limitações desta imagem do Oracle Express Edition 11g, consulte o artigo Edições da base de dados Oracle.
Implemente a sua imagem de Docker numa nova instância de VM.
Na página Discos do Compute Engine, altere o tamanho do disco para
500 GBe reinicie a VM.Instale o esquema de exemplo de RH.
Crie uma regra de firewall ou uma interligação de redes VPC para o seu servidor Oracle
Se a sua base de dados Oracle não permitir tráfego de entrada de endereços IP públicos, configure a interligação de redes VPC entre a VPC do Datastream e a<0x0AVPC onde a sua base de dados Oracle pode ser acedida. Para mais informações, consulte o artigo Crie uma configuração de conetividade privada.
Se a sua base de dados Oracle permitir tráfego de entrada de endereços IP públicos, crie uma regra de firewall para a instância de VM para permitir tráfego de entrada de IPs públicos do Datastream.
Configure o servidor Oracle para ativar o registo suplementar
Siga os passos para configurar a base de dados Oracle de origem.
Crie e execute uma tarefa de replicação do Cloud Data Fusion
Crie o trabalho
Na interface Web do Cloud Data Fusion, clique em Replicação.
Clique em Criar tarefa de replicação.
Na página Criar nova tarefa de replicação, especifique um Nome para a tarefa de replicação e clique em Seguinte.
Configure a origem:
Selecione Oracle (pelo Datastream) como a origem.
Para o Método de conetividade, se o seu servidor Oracle permitir tráfego de entrada de IPs públicos do Datastream, escolha Lista de autorizações de IPs. Caso contrário, para o Nome da ligação privada, escolha Conetividade privada (intercâmbio da VPC) e introduza o nome do intercâmbio da VPC que criou na secção Crie o intercâmbio da rede da VPC ou a regra de firewall para o seu servidor Oracle.
Em Anfitrião, introduza o nome de anfitrião do servidor Oracle a ler.
Para Porta, introduza a porta a usar para estabelecer ligação ao servidor Oracle: 1521.
Para Identidade do sistema, introduza
xe(o nome da base de dados de exemplo do servidor Oracle).Na secção de credenciais, introduza o nome de utilizador e a palavra-passe para aceder ao servidor Oracle.
Deixe todas as outras propriedades como estão.
Clicar em Seguinte.
Configure o alvo:
Selecione o destino do BigQuery.
O ID do projeto e a chave da conta de serviço são detetados automaticamente. Manter os valores predefinidos como estão.
Opcional: na secção Avançadas, pode configurar o seguinte:
- Nome e localização do contentor de preparação
- Intervalo de carregamento
- Prefixo da tabela de teste
- Comportamento quando as tabelas ou as bases de dados são eliminadas
Clicar em Seguinte.
Se a ligação for bem-sucedida, é apresentada uma lista de tabelas. Para este tutorial, selecione algumas tabelas.
Clicar em Seguinte.
Na página de revisão da avaliação, clique em Ver mapeamentos em qualquer uma das tabelas para receber uma avaliação dos problemas de esquema, das funcionalidades em falta ou dos problemas de conetividade que possam ocorrer durante a replicação.
Se ocorrerem problemas, tem de os resolver antes de continuar. Para este tutorial, se alguma das tabelas tiver problemas, faça o seguinte:
- Voltar ao passo em que selecionou tabelas.
- Selecionar uma tabela ou um evento (inserções, atualizações ou eliminações) sem problemas.
Para mais informações acerca das conversões de tipos de dados da base de dados de origem para o destino do BigQuery, consulte o artigo Tipos de dados de replicação.
Clique em Anterior.
Clicar em Seguinte.
Reveja os detalhes do trabalho de replicação do resumo e, de seguida, clique em Implementar trabalho de replicação.
Inicie a tarefa
Na interface Web do Cloud Data Fusion, aceda à página detalhes da tarefa de replicação.
Clique em Iniciar.
A tarefa de replicação transita do estado Aprovisionamento para o estado Início e, de seguida, para o estado Em execução. No estado de execução, a tarefa de replicação carrega uma captura instantânea inicial dos dados da tabela que selecionou no BigQuery. Neste estado, o estado da tabela é apresentado como Snapshotting. Depois de o instantâneo inicial ser carregado no BigQuery, todas as alterações feitas à tabela são replicadas no BigQuery, e o estado da tabela é apresentado como A replicar.
Monitorize o trabalho
Pode iniciar e parar a tarefa de replicação, rever a respetiva configuração e registos, e monitorizar a tarefa de replicação.
Pode monitorizar as atividades da tarefa de replicação na página de detalhes da tarefa de replicação.
Na página Replicação, clique no Nome da tarefa de replicação escolhida.
Clique em Monitorização.
Veja os resultados no BigQuery
A tarefa de replicação cria um conjunto de dados e uma tabela replicados no BigQuery, com nomes herdados da base de dados e dos nomes das tabelas correspondentes do Oracle.
Na Google Cloud consola, aceda à página BigQuery.
No painel do lado esquerdo, clique no nome do projeto para expandir uma lista de conjuntos de dados.
Selecione o conjunto de dados
xee, de seguida, selecione uma tabela para ver.
Para mais informações, consulte a documentação do BigQuery.