Transmitir alterações nos dados quase em tempo real com o Datastream

Transmitir alterações nos dados quase em tempo real com o Datastream

Saiba como replicar dados de um banco de dados Oracle de origem para um bucket do Cloud Storage usando o Datastream.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Ative a API Datastream, se ela ainda não estiver ativada.

   Funções necessárias para ativar APIs

   Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

   Ativar a API

2. Verifique se você tem o papel Administrador do Datastream atribuído à sua conta de usuário.

   Acessar a página IAM

Se você quiser criar uma configuração de conectividade particular para uma rede VPC padrão ou compartilhada, será necessário atender a outros pré-requisitos. Para mais informações, consulte Criar uma configuração de conectividade particular.

Requisitos

O Datastream oferece várias opções de origem e destino, além de métodos de conectividade de rede.

Neste guia de início rápido, presumimos que você está usando um banco de dados Oracle independente e um serviço de destino do Cloud Storage. Para o banco de dados de origem, configure a rede para adicionar uma regra de firewall de entrada. O banco de dados de origem pode estar no local ou em um provedor de nuvem. Como o destino é o Cloud Storage, ele precisa estar no provedor de nuvem do Google.

Como não sabemos as especificidades do seu ambiente, não podemos fornecer etapas detalhadas sobre a configuração de rede.

Para este guia de início rápido, selecione Lista de permissões de IP como o método de conectividade. A lista de permissões de IP é um recurso de segurança usado com frequência para limitar e controlar o acesso aos dados no banco de dados de origem para usuários confiáveis. É possível usar listas de permissões de IP para criar listas de endereços IP ou intervalos de IP confiáveis onde os usuários e outros serviços do Google Cloud, como o Datastream, podem acessar esses dados. Para usar listas de permissões de IP, abra o banco de dados ou firewall de origem para conexões de entrada do Datastream.

Criar perfis de conexão

Ao criar perfis de conexão para um banco de dados de origem e um destino, você cria registros que contêm informações sobre a origem e o destino.

Neste início rápido, selecione Oracle como o tipo de perfil de conexão de origem e Cloud Storage como o tipo de perfil de conexão de destino. O Datastream usa as informações nos perfis de conexão para migrar dados do banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

Criar um perfil de conexão de origem para o banco de dados Oracle

1. Acesse a página Perfis de conexão do Datastream no Google Cloud Console.

   Acessar a página "Perfis de conexão"

2. Clique em CRIAR PERFIL.

3. Na página Criar um perfil de conexão, clique no tipo de perfil Oracle, já que você quer criar um perfil de conexão de origem para o banco de dados Oracle.

4. Forneça as seguintes informações na seção Definir configurações de conexão da página Criar perfil da Oracle:

   • Insira My Source Connection Profile como o Nome do perfil de conexão do banco de dados de origem.
   • Mantenha o ID do perfil de conexão gerado automaticamente.
   • Selecione a Região em que o perfil da conexão será armazenado.
   Os perfis de conexão, assim como todos os recursos, são salvos em uma região, e um stream só pode usar perfis de conexão armazenados na mesma região que ele. A seleção de região não afeta a capacidade do Datastream de se conectar à origem ou ao destino, mas pode afetar a disponibilidade se a região passar por um período de inatividade.
   • Insira os Detalhes da conexão:
   • No campo Nome do host ou IP, insira um nome do host ou endereço IP público que o Datastream possa usar para se conectar ao banco de dados Oracle de origem. Você está fornecendo um endereço IP público porque a lista de permissões de IP será usada como método de conectividade de rede para este guia de início rápido.
   • No campo Porta, insira o número da porta reservada para o banco de dados de origem. Para um banco de dados Oracle, a porta padrão geralmente é 1521.
   • Insira um Nome de usuário e uma Senha para autenticar no banco de dados de origem.
   • No campo Identificador do sistema (SID), insira o SID ou o nome do serviço que identifica a instância do banco de dados. Para bancos de dados Oracle, geralmente é ORCL.

5. Na seção Definir configurações de conexão, clique em CONTINUAR. A seção Definir método de conectividade da página Criar perfil do Oracle está ativa.

6. Escolha o método de rede que você quer usar para estabelecer a conectividade entre o Datastream e o banco de dados de origem. Para este início rápido, use o menu suspenso Método de conectividade para selecionar Lista de permissões de IP como o método de rede.

7. Configure seu banco de dados de origem para permitir conexões de entrada dos endereços IP públicos do Datastream que aparecem.

8. Na seção Definir método de conectividade, clique em CONTINUAR. A seção Testar perfil de conexão da página Criar perfil da Oracle está ativa.

O Datastream é equipado com um assistente para ajudar você a criar uma transmissão. Este assistente tem seis painéis: Primeiros passos, Definir e testar origem, Configurar origem, Definir destino, Configurar destino e Revisar e criar. As informações sobre como preencher cada painel são fornecidas nas diversas seções desta página.

Definir configurações do stream

1. Acesse a página Streams do Datastream no console do Google Cloud.

   Acessar a página "Mural"

2. Clique em CRIAR STREAM.

3. Forneça as seguintes informações no painel Definir detalhes do fluxo da página Criar fluxo:

   • Insira My Stream como o Nome do fluxo.
   • Mantenha o código do stream gerado automaticamente.
   • No menu Região, selecione a região em que você criou o perfil de conexão de origem.
   • No menu Tipo de origem, selecione o tipo de perfil Oracle.
   • No menu Tipo de destino, selecione o tipo de perfil Cloud Storage.

4. Revise os pré-requisitos necessários que são gerados automaticamente para refletir como seu ambiente precisa estar preparado para um fluxo. Esses pré-requisitos podem incluir como configurar o banco de dados de origem e como conectar o Datastream ao bucket de destino no Cloud Storage.

   Para mais informações sobre esses pré-requisitos, consulte Configurar um banco de dados Oracle de origem.

5. Clique em CONTINUAR. O painel Definir perfil de conexão do Oracle da página Criar transmissão aparece.

Especificar informações sobre o perfil de conexão de origem

1. No menu Perfil de conexão de origem, selecione o perfil de conexão de origem para o banco de dados Oracle.

2. Clique em EXECUTAR TESTE para verificar se o banco de dados de origem e o Datastream podem se comunicar entre si.

   Se o teste falhar, o problema associado ao perfil de conexão vai aparecer. Consulte a página Diagnosticar problemas para conferir as etapas de solução de problemas. Faça as mudanças necessárias para corrigir o problema e teste novamente.

3. Clique em CONTINUAR. O painel Configurar origem da transmissão é exibido na página Criar stream.

Configurar informações sobre o banco de dados de origem para o fluxo

1. Use o menu Objetos a serem incluídos para especificar as tabelas e os esquemas no banco de dados de origem que o Datastream pode transferir para uma pasta no bucket de destino no Cloud Storage. O menu só será carregado se o banco de dados tiver até 5.000 objetos.

   Para este guia de início rápido, você quer que o Datastream transfira todas as tabelas e esquemas. Selecione Todas as tabelas de todos os esquemas no menu.

   Para este guia de início rápido, verifique se o painel Selecionar objetos a serem excluídos está definido como "Nenhum". Você não quer impedir que o Datastream transfira tabelas e esquemas do seu banco de dados de origem para o Cloud Storage.

   Além disso, verifique se o painel Escolher o modo de preenchimento dos dados históricos está definido como "Automático". O Datastream transmite todos os dados existentes, além das alterações, da origem para o destino.

2. Especifique o método CDC. Para este tutorial, selecione Logminer.

3. Clique em CONTINUAR. O painel Definir perfil de conexão do Cloud Storage da página Criar stream é exibido.

Selecione um perfil de conexão de destino

1. No menu perfil de conexão de destino, selecione o perfil de conexão de destino do Cloud Storage.

2. Clique em CONTINUAR. O painel Configurar destino do stream da página Criar stream é exibido.

Configurar informações sobre o destino do stream

1. No campo Prefixo do caminho do stream, insira a pasta do bucket de destino para onde o Datastream vai transferir esquemas, tabelas e dados de um banco de dados Oracle de origem.

   Para este guia de início rápido, você quer que o Datastream transfira dados do banco de dados de origem para a pasta /root/tutorial no bucket de destino do Cloud Storage. Portanto, insira /root/tutorial no campo Prefixo do caminho de stream.

2. No campo Formato de saída, selecione o formato dos arquivos gravados no Cloud Storage. Para este guia de início rápido, Avro é o formato de arquivo.

3. Clique em CONTINUAR. O painel Revisar detalhes do stream e criar da página Criar stream aparece.

Criar o stream

1. Verifique os detalhes do stream, bem como os perfis de conexão de origem e de destino que serão usados para transferir dados de um banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

2. Clique emEXECUTAR VALIDAÇÃO para validar o stream. Ao validar um stream, o Datastream verifica se a origem está configurada corretamente, valida se o stream pode se conectar à origem e ao destino e verifica a configuração completa do stream.

   Se a verificação for aprovada, um ícone de marca de seleção aparecerá à esquerda da verificação.

   Se uma verificação de validação não for aprovada, um ícone de ponto de exclamação será exibido à esquerda da verificação, e um botão VER DETALHES DO ERRO aparecerá abaixo da verificação. Clique no botão. Uma mensagem vai aparecer explicando por que a verificação não foi aprovada e o que fazer para corrigir o problema. Depois de fazer as correções apropriadas, clique em REVALIDAR.

   Para mais informações sobre como resolver problemas de verificações de validação que não foram aprovadas, consulte Diagnosticar problemas.

3. Depois que todas as verificações de validação forem aprovadas, clique em CRIAR.

4. Na caixa de diálogo Criar stream?, clique em CRIAR.

Após criar um stream, você pode iniciá-lo.

Iniciar o stream

Na seção anterior do guia de início rápido, você criou um stream, mas não o iniciou. Faça isso agora.

Para este início rápido, crie e inicie um fluxo separadamente caso o processo de criação cause um aumento na carga do banco de dados de origem. Para adiar essa carga, crie a transmissão sem iniciar e depois inicie quando a carga puder ser incorrida.

Ao iniciar o stream, o Datastream pode transferir dados, esquemas e tabelas do banco de dados de origem para o destino.

1. Acesse a página Streams do Datastream no Google Cloud Console.

   Acessar a página "Mural"

2. Marque a caixa de seleção à esquerda da transmissão que você quer iniciar. Para este guia de início rápido, o nome é Meu stream.

3. Clique em INICIAR.

4. Na caixa de diálogo, clique em INICIAR. O status do stream muda de Not started para Starting e depois para Running.

   O streaming leva cerca de 30 segundos. Os recursos em segundo plano precisam ser iniciados para que o stream possa ser iniciado.

Depois de iniciar um fluxo, é possível verificar se o Datastream transferiu dados do banco de dados de origem para o destino.

Verificar o stream

Nesta seção, você confirma que o Datastream transfere os dados de todas as tabelas do banco de dados Oracle de origem para a pasta /root/tutorial do bucket de destino do Cloud Storage.

1. Acesse a página Streams do Datastream no Google Cloud Console.

   Acessar a página "Mural"

2. Clique no stream que você criou. Para este guia de início rápido, use Meu stream.

3. Na página Detalhes do fluxo, clique no link que aparece abaixo do campo Caminho de gravação de destino. A página Detalhes do bucket do Cloud Storage é aberta em uma guia separada.

   Observação: o link em que você clica é composto pelo nome do bucket e pela pasta do bucket em que o Datastream transferiu esquemas, tabelas e dados do banco de dados Oracle de origem. Você especificou que essa pasta seria /root/tutorial ao configurar informações sobre o perfil de conexão de destino para seu fluxo. Assim, o link vai aparecer como BUCKET-NAME/root/tutorial**.

4. Verifique se há pastas que representam tabelas do banco de dados Oracle de origem.

5. Clique em uma das pastas de tabela e detalhe até encontrar os dados associados a ela.

   A primeira pasta é [schema]_[table], seguida por pastas que representam o ano, mês, dia, hora e minuto em que o Datastream transferiu dados do banco de dados Oracle de origem para um bucket de destino no Cloud Storage.

   Uma pasta é criada a cada minuto (quando há novos dados para gravar).

   Um novo arquivo é criado quando o tamanho do arquivo atinge 250 MB ou sempre que um esquema é alterado. Se as tabelas forem particionadas, serão criados arquivos para cada partição.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

1. Use o console Google Cloud para excluir seu projeto, o fluxo e os perfis de conexão do Datastream e o bucket de destino do Cloud Storage.

Ao limpar os recursos criados no Datastream, eles não vão ocupar a cota e você não vai receber cobranças por eles no futuro. Nas seções a seguir, você aprenderá a excluir e desativar esses recursos.

Excluir o projeto

O jeito mais fácil de evitar cobranças é excluir o projeto que você criou para este guia de início rápido.

Excluir um projeto causa os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para seguir este guia de início rápido, a exclusão dele incluirá quaisquer outras ações feitas no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar vários tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No console Google Cloud , acesse a página Gerenciar recursos.

   Acessar a página "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.

3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

Excluir o stream

1. Acesse a página Streams do Datastream no console do Google Cloud.

   Acessar a página "Mural"

2. Clique no stream que você quer excluir. Para este guia de início rápido, o nome é My Stream.

3. Clique em PAUSAR.

4. Na caixa de diálogo, clique em PAUSAR.

5. No painel Status do stream da página Detalhes do stream, verifique se o status do stream é Paused.

   Observação: pause o fluxo antes de excluí-lo para garantir que todos os dados "em trânsito" sejam transferidos corretamente do banco de dados de origem para o de destino.

6. Clique em EXCLUIR.

7. Na caixa de diálogo, digite Delete no campo de texto e clique em EXCLUIR.

Excluir os perfis de conexão

1. Acesse a página Perfis de conexão do Datastream no Google Cloud Console.

   Acessar a página "Perfis de conexão"

2. Marque a caixa de seleção de cada perfil de conexão que você quer excluir. Para este início rápido, marque as caixas de seleção de Meu perfil de conexão de origem e Meu perfil de conexão de destino.

3. Clique em EXCLUIR.

4. Na caixa de diálogo, clique em EXCLUIR.

Excluir o bucket de destino do Cloud Storage

1. Acesse a página Navegador do Cloud Storage no console Google Cloud.

   Acessar a página "Navegador"

2. Marque a caixa de seleção à esquerda do bucket e clique em EXCLUIR.

3. Na caixa de diálogo, digite DELETE no campo de texto e clique em EXCLUIR.

A seguir

• Saiba mais sobre o Datastream.