Transmita alterações aos dados quase em tempo real com o Datastream

Transmita alterações aos dados quase em tempo real com o Datastream

Saiba como replicar dados de uma base de dados de origem Oracle para um contentor do Cloud Storage através do Datastream.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Datastream API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Certifique-se de que tem a função de administrador do fluxo de dados atribuída à sua conta de utilizador.

   Aceda à página IAM

Se quiser criar uma configuração de conetividade privada para uma rede VPC padrão ou partilhada, tem de concluir pré-requisitos adicionais. Para mais informações, consulte o artigo Crie uma configuração de conectividade privada.

Requisitos

O fluxo de dados oferece várias opções de origem, opções de destino e métodos de conetividade de rede.

Neste início rápido, assumimos que está a usar uma base de dados Oracle autónoma e um serviço Cloud Storage de destino. Para a base de dados de origem, deve conseguir configurar a sua rede para adicionar uma regra de firewall de entrada. A base de dados de origem pode estar nas instalações ou num fornecedor de nuvem. Uma vez que o destino é o Cloud Storage, deve estar no fornecedor de nuvem da Google.

Uma vez que não podemos saber os detalhes do seu ambiente, não podemos fornecer passos detalhados no que diz respeito à configuração de rede.

Para este início rápido, vai selecionar Lista de autorizações de IPs como o método de conetividade. A lista de IPs permitidos é uma funcionalidade de segurança frequentemente usada para limitar e controlar o acesso aos dados na base de dados de origem a utilizadores fidedignos. Pode usar listas de autorizações de IPs para criar listas de endereços IP ou intervalos de IP fidedignos a partir dos quais os seus utilizadores e outros serviços na nuvem, como o Datastream, podem aceder a estes dados. Para usar listas de autorização de IPs, tem de abrir a base de dados de origem ou a firewall a ligações recebidas do Datastream.

Crie perfis de ligação

Ao criar perfis de associação para uma base de dados de origem e um destino, está a criar registos que contêm informações sobre a origem e o destino.

Neste início rápido, vai selecionar Oracle como o tipo de perfil do seu perfil de ligação de origem e Cloud Storage como o tipo de perfil do seu perfil de ligação de destino. O Datastream usa as informações nos perfis de ligação para migrar dados da base de dados Oracle de origem para um contentor de destino no Cloud Storage.

Crie um perfil de associação de origem para a base de dados Oracle

1. Aceda à página Perfis de associação do Datastream na Google Cloud consola.

   Aceda à página Perfis de ligação

2. Clique em CRIAR PERFIL.

3. Na página Crie um perfil de associação, clique no tipo de perfil Oracle (porque quer criar um perfil de associação de origem para a base de dados Oracle).

4. Forneça as seguintes informações na secção Definir definições de associação da página Criar perfil da Oracle:

   • Introduza My Source Connection Profile como o nome do perfil de ligação para a base de dados de origem.
   • Mantenha o ID do perfil de associação gerado automaticamente.
   • Selecione a região onde o perfil de ligação vai ser armazenado.
   Os perfis de ligação, como todos os recursos, são guardados numa região, e uma stream só pode usar perfis de ligação armazenados na mesma região que a stream. A seleção da região não afeta a capacidade do Datastream de estabelecer ligação à origem ou ao destino, mas pode afetar a disponibilidade se a região sofrer indisponibilidade.
   • Introduza os Detalhes da ligação:
   • No campo Nome de anfitrião ou IP, introduza um nome de anfitrião ou um endereço IP público que o Datastream possa usar para estabelecer ligação à base de dados Oracle de origem. Está a fornecer um endereço IP público porque a lista de autorizações de IPs vai ser usada como o método de conetividade de rede para este início rápido.
   • No campo Porta, introduza o número da porta reservado para a base de dados de origem. Para uma base de dados Oracle, a porta predefinida é normalmente 1521.
   • Introduza um nome de utilizador e uma palavra-passe para autenticar a sua base de dados de origem.
   • No campo Identificador do sistema (SID), introduza o SID ou o nome do serviço que identifica a instância da base de dados. Para bases de dados Oracle, este valor é normalmente ORCL.

5. Na secção Definir definições de associação, clique em CONTINUAR. A secção Definir método de conetividade da página Criar perfil da Oracle está ativa.

6. Escolha o método de rede que quer usar para estabelecer a conetividade entre o Datastream e a base de dados de origem. Para este início rápido, use o menu pendente Método de conetividade para selecionar Lista de autorizações de IP como método de rede.

7. Configure a base de dados de origem para permitir ligações recebidas dos endereços IP públicos do Datastream apresentados.

8. Na secção Definir método de conetividade, clique em CONTINUAR. A secção Testar perfil de associação da página Criar perfil do Oracle está ativa.

O Datastream está equipado com um assistente para ajudar a criar uma stream. Este assistente é composto por seis painéis: Introdução, Definir e testar origem, Configurar origem, Definir destino, Configurar destino e Rever e criar. As informações sobre como preencher cada painel são fornecidas nas várias secções desta página.

Defina as definições da stream

1. Aceda à página Streams do fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique em CRIAR STREAM.

3. Indique as seguintes informações no painel Definir detalhes da stream da página Criar stream:

   • Introduza My Stream como o Nome da stream.
   • Mantenha o ID da stream gerado automaticamente.
   • No menu Região, selecione a região onde criou o perfil de ligação de origem.
   • No menu Tipo de origem, selecione o tipo de perfil Oracle.
   • No menu Tipo de destino, selecione o tipo de perfil Cloud Storage.

4. Reveja os pré-requisitos necessários gerados automaticamente para refletir a forma como o seu ambiente tem de ser preparado para uma stream. Estes pré-requisitos podem incluir a forma de configurar a base de dados de origem e de associar o Datastream ao contentor de destino no Cloud Storage.

   Para mais informações acerca destes pré-requisitos, consulte o artigo Configure uma base de dados Oracle de origem.

5. Clique em CONTINUAR. É apresentado o painel Definir perfil de ligação do Oracle da página Criar stream.

Especifique informações sobre o perfil de associação de origem

1. No menu Perfil de associação de origem, selecione o perfil de associação de origem para a base de dados Oracle.

2. Clique em EXECUTAR TESTE para verificar se a base de dados de origem e a stream de dados conseguem comunicar entre si.

   Se o teste falhar, é apresentado o problema associado ao perfil de ligação. Consulte a página Diagnosticar problemas para ver os passos de resolução de problemas. Faça as alterações necessárias para corrigir o problema e, em seguida, volte a testar.

3. Clique em CONTINUAR. É apresentado o painel Configurar origem da stream da página Criar stream.

Configure informações sobre a base de dados de origem para a stream

1. Use o menu Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para uma pasta no contentor de destino no Cloud Storage. O menu só é carregado se a sua base de dados tiver até 5000 objetos.

   Para este início rápido, quer que o Datastream transfira todas as tabelas e esquemas. Por conseguinte, selecione Todas as tabelas de todos os esquemas no menu.

   Para este início rápido, certifique-se de que o painel Selecionar objetos a excluir está definido como "Nenhum". Não quer restringir a transferência de tabelas e esquemas do Datastream na sua base de dados de origem para o Cloud Storage.

   Além disso, certifique-se de que o painel Escolher modo de preenchimento para dados do histórico está definido como "Automático". A stream de dados vai transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino.

2. Especifique o método CDC. Para este tutorial, selecione Logminer.

3. Clique em CONTINUAR. O painel Definir perfil de ligação do Google Cloud Storage da página Criar stream é apresentado.

Selecione um perfil de ligação de destino

1. No menu perfil de associação de destino, selecione o seu perfil de associação de destino para o Cloud Storage.

2. Clique em CONTINUAR. É apresentado o painel Configurar destino da stream da página Criar stream.

Configure informações sobre o destino da stream

1. No campo Prefixo do caminho da stream, introduza a pasta do contentor de destino para o qual o Datastream vai transferir esquemas, tabelas e dados de uma base de dados Oracle de origem.

   Para este início rápido, quer que o Datastream transfira dados da base de dados de origem para a pasta /root/tutorial no contentor de destino do Cloud Storage. Por conseguinte, introduza /root/tutorial no campo Prefixo do caminho da stream.

2. No campo Formato de saída, selecione o formato dos ficheiros escritos no Google Cloud Storage. Para este início rápido, o formato de ficheiro é Avro.

3. Clique em CONTINUAR. É apresentado o painel Reveja os detalhes da stream e crie da página Criar stream.

Crie a stream

1. Verifique os detalhes acerca da stream, bem como os perfis de ligação de origem e destino que a stream vai usar para transferir dados de uma base de dados Oracle de origem para um contentor de destino no Cloud Storage.

2. Clique em EXECUTAR VALIDAÇÃO para validar a stream. Ao validar uma stream, o fluxo de dados verifica se a origem está configurada corretamente, valida se a stream consegue estabelecer ligação à origem e ao destino, e verifica a configuração integral da stream.

   Se uma verificação de validação for aprovada, é apresentado um ícone de marca de verificação à esquerda da verificação de validação.

   Se uma verificação de validação não for aprovada, é apresentado um ícone de ponto de exclamação à esquerda da verificação e um botão VER DETALHES DO ERRO abaixo da verificação. Clique no botão e é apresentada uma mensagem a explicar por que motivo a verificação não foi aprovada, bem como informações sobre o que fazer para retificar o problema. Depois de fazer as correções adequadas, clique em VALIDAR NOVAMENTE.

   Para mais informações sobre a resolução de problemas de verificações de validação que não são aprovadas, consulte o artigo Diagnosticar problemas.

3. Depois de todas as verificações de validação serem aprovadas, clique em CRIAR.

4. Na caixa de diálogo Criar stream?, clique em CRIAR.

Depois de criar uma stream, pode iniciá-la.

Inicie a stream

Na secção anterior do início rápido, criou uma stream, mas não a iniciou. Pode fazê-lo agora.

Para este início rápido, cria e inicia uma stream separadamente caso o processo de criação da stream incorra num aumento da carga na base de dados de origem. Para adiar esse carregamento, crie a stream sem a iniciar e, em seguida, inicie-a quando o carregamento puder ser incorrido.

Ao iniciar a stream, o Datastream pode transferir dados, esquemas e tabelas da base de dados de origem para o destino.

1. Aceda à página Streams do fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Selecione a caixa de verificação à esquerda da stream que quer iniciar. Para este início rápido, este é o My Stream.

3. Clique em INICIAR.

4. Na caixa de diálogo, clique em INICIAR. O estado da stream muda de Not started para Starting e, em seguida, para Running.

   A stream demora cerca de 30 segundos a começar a ser executada. Os recursos em segundo plano têm de ser iniciados para que a stream possa começar.

Depois de iniciar uma stream, pode verificar se o Datastream transferiu dados da base de dados de origem para o destino.

Valide a stream

Nesta secção, confirma que o Datastream transfere os dados de todas as tabelas da base de dados Oracle de origem para a pasta do contentor de destino do Cloud Storage./root/tutorial

1. Aceda à página Streams do fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique na stream que criou. Para este início rápido, o nome é My Stream.

3. Na página Detalhes da stream, clique no link apresentado abaixo do campo Caminho de gravação do destino. A página Detalhes do contentor do Cloud Storage é aberta num separador separado.

   Nota: o link no qual clica é composto pelo nome do seu contentor e pela pasta do contentor para a qual o Datastream transferiu esquemas, tabelas e dados da sua base de dados Oracle de origem. Especificou que esta pasta deve ser /root/tutorial quando configurou informações sobre o perfil de associação de destino para a sua stream. Assim, o link deve aparecer como BUCKET-NAME/root/tutorial**.

4. Confirme se vê pastas que representam tabelas da sua base de dados Oracle de origem.

5. Clique numa das pastas da tabela e explore os detalhes até ver dados associados à tabela.

   A primeira pasta é [schema]_[table], seguida de pastas que representam o ano, o mês, o dia, a hora e o minuto em que o Datastream transferiu dados da base de dados Oracle de origem para um contentor de destino no Cloud Storage.

   É criada uma pasta a cada minuto (quando existem novos dados para escrever).

   É criado um novo ficheiro quando o tamanho do ficheiro atinge 250 MB ou sempre que um esquema é alterado. Se as tabelas forem particionadas, são criados ficheiros para cada partição.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

1. Use a Google Cloud consola para eliminar o projeto, a stream do Datastream e os perfis de ligação, bem como o contentor de destino do Cloud Storage.

Ao limpar os recursos que criou no Datastream, estes não ocupam quota e não lhe são faturados no futuro. As secções seguintes descrevem como eliminar ou desativar estes recursos.

Elimine o projeto

A forma mais fácil de eliminar a faturação é eliminar o projeto que criou para este início rápido.

A eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para este início rápido, quando o eliminar, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar vários tutoriais e inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. Na Google Cloud consola, aceda à página Gerir recursos.

   Aceda à página Gerir recursos

2. Na lista de projetos, selecione o projeto que quer eliminar e, de seguida, clique em Eliminar.

3. Na caixa de diálogo, escreva o ID do projeto e, de seguida, clique em Encerrar para eliminar o projeto.

Elimine a stream

1. Aceda à página Streams do fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique na stream que quer eliminar. Para este início rápido, o nome é My Stream.

3. Clique em PAUSAR.

4. Na caixa de diálogo, clique em PAUSAR.

5. No painel Estado da stream da página Detalhes da stream, verifique se o estado da stream é Paused.

   Nota: pause a stream antes de a eliminar para se certificar de que todos os dados "em trânsito" são transferidos corretamente da base de dados de origem para o destino.

6. Clique em ELIMINAR.

7. Na caixa de diálogo, introduza Delete no campo de texto e, de seguida, clique em ELIMINAR.

Elimine os perfis de ligação

1. Aceda à página Perfis de associação do Datastream na Google Cloud consola.

   Aceda à página Perfis de ligação

2. Selecione a caixa de verificação de cada perfil de associação que quer eliminar. Para este início rápido, selecione as caixas de verificação de My Source Connection Profile e My Destination Connection Profile.

3. Clique em ELIMINAR.

4. Na caixa de diálogo, clique em ELIMINAR.

Elimine o contentor de destino do Cloud Storage

1. Aceda à página Navegador do Cloud Storage na Google Cloud consola.

   Aceder à página do navegador

2. Selecione a caixa de verificação à esquerda do seu contentor e, de seguida, clique em ELIMINAR.

3. Na caixa de diálogo, introduza DELETE no campo de texto e, de seguida, clique em ELIMINAR.

O que se segue?

• Saiba mais sobre a stream de dados.
• Experimente outras Google Cloud funcionalidades. Consulte os nossos inícios rápidos.