Transmita alterações aos dados quase em tempo real com o Datastream

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Datastream API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Certifique-se de que tem a função de administrador do fluxo de dados atribuída à sua conta de utilizador.

   Aceda à página IAM

Se quiser criar uma configuração de conetividade privada para uma rede da VPC padrão ou partilhada, tem de concluir pré-requisitos adicionais. Para mais informações, consulte o artigo Crie uma configuração de conetividade privada.

Requisitos

O fluxo de dados oferece várias opções de origem, opções de destino e métodos de conetividade de rede.

Neste início rápido, partimos do princípio de que está a usar uma base de dados Oracle autónoma e um serviço de Cloud Storage de destino. Para a base de dados de origem, deve conseguir configurar a sua rede para adicionar uma regra de firewall de entrada. A base de dados de origem pode estar nas instalações ou num fornecedor de nuvem. Uma vez que o destino é o Cloud Storage, deve estar no fornecedor de nuvem da Google.

Como não podemos saber os detalhes específicos do seu ambiente, não podemos fornecer passos detalhados no que diz respeito à configuração de rede.

Para este início rápido, vai selecionar Lista de autorizações de IPs como método de conetividade. A lista de IPs permitidos é uma funcionalidade de segurança frequentemente usada para limitar e controlar o acesso aos dados na base de dados de origem a utilizadores fidedignos. Pode usar listas de autorização de IPs para criar listas de endereços IP ou intervalos de IP fidedignos a partir dos quais os seus utilizadores e outros serviços na nuvem, como o Datastream, podem aceder a estes dados. Para usar listas de autorização de IPs, tem de abrir a base de dados de origem ou a firewall a ligações recebidas do Datastream.

Crie perfis de ligação

Ao criar perfis de associação para uma base de dados de origem e um destino, está a criar registos que contêm informações sobre a origem e o destino.

Neste início rápido, vai selecionar Oracle como o tipo de perfil do seu perfil de ligação de origem e Cloud Storage como o tipo de perfil do seu perfil de ligação de destino. O Datastream usa as informações nos perfis de ligação para migrar dados da base de dados Oracle de origem para um contentor de destino no Cloud Storage.

Crie um perfil de associação de origem para a base de dados Oracle

1. Aceda à página Perfis de ligação do Datastream na Google Cloud consola.

   Aceda à página Perfis de ligação

2. Clique em CRIAR PERFIL.

3. Na página Crie um perfil de associação, clique no tipo de perfil Oracle (porque quer criar um perfil de associação de origem para a base de dados Oracle).

4. Forneça as seguintes informações na secção Definir definições de associação da página Criar perfil do Oracle:

   • Introduza My Source Connection Profile como o nome do perfil de ligação para a base de dados de origem.
   • Mantenha o ID do perfil de associação gerado automaticamente.

   • Selecione a região onde o perfil de ligação vai ser armazenado.

     Os perfis de ligação, como todos os recursos, são guardados numa região, e uma stream só pode usar perfis de ligação armazenados na mesma região que a stream. A seleção da região não afeta a capacidade do Datastream de estabelecer ligação à origem ou ao destino, mas pode afetar a disponibilidade se a região sofrer indisponibilidade.

   • Introduza os Detalhes da ligação:

     • No campo Nome de anfitrião ou IP, introduza um nome de anfitrião ou um endereço IP público que o Datastream possa usar para estabelecer ligação à base de dados Oracle de origem. Está a fornecer um endereço IP público porque a lista de autorizações de IP vai ser usada como o método de conetividade de rede para este início rápido.
     • No campo Porta, introduza o número da porta reservado para a base de dados de origem. Para uma base de dados Oracle, a porta predefinida é normalmente 1521.
     • Introduza um nome de utilizador e uma palavra-passe para fazer a autenticação na base de dados de origem.
     • No campo Identificador do sistema (SID), introduza o SID ou o nome do serviço que identifica a instância da base de dados. Para bases de dados Oracle, este valor é normalmente ORCL.

5. Na secção Definir definições de associação, clique em CONTINUAR. A secção Definir método de conetividade da página Criar perfil do Oracle está ativa.

6. Escolha o método de rede que quer usar para estabelecer a conetividade entre o Datastream e a base de dados de origem. Para este início rápido, use o menu pendente Método de conetividade para selecionar Lista de autorizações de IPs como método de rede.

7. Configure a base de dados de origem para permitir ligações recebidas dos endereços IP públicos do Datastream apresentados.

8. Na secção Definir método de conetividade, clique em CONTINUAR. A secção Testar perfil de associação da página Criar perfil do Oracle está ativa.

9. Clique em EXECUTAR TESTE para verificar se a base de dados Oracle de origem e o Datastream conseguem comunicar entre si.

10. Verifique se é apresentado o estado "Teste aprovado".

11. Se o teste falhar, pode resolver o problema na parte adequada do fluxo e, em seguida, voltar a testar. Consulte a página Diagnosticar problemas para ver os passos de resolução de problemas.

12. Clique em CRIAR.

Crie um perfil de associação de destino para o Cloud Storage

1. Aceda à página Perfis de ligação do Datastream na Google Cloud consola.

   Aceda à página Perfis de ligação

2. Clique em CRIAR PERFIL.

3. Na página Crie um perfil de associação, clique no tipo de perfil Cloud Storage (porque quer criar um perfil de associação de destino para o Cloud Storage).

4. Forneça as seguintes informações na página Criar perfil do Cloud Storage:

   • Introduza My Destination Connection Profile como o nome do perfil de ligação para o serviço de destino do Cloud Storage.
   • Mantenha o ID do perfil de associação gerado automaticamente.
   • Selecione a região onde o perfil de ligação vai ser armazenado.
   • No painel Detalhes da ligação, clique em PROCURAR.

   • No painel Selecionar contentor, selecione o contentor de destino no Cloud Storage para o qual o Datastream vai transferir dados da base de dados de origem e, de seguida, clique em SELECIONAR.

     O seu contentor aparece no campo Nome do contentor da página Criar perfil do Cloud Storage.

     Nota: se não vir um grupo que quer selecionar, pode criar um.

   • Opcionalmente, no campo Prefixo do caminho do perfil de ligação, pode fornecer um prefixo para o caminho que vai ser anexado ao nome do contentor quando o Datastream transfere dados para o destino.

     Nota: qualquer caminho que introduzir neste campo tem de começar com uma barra (/).

5. Clique em CRIAR.

Depois de criar um perfil de associação de origem para a base de dados Oracle e um perfil de associação de destino para o Cloud Storage, pode usá-los para criar uma stream.

Crie uma stream

Nesta secção, cria uma stream. O Datastream usa esta stream para transferir dados de uma base de dados Oracle de origem para um contentor de destino no Cloud Storage.

A criação de uma stream inclui:

• Definir as definições da stream.
• Selecionar o perfil de associação que criou para a base de dados de origem (o perfil de associação de origem). Para este início rápido, este é o My Source Connection Profile.
• Configurar informações sobre a base de dados de origem para a stream especificando as tabelas e os esquemas na base de dados de origem que o Datastream:
  • Pode transferir para o destino.
  • Está restrito de ser transferido para o destino.
• Determinar se o Datastream vai preencher os dados do histórico, bem como transmitir as alterações contínuas para o destino, ou transmitir apenas as alterações aos dados.
• Selecionando o perfil de associação que criou para o Cloud Storage (o perfil de associação de destino). Para este início rápido, este é o Meu perfil de associação de destino.
• Configurar informações sobre o contentor de destino da stream. Estas informações incluem:
  • A pasta do contentor de destino para o qual o Datastream transfere esquemas, tabelas e dados de uma base de dados Oracle de origem.
  • O formato de saída dos ficheiros escritos no Cloud Storage. O fluxo de dados suporta dois formatos de saída: Avro e JSON. Para este início rápido, o formato de ficheiro é Avro.

O Datastream está equipado com um assistente para ajudar a criar uma stream. Este assistente é composto por seis painéis: Introdução, Definir e testar origem, Configurar origem, Definir destino, Configurar destino e Rever e criar. As informações sobre como preencher cada painel são fornecidas nas várias secções desta página.

Defina as definições da stream

1. Aceda à página Streams para o fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique em CRIAR STREAM.

3. Indique as seguintes informações no painel Definir detalhes da stream da página Criar stream:

   • Introduza My Stream como o nome da stream.
   • Mantenha o ID da stream gerado automaticamente.
   • No menu Região, selecione a região onde criou o perfil de associação de origem.
   • No menu Tipo de origem, selecione o tipo de perfil Oracle.
   • No menu Tipo de destino, selecione o tipo de perfil Cloud Storage.

4. Reveja os pré-requisitos necessários gerados automaticamente para refletir a forma como o seu ambiente tem de ser preparado para uma stream. Estes pré-requisitos podem incluir como configurar a base de dados de origem e como associar o Datastream ao contentor de destino no Cloud Storage.

   Para mais informações acerca destes pré-requisitos, consulte o artigo Configure uma base de dados Oracle de origem.

5. Clique em CONTINUAR. É apresentado o painel Definir perfil de ligação do Oracle da página Criar stream.

Especifique informações sobre o perfil de associação de origem

1. No menu Perfil de associação de origem, selecione o perfil de associação de origem para a base de dados Oracle.

2. Clique em EXECUTAR TESTE para verificar se a base de dados de origem e o Datastream conseguem comunicar entre si.

   Se o teste falhar, é apresentado o problema associado ao perfil de ligação. Consulte a página Diagnosticar problemas para ver os passos de resolução de problemas. Faça as alterações necessárias para corrigir o problema e, em seguida, volte a testar.

3. Clique em CONTINUAR. É apresentado o painel Configurar origem da stream da página Criar stream.

Configure informações sobre a base de dados de origem da stream

1. Use o menu Objetos a incluir para especificar as tabelas e os esquemas na base de dados de origem que o Datastream pode transferir para uma pasta no contentor de destino no Cloud Storage. O menu só é carregado se a sua base de dados tiver até 5000 objetos.

   Para este início rápido, quer que o Datastream transfira todas as tabelas e esquemas. Por conseguinte, selecione Todas as tabelas de todos os esquemas no menu.

   Para este início rápido, certifique-se de que o painel Selecionar objetos a excluir está definido como "Nenhum". Não quer restringir a transferência de tabelas e esquemas da base de dados de origem para o Cloud Storage pelo Datastream.

   Além disso, certifique-se de que o painel Escolha o modo de preenchimento para dados históricos está definido como "Automático". A stream de dados vai transmitir todos os dados existentes, além das alterações aos dados, da origem para o destino.

2. Especifique o método CDC. Para este tutorial, selecione Logminer.

3. Clique em CONTINUAR. É apresentado o painel Definir perfil de associação do Google Cloud Storage da página Criar stream.

Selecione um perfil de ligação de destino

1. No menu perfil de associação de destino, selecione o seu perfil de associação de destino para o Cloud Storage.

2. Clique em CONTINUAR. É apresentado o painel Configurar destino da stream da página Criar stream.

Configure informações sobre o destino da stream

1. No campo Prefixo do caminho da stream, introduza a pasta do contentor de destino para o qual o Datastream vai transferir esquemas, tabelas e dados de uma base de dados Oracle de origem.

   Para este início rápido, quer que o Datastream transfira dados da base de dados de origem para a pasta /root/tutorial no contentor de destino do Cloud Storage. Por conseguinte, introduza /root/tutorial no campo Prefixo do caminho da stream.

2. No campo Formato de saída, selecione o formato dos ficheiros escritos no Cloud Storage. Para este início rápido, o formato de ficheiro é Avro.

3. Clique em CONTINUAR. É apresentado o painel Reveja os detalhes da stream e crie-a da página Criar stream.

Crie a stream

1. Valide os detalhes acerca da stream, bem como os perfis de ligação de origem e destino que a stream vai usar para transferir dados de uma base de dados Oracle de origem para um contentor de destino no Cloud Storage.

2. Clique em EXECUTAR VALIDAÇÃO para validar a stream. Ao validar uma stream, o Datastream verifica se a origem está configurada corretamente, valida se a stream consegue estabelecer ligação à origem e ao destino, e verifica a configuração ponto a ponto da stream.

   Se uma verificação de validação for aprovada, é apresentado um ícone de marca de verificação à esquerda da verificação de validação.

   Se uma verificação de validação não for aprovada, é apresentado um ícone de ponto de exclamação à esquerda da verificação e um botão VER DETALHES DO ERRO abaixo da verificação. Clique no botão e é apresentada uma mensagem a explicar por que motivo a verificação não foi aprovada, bem como informações sobre o que fazer para retificar o problema. Depois de fazer as correções adequadas, clique em REVALIDAR.

   Para mais informações sobre a resolução de problemas de verificações de validação que não são aprovadas, consulte o artigo Diagnosticar problemas.

3. Depois de todas as verificações de validação serem aprovadas, clique em CRIAR.

4. Na caixa de diálogo Criar stream?, clique em CRIAR.

Depois de criar uma stream, pode iniciá-la.

Inicie a stream

Na secção anterior do início rápido, criou uma stream, mas não a iniciou. Pode fazê-lo agora.

Para este início rápido, cria e inicia uma stream separadamente, caso o processo de criação da stream incorra num aumento da carga na base de dados de origem. Para adiar esse carregamento, cria a stream sem a iniciar e, em seguida, inicia-a quando o carregamento puder ser incorrido.

Ao iniciar a stream, o Datastream pode transferir dados, esquemas e tabelas da base de dados de origem para o destino.

1. Aceda à página Streams para o fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Selecione a caixa de verificação à esquerda da stream que quer iniciar. Para este início rápido, este é o Meu stream.

3. Clique em INICIAR.

4. Na caixa de diálogo, clique em INICIAR. O estado da stream muda de Not started para Starting e, em seguida, para Running.

   A stream demora cerca de 30 segundos a começar a ser executada. Os recursos em segundo plano têm de ser iniciados para que a stream possa começar.

Depois de iniciar uma stream, pode verificar se o Datastream transferiu dados da base de dados de origem para o destino.

Valide a stream

Nesta secção, confirma que o Datastream transfere os dados de todas as tabelas da base de dados Oracle de origem para a pasta /root/tutorial do contentor de destino do Cloud Storage.

1. Aceda à página Streams para o fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique na stream que criou. Para este início rápido, este é o Meu stream.

3. Na página Detalhes da stream, clique no link apresentado abaixo do campo Caminho de gravação do destino. A página Detalhes do contentor do Cloud Storage é aberta num separador separado.

   Nota: o link no qual clica é composto pelo nome do seu contentor e pela pasta do contentor para a qual o Datastream transferiu esquemas, tabelas e dados da sua base de dados Oracle de origem. Especificou que esta pasta devia ser /root/tutorial quando configurou informações sobre o perfil de associação de destino para a sua stream. Assim, o link deve aparecer como [bucket-name]/root/tutorial.

4. Confirme se vê pastas que representam tabelas da base de dados Oracle de origem.

5. Clique numa das pastas da tabela e explore os detalhes até ver dados associados à tabela.

   A primeira pasta é [schema]_[table], seguida de pastas que representam o ano, o mês, o dia, a hora e o minuto em que o Datastream transferiu dados da base de dados Oracle de origem para um contentor de destino no Cloud Storage.

   É criada uma pasta a cada minuto (quando existem novos dados para escrever).

   É criado um novo ficheiro quando o tamanho do ficheiro atinge 250 MB ou sempre que um esquema é alterado. Se as tabelas forem particionadas, são criados ficheiros para cada partição.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

1. Use a Google Cloud consola para eliminar o projeto, a stream do Datastream e os perfis de ligação, bem como o contentor de destino do Cloud Storage.

Ao limpar os recursos que criou no Datastream, estes não ocupam quota e não lhe são faturados no futuro. As secções seguintes descrevem como eliminar ou desativar estes recursos.

Elimine o projeto

A forma mais fácil de eliminar a faturação é eliminar o projeto que criou para este início rápido.

A eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para este início rápido, quando o eliminar, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar vários tutoriais e inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. Na Google Cloud consola, aceda à página Gerir recursos.

   Aceda à página Gerir recursos

2. Na lista de projetos, selecione o projeto que quer eliminar e, de seguida, clique em Eliminar.

3. Na caixa de diálogo, escreva o ID do projeto e, de seguida, clique em Encerrar para eliminar o projeto.

Elimine a stream

1. Aceda à página Streams para o fluxo de dados na Google Cloud consola.

   Aceda à página Streams

2. Clique na stream que quer eliminar. Para este início rápido, este é o Meu stream.

3. Clique em PAUSAR.

4. Na caixa de diálogo, clique em PAUSAR.

5. No painel Estado da stream da página Detalhes da stream, verifique se o estado da stream é Paused.

   Nota: pause a stream antes de a eliminar para garantir que todos os dados "em trânsito" são transferidos corretamente da base de dados de origem para o destino.

6. Clique em ELIMINAR.

7. Na caixa de diálogo, introduza Delete no campo de texto e, de seguida, clique em ELIMINAR.

Elimine os perfis de ligação

1. Aceda à página Perfis de ligação do Datastream na Google Cloud consola.

   Aceda à página Perfis de ligação

2. Selecione a caixa de verificação de cada perfil de associação que quer eliminar. Para este início rápido, selecione as caixas de verificação My Source Connection Profile e My Destination Connection Profile.

3. Clique em ELIMINAR.

4. Na caixa de diálogo, clique em ELIMINAR.

Elimine o contentor de destino do Cloud Storage

1. Aceda à página Navegador do Cloud Storage na Google Cloud consola.

   Aceder à página do navegador

2. Selecione a caixa de verificação à esquerda do seu contentor e, de seguida, clique em ELIMINAR.

3. Na caixa de diálogo, introduza DELETE no campo de texto e, de seguida, clique em ELIMINAR.

O que se segue?

• Saiba mais sobre o fluxo de dados.
• Experimente outras Google Cloud funcionalidades. Consulte os nossos inícios rápidos.