Criar fluxos de trabalho de integração de dados usando a página "Pipelines e conexões"

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação: para enviar feedback, fazer perguntas ou solicitar a desativação desse recurso de pré-lançamento, entre em contato com [e-mail].

A página Pipelines e conexões do BigQuery no console simplifica suas tarefas de integração de dados ao fornecer fluxos de trabalho de configuração guiados e específicos do BigQuery para serviços como o serviço de transferência de dados do BigQuery, o Datastream e o Pub/Sub.

Use a página Pipelines e conexões para realizar as seguintes tarefas:

• Carregar dados. Encontre e carregue dados de fontes compatíveis usando uma experiência guiada.
• Agendamento de tarefas de dados. Programe seus processos de dados para serem executados automaticamente, incluindo consultas, notebooks, preparações de dados e pipelines programados.
• Transformação de dados. Crie pipelines e preparações de dados que realizam operações como limpeza, estruturação e preparação de dados para análise e geração de relatórios.
• Criar conexões com fontes de dados. Conecte-se a fontes de dados externas, ambientes de execução de computação e serviços de IA para acesso aos dados e execução remota.

Depois de criar as tarefas, a página Pipelines e conexões oferece um local único para gerenciar e monitorar seus recursos. É possível conferir o status dos seus recursos na visualização em lista e usar as páginas de monitoramento detalhado para ver métricas operacionais de cada recurso configurado, como consultas programadas, pipelines, transferências, conexões, streams e assinaturas.

As métricas operacionais incluem históricos de execução do serviço de transferência de dados do BigQuery, capacidade de processamento e latência para assinaturas do Pub/Sub, além de atualização de dados e contagens de eventos para pipelines do Datastream.

As páginas de monitoramento também incluem informações de solução de problemas, como registros de execuções do serviço de transferência de dados do BigQuery e status de objetos do Datastream.

Ativar ou desativar

Durante a prévia, é possível ativar ou desativar o uso da página Pipelines e conexões.

Ativar

Para ativar o uso da página Pipelines e conexões, siga estas etapas:

1. Acesse o console do Google Cloud .

   Acessar o console

2. Na barra de ferramentas do console Google Cloud , clique em Menu de navegação.

3. Clique em Soluções > Todos os produtos.

4. Na seção Analytics, clique em BigQuery.

   A página do Studio do BigQuery é aberta.

5. Para expandir o menu de navegação, clique em Alternar menu de navegação do BigQuery.

   

6. No menu de navegação, clique em uma das seguintes opções:

   • Transferências de dados
   • Consultas programadas
   • Agendamento

7. Acesse o banner de pipelines e conexões unificados.

   

8. Clique em Ativar.

   Depois que você ativar a opção, as páginas Transferências de dados, Programação e Consultas programadas serão substituídas pela página Pipelines e conexões.

   Observação: a página do Dataform não mudou.

Desativar

Para desativar o uso da página unificada Pipelines e conexões, siga estas etapas:

1. Na página Pipelines e conexões, clique em Desativar no banner unificado de pipelines e conexões.

2. Uma caixa de diálogo de feedback será aberta. Envie feedback sobre o motivo da desativação, como falta de recursos ou bugs.

3. Clique em Enviar e depois em Fechar.

   Depois de enviar o formulário, o menu de navegação volta a usar as páginas separadas Transferências de dados, Programação e Consultas programadas.

Criar um recurso de integração de dados

Para criar recursos como consultas programadas, transferências de dados e conexões externas, faça o seguinte:

1. Acesse a página Pipelines e conexões.

   Acessar "Pipelines e conexões"

2. Clique em Criar.

3. No recurso que você quer criar, clique na opção no card:

   1. Para adicionar dados de uma das fontes compatíveis usando um fluxo de trabalho guiado, clique em Adicionar dados no card Carregar dados.

   2. Para agendar uma consulta, um notebook, uma preparação de dados ou um pipeline, no card Agendar tarefas de dados, clique em Agendar e escolha a opção adequada.

   3. Para criar um pipeline de transformação ou preparação de dados, no card Transformar dados, clique em Criar e escolha a opção adequada.

   4. Para criar uma conexão com uma fonte de dados externa, no card Conexões externas, clique em Criar conexão.

Monitore seus recursos

Depois de criar os recursos, é possível visualizá-los e monitorá-los.

1. Acesse a página Pipelines e conexões.

   Acessar "Pipelines e conexões"

2. Para ver detalhes sobre suas conexões, clique na guia Conexões.

3. Para monitorar seus pipelines, clique na guia Pipelines. Use essa página para conferir detalhes como status, tipo e histórico de execução do pipeline.

4. Para conferir os detalhes de um pipeline, clique no link na coluna Nome de exibição.

A seguir

• Saiba como criar um pipeline do Dataform no BigQuery.
• Saiba como programar um pipeline.
• Saiba como programar uma consulta.
• Saiba mais sobre as transferências do serviço de transferência de dados do BigQuery.