Criar fluxos de trabalho de integração de dados usando a página "Pipelines e conexões"

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação: para enviar feedback, fazer perguntas ou solicitar a desativação desse recurso de visualização, entre em contato com [e-mail].

É possível gerenciar e simplificar as tarefas de integração de dados diretamente no Google Cloud console usando a página Pipelines e conexões do BigQuery. Essa página oferece fluxos de trabalho de configuração guiados e específicos do BigQuery para serviços como o serviço de transferência de dados do BigQuery, o Datastream e o Pub/Sub.

Você pode usar a página Pipelines e conexões para realizar as seguintes tarefas:

• Carregar dados. Encontre e carregue dados de fontes de dados compatíveis usando uma experiência guiada.
• Programar tarefas de dados. Programe seus processos de dados para serem executados automaticamente, incluindo consultas programadas, notebooks, preparações de dados e pipelines.
• Transformar dados. Crie pipelines e preparações de dados que realizam operações como limpeza, estruturação e preparação de dados para análise e geração de relatórios.
• Criar conexões com fontes de dados. Conecte-se a fontes de dados externas, tempos de execução de computação e serviços de IA para acesso aos dados e execução remota.

Depois de configurar a página Pipelines e conexões , ela oferece um local centralizado para gerenciar e monitorar seus recursos de integração de dados, mostrando o status deles e fornecendo métricas operacionais.

Ativar ou desativar

Durante a visualização, você pode ativar ou desativar o uso da página Pipelines e conexões.

Ativar

Para ativar o uso da página Pipelines e conexões, siga estas etapas:

1. Acesse o Google Cloud console do.

   Acessar o console

2. Na barra de ferramentas do Google Cloud console, clique em Menu de navegação.

3. Clique em Soluções > Todos os produtos.

4. Na seção Analytics, clique em BigQuery.

   A página Studio do BigQuery é aberta.

5. Para expandir o menu de navegação, clique em Alternar o menu de navegação do BigQuery.

   

6. No menu de navegação, clique em uma das seguintes opções:

   • Transferências de dados
   • Consultas programadas
   • Agendamento

7. Acesse o banner de pipelines e conexões unificados.

   

8. Clique em Ativar.

   Depois de ativar, as páginas Transferências de dados, Agendamento e Consultas programadas serão substituídas pela página Pipelines e conexões.

   Observação: não há mudanças na página Dataform.

Desativar

Para desativar o uso da página unificada Pipelines e conexões, siga estas etapas:

1. Na página Pipelines e conexões, clique em Desativar no banner de pipelines e conexões unificados.

2. Uma caixa de diálogo de feedback será aberta. Forneça feedback sobre o motivo da desativação, como recursos ausentes ou bugs.

3. Clique em Enviar e depois em Fechar.

   Depois de enviar o formulário, o menu de navegação voltará a usar páginas separadas de Transferências de dados, Agendamento e Consultas programadas.

Criar um recurso de integração de dados

Para criar recursos como consultas programadas, transferências de dados e conexões externas, faça o seguinte:

1. Acesse a página Pipelines e conexões.

   Acessar pipelines e conexões

2. Clique em Criar.

3. Para o recurso que você quer criar, clique na opção no card:

   1. Para adicionar dados de uma das fontes de dados compatíveis usando um fluxo de trabalho guiado, no card Carregar dados, clique em Adicionar dados.

   2. Para programar uma consulta, um notebook, uma preparação de dados ou um pipeline, no card Programar tarefas de dados, clique em Programar e escolha a opção apropriada.

   3. Para criar um pipeline de transformação ou preparação de dados, no card Transformar dados, clique em Criar e escolha a opção apropriada.

   4. Para criar uma conexão com uma fonte de dados externa, no card Conexões externas, clique em Criar conexão.

Monitorar seus recursos

Depois de criar seus recursos, você pode visualizá-los e monitorá-los. As métricas operacionais disponíveis na página Pipelines e conexões incluem históricos de execução do serviço de transferência de dados do BigQuery, capacidade de processamento e latência para assinaturas do Pub/Sub e atualização de dados e contagens de eventos para pipelines do Datastream. Você também pode encontrar informações de solução de problemas, como registros de execuções do serviço de transferência de dados do BigQuery e status de objetos do Datastream.

1. Acesse a página Pipelines e conexões.

   Acessar pipelines e conexões

2. Para ver detalhes sobre suas conexões, clique na guia Conexões.

3. Para monitorar seus pipelines, clique na guia Pipelines. Você pode usar essa página para conferir detalhes como status, tipo e histórico de execução do pipeline.

4. Para conferir os detalhes de um pipeline, na coluna Nome de exibição, clique no link.

A seguir

• Saiba como criar um pipeline do Dataform no BigQuery.
• Saiba como programar um pipeline.
• Saiba como programar uma consulta.
• Saiba mais sobre as transferências do serviço de transferência de dados do BigQuery.