Gerenciar pipelines

Neste documento, descrevemos como gerenciar pipelines do BigQuery, incluindo como visualizar, programar, implantar e excluir pipelines.

Este documento também descreve como visualizar e gerenciar metadados de pipeline no Knowledge Catalog.

Os pipelines são gerados pelo Dataform. É possível organizar e gerenciar pipelines armazenados em Arquivos e pastas (pastas de usuário e de equipe) ou em repositórios Git do BigQuery Studio (pastas Git) (pré-lançamento).

Antes de começar

  1. Crie um pipeline do BigQuery.
  2. Para gerenciar metadados de pipeline no Knowledge Catalog, verifique se a API Dataplex está ativada no seu Google Cloud projeto.

Funções exigidas

Para conseguir as permissões necessárias para gerenciar pipelines, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre o IAM do Dataform, consulte Controlar o acesso com o IAM. Para mais informações sobre papéis para pastas, consulte Criar e gerenciar pastas. Para mais informações sobre papéis para repositórios Git, consulte Gerenciar código com repositórios Git do BigQuery Studio.

Se você usar uma conta de serviço personalizada para executar pipelines, conceda os seguintes papéis a essa conta de serviço:

Visualizar pipelines

É possível visualizar e inspecionar pipelines armazenados em pastas ou pastas Git no painel Arquivos. É possível visualizar pipelines independentes e pipelines armazenados em pastas no painel Explorer. Os pipelines armazenados em pastas Git não são exibidos no painel Explorer.

Visualizar pipelines no painel "Arquivos"

Os pipelines armazenados em pastas ou em pastas Git aparecem diretamente no painel Arquivos.

Para visualizar um pipeline armazenado em uma pasta ou pasta Git, siga estas etapas:

  1. No Google Cloud console, acesse a BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Arquivos para abrir o navegador de arquivos.

    Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

  3. Expanda a pasta Usuário, uma pasta de equipe ou uma pasta de repositório Git conectada.

    Os pipelines são exibidos com um ícone Pipeline em vez de um ícone de pasta padrão.

  4. Clique em uma pasta de pipeline para abrir o Visualizador de pipelines.

    O Visualizador de pipelines mostra o gráfico acíclico direcionado (DAG, na sigla em inglês) compilado das tarefas do pipeline, o status de execução e as guias de configuração.

  5. Expanda o diretório do pipeline no navegador de arquivos para navegar por diretórios aninhados (como definitions/) e arquivos de tarefas individuais.

Visualizar pipelines no painel "Explorer"

Para visualizar uma lista de pipelines independentes e pipelines armazenados em pastas, faça o seguinte:

  1. No Google Cloud console, acesse a BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

    Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

  3. No painel Explorer, expanda o projeto e clique em Pipelines.

  4. Selecione um pipeline para abri-lo no Visualizador de pipelines.

Conferir execuções manuais anteriores

Para conferir as execuções manuais anteriores de um pipeline selecionado, siga estas etapas:

  1. No Google Cloud console, acesse a BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, expanda o projeto, clique em Pipelines, e selecione um pipeline.

  4. Clique em Execuções.

  5. Opcional: para atualizar a lista de execuções anteriores, clique em Atualizar.

Configurar alertas para execuções de pipeline com falha

Cada pipeline tem um ID de repositório do Dataform correspondente. Cada execução do pipeline do BigQuery é registrada em Cloud Logging usando o ID do repositório do Dataform correspondente. Você pode usar o Cloud Monitoring para observar tendências nos registros do Cloud Logging para execuções de pipeline do BigQuery e receber notificações quando as condições descritas ocorrerem.

Para receber alertas quando uma execução de pipeline do BigQuery falhar, crie uma política de alertas baseada em registros para o ID de repositório do Dataform correspondente. Para instruções, consulte Configurar alertas para invocações de fluxo de trabalho com falha.

Para encontrar o ID do repositório do Dataform do seu pipeline, faça o seguinte:

  1. No Google Cloud console, acesse a BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, expanda o projeto, clique em Pipelines, e selecione um pipeline.

  4. Clique em Configurações.

    O ID do repositório do Dataform do seu pipeline é mostrado na parte de baixo da guia Configurações.

Excluir um pipeline

Para excluir um pipeline permanentemente, siga estas etapas:

  1. No Google Cloud console, acesse a BigQuery. Acessar o BigQuery

  • Para excluir um pipeline armazenado em uma pasta ou pasta Git, faça o seguinte:

    1. No painel à esquerda, clique em Arquivos.

    2. Na árvore de arquivos, encontre a pasta de pipeline que você quer excluir.

    3. Clique em Ver ações ao lado da pasta de pipeline e clique em Excluir.

    4. Na caixa de diálogo de confirmação, clique em Excluir.

      A pasta de pipeline e todas as tarefas e arquivos contidos nela são excluídos do seu espaço de trabalho.

  • Para excluir um pipeline listado no painel Explorer, faça o seguinte:

    1. No painel à esquerda, clique em Explorer:

      Botão destacado para o painel "Explorer".

    2. No painel Explorer, expanda o projeto e clique em Pipelines.

    3. Encontre o pipeline que você quer excluir.

    4. Clique em Ver ações ao lado do pipeline e clique em Excluir.

    5. Clique em Excluir.

Gerenciar metadados no Knowledge Catalog

O Knowledge Catalog permite armazenar e gerenciar metadados para pipelines. Os pipelines estão disponíveis no Knowledge Catalog por padrão, sem configuração adicional.

É possível usar o Knowledge Catalog para gerenciar pipelines em todos os locais de pipeline. O gerenciamento de pipelines no Knowledge Catalog está sujeito a cotas e limites do Knowledge Catalog e preços do Knowledge Catalog.

O Knowledge Catalog recupera automaticamente os seguintes metadados de pipelines:

  • Nome do recurso de dados
  • Recurso de dados pai
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto correspondente Google Cloud

O Knowledge Catalog registra pipelines como entradas com os seguintes valores de entrada:

Grupo de entradas do sistema
O grupo de entradas do sistema para pipelines é @dataform. Para visualizar detalhes das entradas de pipeline no Knowledge Catalog, é necessário visualizar o grupo de entradas do sistema dataform. Para instruções sobre como visualizar uma lista de todas as entradas em um grupo de entradas, consulte Visualizar detalhes de um grupo de entradas na documentação do Knowledge Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para pipelines é dataform-code-asset. Para visualizar detalhes de pipelines,é necessário visualizar o tipo de entrada do sistema dataform-code-asset, filtrar os resultados com um filtro baseado em aspectos, e definir o campo type no aspecto dataform-code-asset como WORKFLOW. Em seguida, selecione uma entrada do pipeline selecionado. Para instruções sobre como visualizar detalhes de um tipo de entrada selecionado, consulte Visualizar detalhes de um tipo de entrada na documentação do Knowledge Catalog. Para instruções sobre como visualizar detalhes de uma entrada selecionada, consulte Visualizar detalhes de uma entrada na documentação do Knowledge Catalog.
Tipo de aspecto do sistema
O tipo de aspecto do sistema para pipelines é dataform-code-asset. Para fornecer contexto adicional aos pipelines no Knowledge Catalog anotando entradas de pipeline de dados com aspectos, visualize o tipo de aspecto dataform-code-asset, filtre os resultados com um filtro baseado em aspectos, e defina o campo type no aspecto dataform-code-asset como WORKFLOW. Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Knowledge Catalog.
Tipo
O tipo de telas de dados é WORKFLOW. Esse tipo permite filtrar pipelines no dataform-code-asset tipo de entrada do sistema e no dataform-code-asset tipo de aspecto usando a aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW consulta em um filtro baseado em aspectos.

Para instruções sobre como pesquisar recursos no Knowledge Catalog, consulte Pesquisar recursos de dados no Knowledge Catalog na documentação do Knowledge Catalog.

Integração de enriquecimento de metadados e tabela de qualidade de dados

O Dataform pode publicar os seguintes metadados no Knowledge Catalog:

  • Tipo de aspecto da visão geral
  • Tipo de aspecto genérico
  • Tipo de aspecto da tabela de qualidade de dados

As declarações do Dataform são integradas automaticamente à tabela de qualidade de dados do Knowledge Catalog. Durante a execução do pipeline, os resultados de todas as declarações do Dataform são publicados automaticamente no Knowledge Catalog. Esses resultados preenchem a tabela de qualidade de dados do Knowledge Catalog com um status de aprovação ou falha.

Para verificar o status de uma atualização de metadados, siga as instruções em Conferir execuções manuais anteriores.

Depois que os metadados forem sincronizados, você poderá pesquisar e visualizar a entrada no Knowledge Catalog. Para mais informações, consulte Pesquisar recursos.

A seguir