Exportar informações do job

Esta página descreve como exportar as informações dos jobs armazenados no Batch para uma tabela do BigQuery usando o Workflows. Especificamente, aprenda a executar o fluxo de trabalho de exemplo export-jobs e como visualizar as informações do job resultante no BigQuery.

A exportação das informações de um job é útil quando você quer reter as informações depois que um job é excluído automaticamente ou manualmente ou analisar as informações fora do Batch. Como alternativa, se você quiser exportar apenas informações de mudança de estado de tarefas e jobs para o BigQuery, consulte Monitorar jobs usando notificações.

Para aprender a exportar informações de jobs armazenadas em outros Google Cloud serviços, consulte a documentação de exportação desse serviço. Por exemplo, consulte as seguintes páginas:

Antes de começar

  1. Se você nunca usou o Batch, consulte Introdução ao Batch e ative o Batch concluindo os pré-requisitos para projetos e usuários.

  2. Ative as APIs BigQuery e Workflows.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pela função Proprietário (roles/owner). Caso contrário, você pode receber essa permissão pela função Administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder funções.

    Ativar as APIs

  3. Opcional: identifique um conjunto de dados ou tabela do BigQuery no seu projeto em que você quer armazenar as informações do job. Uma tabela precisa ter um esquema correspondente.

    Caso contrário, você pode usar o fluxo de trabalho de exportação de jobs para criar um novo conjunto de dados ou tabela.

  4. Prepare uma conta de serviço para o fluxo de trabalho de exportação de jobs fazendo o seguinte:

    1. Crie uma nova conta de serviço ou identifique uma conta de serviço existente.

    2. Para garantir que a conta de serviço tenha as permissões necessárias para executar o fluxo de trabalho de exportação de jobs, peça ao administrador para conceder as seguintes funções do IAM à conta de serviço no projeto:

      Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

      O administrador também pode conceder à conta de serviço as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

  5. Para receber as permissões necessárias para criar, implantar e executar o fluxo de trabalho de exportação de jobs, peça ao administrador para conceder a você as seguintes funções do IAM no projeto:

  6. Verifique se os usuários do seu projeto podem visualizar as informações do job exportado.

    Para garantir que um usuário tenha as permissões necessárias para exportar informações de jobs, peça ao administrador para conceder a função do IAM de leitor de dados do BigQuery (roles/bigquery.dataViewer) a um usuário na tabela, no conjunto de dados ou no projeto.

Exportar informações do job

Esta seção explica como exportar informações de jobs usando o fluxo de trabalho de exportação de jobs, que é do export-to-bigquery exemplo de código. O fluxo de trabalho de exportação de jobs exporta as informações dos jobs do seu projeto que estão na região especificada e atendem aos critérios de filtro especificados.

O fluxo de trabalho de exportação de jobs exporta informações de jobs para uma tabela especificada em um conjunto de dados especificado, que são criados automaticamente pelo fluxo de trabalho se ainda não existirem no seu projeto. Por padrão, o fluxo de trabalho de exportação de jobs também exclui os jobs exportados do Batch, mas você pode editar o fluxo de trabalho de exportação de jobs para não excluir os jobs.

Para cada fluxo de trabalho de exportação de jobs que você quer usar, faça o seguinte:

  1. Configure a definição do fluxo de trabalho.
  2. Crie e implante o fluxo de trabalho.
  3. Execute o fluxo de trabalho. Repita essa etapa sempre que quiser exportar os jobs especificados.

Configurar a definição do fluxo de trabalho

  1. Faça o download do export-to-bigquery-delete-batch-jobs.yaml arquivo do GitHub.

  2. Abra o arquivo export-to-bigquery-delete-batch-jobs.yaml em um editor de texto. Em seguida, faça as seguintes edições:

    1. Substitua sys.get_env("GOOGLE_CLOUD_PROJECT_ID") pelo ID do projeto formatado como uma string, por exemplo, "my-project-id".

    2. Substitua sys.get_env("GOOGLE_CLOUD_LOCATION") pela região que contém os jobs que você quer exportar, formatada como uma string, por exemplo, "us-central1".

    3. Opcional: edite os critérios de filtro que especificam quais jobs exportar.

      Por padrão, o fluxo de trabalho de exportação de jobs especifica os critérios de filtro "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"". Esses critérios de filtro padrão exportam informações apenas para jobs que estão no estado SUCCEEDED, FAILED, ou CANCELLED e foram criados antes ou pelo 2023-05-01T00:00:00Z RFC 3339 carimbo de data/hora.

    4. Opcional: substitua default_dataset_id por um nome diferente para o conjunto de dados que você quer que o fluxo de trabalho de exportação de jobs use ou crie.

    5. Opcional: substitua default_table_id por um nome diferente da tabela que você quer que o fluxo de trabalho de exportação de jobs use ou crie.

    6. Se você não quiser que os jobs exportados sejam excluídos pelo fluxo de trabalho, faça o seguinte:

      1. Remova as seguintes linhas:

                - log_delete_step:
            call: sys.log
            args:
              text: ${"Deleting Batch job " + j.name}
              severity: NOTICE
        - delete_job:
            call: googleapis.batch.v1.projects.locations.jobs.delete
            args:
              name: ${j.name}

      2. Remova + " and deleted".

    7. Salve o arquivo. Mantenha o arquivo aberto.

Criar e implantar o fluxo de trabalho

  1. No Google Cloud console, acesse a página Fluxos de trabalho:

    Acessar fluxos de trabalho

  2. Na página Fluxos de trabalho, clique em Criar.

  3. No campo Nome do fluxo de trabalho , insira um nome para o fluxo de trabalho, por exemplo, export-batch-jobs-us-central1.

  4. Na lista Conta de serviço, selecione a conta de serviço que você preparou.

  5. Clique em Próxima.

  6. No editor de fluxo de trabalho, substitua o fluxo de trabalho de exemplo pelo conteúdo do arquivo export-to-bigquery-delete-batch-jobs.yaml. Em seguida, você pode fechar o arquivo.

  7. Clique em Implantar. A página Detalhes do fluxo de trabalho é aberta.

Executar o fluxo de trabalho

  1. Na página Detalhes do fluxo de trabalho, clique em Executar. A página Executar fluxo de trabalho é aberta.

  2. Na página Executar fluxo de trabalho que é aberta, clique em Executar.

  3. Na página Detalhes da execução que é aberta, aguarde a conclusão da execução do fluxo de trabalho. Por exemplo, o tempo de execução para exportar e excluir alguns jobs geralmente é de alguns segundos, mas a execução pode levar mais tempo se você estiver exportando e excluindo muitos jobs.

    Quando o fluxo de trabalho terminar a execução, o painel Saída vai mostrar os resultados.

Visualizar as informações do job exportado

Esta seção apresenta como visualizar os dados da tabela criados pelo fluxo de trabalho de exportação de jobs. Por exemplo, você pode usar as etapas a seguir para verificar se o fluxo de trabalho foi executado corretamente e navegar pelos dados da tabela. Para mais informações sobre como visualizar e usar as informações do job exportado, como escrever consultas, consulte Gerenciar dados da tabela na documentação do BigQuery.

  1. No Google Cloud console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, abra a tabela para as informações do job exportado:

    1. No campo Pesquisar recursos do BigQuery, insira o nome da tabela do fluxo de trabalho de exportação de jobs. Por exemplo, o nome da tabela padrão é default_table_id.
    2. Clique no nome da tabela. A página de detalhes da tabela é aberta.

    3. Na página de detalhes da tabela, clique na guia Detalhes.

      Na guia Detalhes, observe o carimbo de data/hora da Última modificação e o Número de linhas.

    4. Na página de detalhes da tabela, clique na guia Visualização.

A seguir