Monitorar jobs

Como administrador do BigQuery, você pode monitorar jobs em toda a sua organização usando uma análise de jobs administrativos no console Google Cloud . O explorador de jobs oferece filtros e opções de classificação para identificar, comparar e solucionar problemas de jobs. Não é necessário escrever consultas de INFORMATION_SCHEMA para ver detalhes do job, como proprietário, projeto, uso de slot, duração e muito mais.

Para monitorar a capacidade, os compromissos de slot e a utilização de reservas de longo prazo em toda a organização, consulte Monitorar a integridade e a utilização de recursos.

Com o explorador de jobs, é possível fazer o seguinte:

  • Filtrar e identificar jobs. Pesquise consultas específicas na sua organização aplicando filtros com base em critérios como status, duração, proprietário ou uso de slots do job.
  • Analise as métricas de linha do tempo. Acompanhe as tendências de execução de jobs e a simultaneidade ao longo do tempo com o gráfico de métricas.
  • Agregue jobs por recurso. Agrupe jobs por proprietário, projeto ou reserva para ver estatísticas resumidas e detalhar tabelas filtradas.
  • Resolver problemas de jobs. Selecione jobs individuais para conferir os gráficos de execução de consultas, o texto SQL e o histórico de execução na página Detalhes do job (Prévia).
  • Comparar a performance. Compare jobs (Prévia) para destacar diferenças significativas nas métricas e resolver possíveis problemas de performance.
  • Receba assistência da IA. Use o Gemini Code Assist diretamente do explorador de jobs (prévia) para analisar estatísticas de jobs ou explicar consultas lentas.

O BigQuery fornece detalhes e insights de jobs pelas seguintes visualizações INFORMATION_SCHEMA:

Antes de começar

Para usar o Gemini Code Assist e resolver problemas de jobs no BigQuery (versão prévia), consulte Configurar o Gemini Code Assist para ativar a API e conceder as funções necessárias.

Funções exigidas

Para receber as permissões necessárias para usar o explorador de jobs e monitorar jobs, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar o explorador de jobs e monitorar jobs. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para usar o explorador de jobs e monitorar jobs:

  • Ver jobs no nível do projeto: bigquery.jobs.listAll no projeto
  • Ver jobs no nível da organização: bigquery.jobs.listAll na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para usar o Gemini Code Assist na solução de problemas de jobs, consulte outros requisitos do IAM para usar o Gemini Code Assist.

Filtrar jobs

Para filtrar jobs para consultas contidas nas visualizações INFORMATION_SCHEMA.JOBS*, faça o seguinte:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No menu de navegação, clique em Explorador de jobs.

  3. Na página Explorador de jobs, no campo Local, selecione o local em que você quer ver os jobs.

  4. No painel Filtros, aplique filtros opcionais, conforme necessário. Se ele não estiver visível, clique em insert_chart Mostrar filtros.

    Os seguintes filtros estão disponíveis:

    • Escopo do job: filtra os jobs por nível de visibilidade, por exemplo, o projeto atual, a organização e seus jobs. Você pode escolher ver jobs do projeto atual, de toda a organização ou apenas os que você iniciou.
    • Visualização de gráfico:
      • Jobs concluídos: mostra dados de linha do tempo para consultas concluídas, distinguindo entre jobs que foram concluídos com êxito e jobs que apresentaram erros.
      • Simultaneidade: mostra dados de linha do tempo para a simultaneidade de consultas, distinguindo entre jobs ativos e em fila.
    • Agrupar por: agrupa os jobs mostrados por um recurso específico, como proprietário, projeto ou reserva. Para mais informações, consulte Agrupar jobs por recurso.
    • Status: filtra os jobs pelo estado de execução atual, por exemplo, concluído, erro, ativo e na fila. Os totais de resumo aparecem diretamente ao lado de cada opção de filtro de status facetado para indicar o número de jobs nesse estado.
    • ID do projeto: filtra jobs executados em um projeto específico.
    • ID da reserva: filtra jobs que usaram slots de uma reserva específica. Isso ajuda a monitorar como diferentes cargas de trabalho estão consumindo a capacidade reservada.
    • Proprietário: filtra jobs pelo endereço de e-mail do usuário ou da conta de serviço que iniciou o job.
    • código da tarefa: filtra uma tarefa específica pelo identificador alfanumérico exclusivo dela.
    • Hash de consulta: filtra jobs com um hash de consulta específico. Um hash de consulta identifica a lógica de uma consulta, ignorando diferenças em comentários, valores de parâmetros, UDFs e literais, o que ajuda você a encontrar todas as execuções da mesma lógica de consulta. Esse campo aparece para consultas bem-sucedidas do GoogleSQL que não são ocorrências em cache.
    • Rótulos: filtra jobs com base em rótulos de metadados personalizados que você ou sua organização anexaram a eles. Assim, é possível categorizar e acompanhar vagas por departamento ou aplicativo.
    • Insights de consulta: filtra jobs que o BigQuery identificou como tendo problemas específicos de desempenho, como contenção de slot, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
    • Tempo de slot maior que: filtra jobs que consumiram mais do que uma quantidade especificada de slot-milissegundos. Essa é uma métrica fundamental para identificar consultas que consomem muitos recursos.
    • Duração superior a: filtra jobs que levaram mais tempo do que um período especificado para serem concluídos. Use isso para encontrar consultas que estão sendo executadas mais lentamente do que o esperado.
    • Bytes processados acima de: filtra jobs que verificaram mais do que uma quantidade especificada de dados. Isso ajuda a identificar consultas que podem estar contribuindo para custos altos de processamento de dados.
    • Categoria do job: filtra os jobs pelo tipo de operação realizada, como consultas SQL padrão ou contínuas usadas para processamento de dados em tempo real.
    • Motivo da criação do job: filtra jobs com base no motivo da criação pelo BigQuery, como quando uma consulta excede um tempo limite ou produz resultados muito grandes para uma única resposta.
    • Prioridade do job: filtra os jobs por prioridade de execução, como jobs interativos ou em lote.

Conferir métricas da linha do tempo do job

O Buscador de Jobs inclui um gráfico de métricas interativo que mostra dados de linha do tempo para as consultas que correspondem aos critérios de filtro. Use esse gráfico para avaliar padrões de carga de trabalho e identificar aumentos repentinos em jobs concluídos, ativos ou enfileirados. Para conferir tendências históricas de simultaneidade em toda a organização em janelas de tempo mais longas, consulte Gráficos de linha do tempo de métricas.

Para configurar o gráfico de métricas no explorador de jobs, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Acesse o painel Filtros. Se ele não estiver visível, clique em insert_chart Mostrar filtros.

  3. Selecione a métrica que você quer mostrar no gráfico:

    • Jobs concluídos: mostra dados de linha do tempo para consultas concluídas, distinguindo entre jobs que foram concluídos com êxito e jobs que apresentaram erros.
    • Simultaneidade: mostra dados de linha do tempo para a simultaneidade de consultas, distinguindo entre jobs ativos e em fila.

Agrupar jobs por recurso

Para agregar estatísticas de jobs e comparar o consumo em toda a organização, agrupe os jobs por proprietário, projeto ou reserva em vez de ver os jobs individuais em uma tabela não agregada.

Para agrupar jobs, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Acesse o painel Filtros. Se ele não estiver visível, clique em insert_chart Mostrar filtros.

  3. Clique em Agrupar por e selecione uma das seguintes opções:

    • Nenhum (padrão): mostra a tabela não agregada de jobs individuais.
    • Proprietário: agrupa jobs pelo endereço de e-mail do usuário ou da conta de serviço que executou o job.
    • Projeto: agrupa os jobs por ID do projeto.
    • Reserva: agrupa jobs por ID de reserva.

Quando você define Agrupar por como Proprietário, Projeto ou Reserva, o BigQuery mostra uma visualização agregada com painéis de resumo para cada recurso. Cada painel mostra as seguintes estatísticas de resumo:

  • Jobs ativos: o número de jobs em execução.
  • Jobs na fila: o número de jobs aguardando na fila de consultas.
  • Jobs com erro: o número de jobs que não foram concluídos.
  • Jobs concluídos: o número de jobs que foram concluídos com sucesso.
  • Tempo de slot: o total de milissegundos de slot consumidos pelos jobs desse recurso.
  • Bytes processados: o volume total de dados verificados por jobs para esse recurso.

Para inspecionar os jobs individuais associados a um recurso específico, clique no painel desse recurso para expandir e mostrar uma tabela filtrada dos jobs dele.

Resolver problemas de desempenho do job

Para diagnosticar e resolver problemas de consultas, é possível conferir métricas de execução, texto SQL e histórico de performance na página Detalhes do job.

Ver detalhes do job

Para conferir os detalhes de um job e analisar a execução da consulta dele, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs mostrados, filtre os jobs.

  3. Clique no ID do job que você quer investigar. Para consultas que não criam um job, o ID da consulta aparece e o link fica desativado. Ao clicar em um ID de job válido, a página Detalhes do job é aberta com a guia Performance exibida por padrão.

Informações de consulta disponíveis

Para ajudar você a diagnosticar a performance da consulta, a guia Performance nos detalhes do job compila as seguintes informações e métricas, quando aplicável:

  • Detalhes do job: informações sobre o job, incluindo ID, hora de criação, bytes processados e uso de slots. Para mais informações, consulte Ver detalhes do job.
  • Histórico de execução: uma lista de execuções históricas da consulta, agrupadas por hash de consulta. Selecione um job nessa lista para comparar diretamente com o job atual. Para mais informações, consulte Comparar jobs.

  • Gráfico de execução: uma representação visual dos estágios de execução da consulta. Abra a seção Gráfico de execução para inspecionar a contenção de slot, a capacidade de embaralhamento e a escala de entrada de dados. Para mais informações, consulte Receber insights de desempenho de consulta.

    O exemplo a seguir mostra um gráfico de execução com o mapeamento de texto SQL ativado:

    Gráfico de execução para jobs.

  • Carga do sistema durante a execução: um resumo dos recursos de computação e das configurações de reserva alocados durante a execução do job.

Diagnosticar regressões de desempenho comparando jobs e sistemas

Com a ferramenta de comparação de performance, é possível analisar as diferenças de performance entre dois jobs de consulta ou em dois intervalos do sistema. A análise mostra detalhes da consulta, mudanças no uso de recursos e configurações de ambiente do sistema que diferem significativamente entre os ambientes de base e de destino.

Entender a análise de comparação

A ferramenta de comparação avalia a performance em métricas no nível da consulta e fatores no nível do sistema. Ative o botão Mostrar apenas diferenças significativas para limitar a visualização a métricas com uma variância maior que 20%.

As diferenças significativas são codificadas por cores para ajudar você a verificar problemas:

  • Verde: a métrica melhorou (por exemplo, uma duração de consulta menor na execução de destino).
  • Amarelo: a métrica diminuiu em menos de 20%.
  • Vermelho: a métrica diminuiu mais de 20%.

Comparar dois jobs

Para comparar um job de valor de referência com uma execução de job de destino, faça o seguinte:

  1. Abra a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs mostrados, filtre os jobs.

  3. Clique no ID do job de comparativo para abrir a página Detalhes do job e selecione a guia Performance.

  4. No menu Ações, clique em Comparar job.

  5. No campo Job 1 (job de base), clique em Procurar para abrir o painel Jobs comparáveis semelhantes.

  6. Selecione o job de destino que você quer comparar com o valor de referência e clique em Comparar.

  7. Opcional: para focar nas principais regressões de performance, ative a opção Mostrar apenas diferenças significativas. Isso limita a visualização a métricas com uma variância maior que 20%.

Para mudar os jobs comparados a qualquer momento, clique em Procurar nos campos de job de comparativo ou de destino e selecione um novo job na lista de jobs comparáveis.

Análise no nível da consulta

Depois de comparar dois jobs, você pode conferir a seção Análise no nível da consulta, que compara duas execuções de job em três guias:

  • Métricas: compara métricas principais de consulta, como duração do job, tempo de slot, bytes processados e aceleradores não utilizados.
  • Texto SQL: mostra as instruções SQL dos dois jobs e destaca as diferenças no texto.
  • Gráfico de execução: compara os gráficos de execução dos dois jobs estágio por estágio para identificar onde ocorreram gargalos.

Comparar dois intervalos do sistema

Administradores e analistas podem analisar métricas mais amplas do ambiente executando uma comparação de performance do sistema. Com essa ferramenta, é possível comparar intervalos históricos em reservas e projetos específicos para entender as mudanças de utilização e isolar se a degradação da performance teve origem interna ou externa à sua carga de trabalho.

Você pode acessar a comparação de desempenho do sistema de uma das seguintes maneiras:

  • Na página Detalhes do job, depois de comparar dois jobs, clique em Ver mais na seção Saídas no nível do sistema para conferir os detalhes da comparação do sistema.
  • Se você usar o Gemini Cloud Assist para fazer uma comparação de sistemas, ele vai gerar um link que abre os resultados da comparação.

Para fazer uma comparação no nível do sistema em períodos separados, faça o seguinte:

  1. Na visualização Comparação de desempenho do sistema, clique em Sistema.
  2. Clique em Procurar e selecione uma reserva ou um escopo de projeto para analisar a performance do sistema.
  3. Defina os períodos de comparação:
    • Intervalo desejado: selecione a data e o período em que ocorreram os problemas de performance e clique em Aplicar.
    • Intervalo de base: selecione a data e o período de referência para usar como comparativo de mercado de performance e clique em Aplicar.

Análise no nível do sistema

Depois de comparar os intervalos, a visualização mapeia as mudanças de utilização, as variações de simultaneidade e as diferenças de configuração no ambiente selecionado em relação ao grupo principal. Isso ajuda a determinar se a disputa de slots ou as regressões de configuração estão afetando sua carga de trabalho. Os dados são gerados em três blocos:

  • Projeto: compara a simultaneidade de jobs, a simultaneidade na fila e o uso total de slots no nível do projeto.
  • Reserva: compara a utilização da reserva, o compartilhamento de slots inativos e a simultaneidade de projetos em reservas compartilhadas.
  • Análise de configuração: compara as configurações de gerenciamento de carga de trabalho entre as duas execuções, como limites máximos de tamanho de reserva e regras de empréstimo de slots ociosos.

Usar insights de solução de problemas de performance agêntica

Para enviar feedback ou solicitar suporte para esse recurso, envie um e-mail para bq-performance-troubleshooting+feedback@google.com.

Ao monitorar tarefas de administração ou avaliar comparações de desempenho, o BigQuery integra diagnósticos de capacidade de observação com o Gemini Cloud Assist para transformar o painel de chat em um assistente de solução de problemas ativo enquanto você resolve anomalias no nível do job e do sistema.

Os insights têm controle de acesso. Sem permissões suficientes, os insights recebidos podem ser limitados. Para mais informações sobre permissões, consulte Controlar o acesso a recursos com o IAM.

Resolver problemas de desempenho no chat

Para inicializar a solução de problemas com reconhecimento de contexto e agir com base em insights de performance, faça o seguinte:

  1. Para abrir o painel de chat do Gemini Cloud Assist e carregar automaticamente o contexto relevante do job ou do sistema, faça o seguinte:
    • Nas páginas Explorador de jobs ou Histórico de jobs, passe o cursor sobre um job e clique em astrophotography_mode Gemini nessa linha da tabela.
    • Na página Gerenciamento de carga de trabalho, passe o cursor sobre uma reserva e clique em astrophotography_mode Gemini nessa linha da tabela.
    • No Studio, no Monitoring ou no Explorador de jobs, clique em astrophotography_mode Gemini.
  2. Envie um comando em linguagem natural. Por exemplo, peça ao Gemini para explicar por que um job está sendo executado lentamente, analisar estatísticas específicas de jobs, analisar o desempenho de uma reserva específica, resolver problemas de desempenho do sistema ou comparar variações de desempenho entre dois jobs históricos semelhantes.
  3. Se um limite no nível da organização ou da reserva for violado, como uma fila de espera de slots grave devido a um aumento inesperado na simultaneidade de projetos ativos, analise o relatório gerado do Performance Insights. Esse relatório detalha gargalos críticos, como:
    • Aumento da simultaneidade enfileirada: picos nas demandas de consultas simultâneas que excedem os limites de simultaneidade flexíveis ou as alocações de slots de reserva.
    • Aumento da simultaneidade de projetos: rastreamento dos projetos exatos de alta simultaneidade ou das principais contas de usuário que impulsionam a carga do sistema em reservas compartilhadas ou cotas sob demanda.
  4. Observe a tabela Comparação de métricas principais para rastrear diferenças numéricas precisas, como mudanças na simultaneidade média de projetos, slots de fila ou limites máximos de slots de reserva.

  5. Execute soluções inline diretamente pelos links de transferência acionáveis gerados pelo Gemini Cloud Assist. Esses atalhos redirecionam você para ferramentas específicas no produto com contexto pré-preenchido para responder às suas perguntas e resolver problemas:

    • Editar reserva: abre o painel lateral de gerenciamento de carga de trabalho para ajustar os tamanhos máximos de reserva ou ativar recursos avançados de escalonamento.
    • Ver a performance do job no Job Explorer: abre a guia de detalhes de performance do job específico.
    • Comparar a performance de jobs no Explorador de jobs: compare a performance de dois jobs lado a lado.

Preços

O Jobs Explorer está disponível sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas do usuário. As consultas que processam muitos dados expiram.

A seguir