Monitorar jobs

Como administrador do BigQuery, é possível monitorar jobs em toda a organização usando uma análise de jobs administrativos no console do Google Cloud . O explorador de jobs oferece opções de filtros e classificação para identificar, comparar e solucionar problemas de jobs. Não é necessário escrever consultas INFORMATION_SCHEMA para ver detalhes do job, como proprietário, projeto, uso de slots, duração e muito mais.

Para monitorar a capacidade, os compromissos de slot e a utilização de reservas de longo prazo em toda a organização, consulte Monitorar a integridade e a utilização de recursos.

Com o explorador de jobs, é possível:

  • Filtrar e identificar jobs. Pesquise consultas específicas na sua organização aplicando filtros com base em critérios como status do job, duração, proprietário ou uso de slots.
  • Analisar as métricas da linha do tempo. Acompanhe as tendências de execução de jobs e a simultaneidade ao longo do tempo com o gráfico de métricas.
  • Agregue jobs por recurso. Agrupe jobs por proprietário, projeto ou reserva para visualizar estatísticas resumidas e detalhar tabelas filtradas.
  • Resolver problemas de jobs. Selecione jobs individuais para ver os gráficos de execução de consulta, o texto SQL e o histórico de execução na página Detalhes do job (pré-lançamento).
  • Compare a performance. Compare jobs (pré-lançamento) para destacar diferenças significativas de métricas e resolver possíveis problemas de desempenho.
  • Receba assistência de IA. Use o Gemini Code Assist diretamente no explorador de jobs (pré-lançamento) para analisar estatísticas de jobs ou explicar consultas lentas.

O BigQuery fornece os detalhes e insights de jobs das seguintes visualizações INFORMATION_SCHEMA:

Antes de começar

Para usar o Gemini Code Assist para resolver problemas de jobs no BigQuery (pré-lançamento), consulte Configurar o Gemini Code Assist para ativar a API e conceder os papéis necessários.

Funções exigidas

Para receber as permissões necessárias para usar o explorador de jobs para monitorar jobs, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar o explorador de jobs para monitorar jobs. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar o explorador de jobs para monitorar jobs:

  • Ver jobs no nível do projeto: bigquery.jobs.listAll no projeto
  • Ver jobs no nível da organização: bigquery.jobs.listAll na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para usar o Gemini Code Assist na solução de problemas de jobs, consulte outros requisitos do IAM para usar o Gemini Code Assist.

Filtrar jobs

Para filtrar jobs para consultas contidas nas visualizações INFORMATION_SCHEMA.JOBS*, faça o seguinte:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No menu de navegação, clique em Análise de jobs.

  3. Na página Explorador de jobs, no campo Local, selecione o local em que você quer visualizar os jobs.

  4. No painel Filtros, aplique filtros opcionais, conforme necessário. Se esse painel não estiver visível, clique em insert_chart Mostrar filtros.

    Os seguintes filtros estão disponíveis:

    • Escopo do job: filtra os jobs pelo nível de visibilidade, por exemplo, o projeto atual, a organização e seus jobs. É possível visualizar jobs do projeto atual, de toda a organização ou apenas os jobs que você iniciou.
    • Visualização de gráfico:
      • Jobs concluídos: exibe dados da linha do tempo para consultas concluídas, distinguindo entre jobs concluídos com sucesso e jobs que apresentaram erro.
      • Simultaneidade: exibe dados da linha do tempo para simultaneidade de consultas, distinguindo entre jobs ativos e jobs em fila.
    • Agrupar por: agrupa os jobs exibidos por um recurso específico, como proprietário, projeto ou reserva. Para mais informações, consulte Agrupar jobs por recurso.
    • Status: filtra os jobs pelo estado de execução atual, por exemplo, concluído, erro, ativo e na fila. As contagens de resumo aparecem diretamente ao lado de cada opção de filtro de status facetado para indicar o número de jobs nesse estado.
    • ID do projeto: filtra jobs que foram executados em um projeto específico.
    • ID da reserva: filtra jobs que usaram slots de uma reserva específica. Isso ajuda a monitorar como diferentes cargas de trabalho estão consumindo a capacidade reservada.
    • Proprietário: filtra os jobs pelo endereço de e-mail do usuário ou da conta de serviço que iniciou o job.
    • código da tarefa: filtra uma tarefa específica pelo identificador alfanumérico exclusivo.
    • Hash de consulta: filtra jobs com um hash de consulta específico. Um hash de consulta identifica a lógica de uma consulta, ignorando diferenças em comentários, valores de parâmetros, UDFs e literais, o que ajuda a encontrar todas as execuções da mesma lógica de consulta. Esse campo aparece para consultas bem-sucedidas do GoogleSQL que não são ocorrências em cache.
    • Rótulos: filtra jobs com base em rótulos de metadados personalizados que você ou sua organização anexaram a eles. Isso permite categorizar e rastrear jobs por departamento ou aplicativo.
    • Query insights: filtra jobs que o BigQuery identificou como tendo problemas de desempenho específicos, como contenção de slots, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
    • Tempo de slot maior que: filtra jobs que consumiram mais do que uma quantidade especificada de milissegundos de slot. Essa é uma métrica importante para identificar consultas que consomem muitos recursos.
    • Duração superior a: filtra os jobs que levaram mais tempo do que o especificado para serem concluídos. Use isso para encontrar consultas que estão sendo executadas mais lentamente do que o esperado.
    • Bytes processados acima de: filtra jobs que verificaram mais do que uma quantidade especificada de dados. Isso ajuda a identificar consultas que podem estar contribuindo para os altos custos de processamento de dados.
    • Categoria do job: filtra os jobs pelo tipo de operação realizada, como consultas SQL padrão ou consultas contínuas usadas para processamento de dados em tempo real.
    • Motivo da criação do job: filtra os jobs com base no motivo pelo qual o BigQuery os criou, como quando uma consulta excede um tempo limite ou produz resultados grandes demais para uma única resposta.
    • Prioridade do job: filtra os jobs pela prioridade de execução, como jobs interativos ou em lote.

Ver métricas da linha do tempo do job

O buscador de jobs inclui um gráfico de métricas interativo que mostra dados da linha do tempo para as consultas que correspondem aos critérios de filtro. Use esse gráfico para avaliar padrões de carga de trabalho e identificar aumentos repentinos em jobs concluídos, ativos ou em fila. Para tendências de simultaneidade histórica em toda a organização em períodos mais longos, consulte Gráficos de linha do tempo de métricas.

Para configurar o gráfico de métricas no explorador de jobs, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Acesse o painel Filtros. Se esse painel não estiver visível, clique em insert_chart Mostrar filtros.

  3. Selecione a métrica que você quer mostrar no gráfico:

    • Jobs concluídos: exibe dados da linha do tempo para consultas concluídas, distinguindo entre jobs concluídos com sucesso e jobs que apresentaram erro.
    • Simultaneidade: exibe dados da linha do tempo para simultaneidade de consultas, distinguindo entre jobs ativos e jobs em fila.

Agrupar jobs por recurso

Para agregar estatísticas de jobs e comparar o consumo na sua organização, é possível agrupar jobs por proprietário, projeto ou reserva em vez de visualizar jobs individuais em uma tabela não agregada.

Para agrupar jobs, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Acesse o painel Filtros. Se esse painel não estiver visível, clique em insert_chart Mostrar filtros.

  3. Clique em Agrupar por e selecione uma das seguintes opções:

    • Nenhum (padrão): mostra a tabela não agregada de jobs individuais.
    • Proprietário: agrupa os jobs pelo endereço de e-mail do usuário ou da conta de serviço que executou o job.
    • Projeto: agrupa jobs por ID do projeto.
    • Reserva: agrupa jobs por ID de reserva.

Quando você define Agrupar por como Proprietário, Projeto ou Reserva, o BigQuery exibe uma visualização agregada com painéis de resumo para cada recurso. Cada painel mostra as seguintes estatísticas de resumo:

  • Jobs ativos: o número de jobs em execução.
  • Jobs na fila: o número de jobs aguardando na fila de consultas.
  • Jobs com erro: o número de jobs que não foram concluídos.
  • Jobs concluídos: o número de jobs concluídos com sucesso.
  • Tempo de slot: o total de milissegundos de slot consumidos por jobs para esse recurso.
  • Bytes processados: o volume total de dados verificados por jobs para esse recurso.

Para inspecionar os jobs individuais associados a um recurso específico, clique no painel desse recurso para expandi-lo e exibir uma tabela filtrada dos jobs.

Resolver problemas de desempenho do job

Para diagnosticar e resolver problemas de consultas, confira as métricas de execução, o texto SQL e as variações de histórico de performance na página Detalhes do job.

Ver detalhes do job

Para ver os detalhes de um job e analisar a execução da consulta, faça o seguinte:

  1. Acesse a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs exibidos, filtre os jobs.

  3. Clique no ID do job que você quer investigar. Para consultas que não criam um job, o ID da consulta aparece e o link é desativado. Ao clicar em um ID da tarefa válido, a página Detalhes do job é aberta com a guia Desempenho exibida por padrão.

Informações de consulta disponíveis

Para ajudar a diagnosticar o desempenho da consulta, a guia Desempenho nos detalhes do job compila as seguintes informações e métricas, quando aplicável:

  • Detalhes do job: informações sobre o job, incluindo o ID da tarefa, o horário de criação, os bytes processados e o uso de slots. Para mais informações, consulte Ver detalhes do job.
  • Histórico de execução: uma lista de execuções históricas da consulta, agrupadas por hash de consulta. Selecione um job nessa lista para comparar diretamente com o job atual. Para mais informações, consulte Comparar jobs.

  • Gráfico de execução: uma representação visual dos estágios de execução da consulta. Abra a seção Gráfico de execução para inspecionar a contenção de slots, a capacidade de embaralhamento e a escala de entrada de dados. Para mais informações, acesse Receber insights de desempenho de consulta.

    O exemplo a seguir mostra um gráfico de execução com o mapeamento de texto SQL ativado:

    Gráfico de execução para jobs.

  • Carga do sistema durante a execução: um resumo dos recursos de computação e das configurações de reserva alocados durante a execução do job.

Diagnosticar regressões de desempenho comparando jobs e sistemas

A ferramenta de comparação de desempenho permite analisar as diferenças de desempenho entre dois jobs de consulta ou entre dois intervalos do sistema. A análise mostra detalhes da consulta, mudanças na utilização de recursos e configurações do ambiente do sistema que diferem significativamente entre os ambientes de referência e de destino.

Entender a análise de comparação

A ferramenta de comparação avalia o desempenho em métricas no nível da consulta e fatores no nível do sistema. Ative a opção Mostrar apenas diferenças significativas para limitar a visualização às métricas com uma variação maior que 20%.

As diferenças significativas são codificadas por cores para ajudar você a identificar problemas:

  • Verde: a métrica melhorou (por exemplo, uma duração de consulta mais curta na execução de destino).
  • Amarelo: a métrica foi degradada em menos de 20%.
  • Vermelho: a métrica caiu mais de 20%.

Comparar dois jobs

Para comparar um job de referência com uma execução de job de destino, faça o seguinte:

  1. Abra a página Explorador de jobs.

    Acessar o Explorador de jobs

  2. Opcional: para restringir os jobs exibidos, filtre os jobs.

  3. Clique no ID da tarefa de referência para abrir a página Detalhes do job e selecione a guia Desempenho.

  4. No menu Ações, clique em Comparar job.

  5. No campo Job um (job de referência), clique em Procurar para abrir o painel Jobs comparáveis semelhantes.

  6. Selecione o job de destino que você quer comparar com o valor de referência e clique em Comparar.

  7. Opcional: para se concentrar nas principais regressões de desempenho, ative Mostrar apenas diferenças significativas. Isso limita a visualização às métricas com uma variação maior que 20%.

Para mudar os jobs que estão sendo comparados a qualquer momento, clique em Procurar nos campos de job de referência ou de destino e selecione um novo job na lista de jobs comparáveis.

Análise no nível da consulta

Depois de comparar dois jobs, você pode acessar a seção Análise no nível da consulta, que compara duas execuções de jobs em três guias:

  • Métricas: compara as principais métricas de consulta, como duração do job, tempo de slot, bytes processados e aceleradores não utilizados.
  • Texto SQL: exibe as instruções SQL para os dois jobs e destaca as diferenças de texto.
  • Gráfico de execução: compara os gráficos de execução de ambos os jobs etapa por etapa para identificar onde ocorreram gargalos.

Comparar dois intervalos do sistema

Administradores e analistas podem analisar métricas de ambiente mais amplas executando uma comparação de desempenho do sistema. Essa ferramenta permite comparar intervalos históricos em reservas e projetos específicos para entender as mudanças de utilização e isolar se a degradação de desempenho se originou interna ou externamente à carga de trabalho.

Para acessar a visualização de comparação de desempenho do sistema, siga um destes procedimentos:

  • Na página Detalhes do job, depois de comparar dois jobs, clique em Ver mais na seção Saídas no nível do sistema para conferir os detalhes da comparação do sistema.
  • Se você usar o Gemini Cloud Assist para realizar uma comparação de sistemas, ele vai gerar um link que abre os resultados da comparação.

Para realizar uma comparação no nível do sistema em períodos separados, faça o seguinte:

  1. Na visualização Comparação de desempenho do sistema, clique em Sistema.
  2. Selecione o sistema em que você quer analisar o desempenho clicando em Procurar e selecionando um escopo de reserva ou projeto.
  3. Defina os períodos de comparação:
    • Intervalo de destino: selecione a janela de data e hora do período com problemas de desempenho e clique em Aplicar.
    • Intervalo de referência: selecione a data e a janela de tempo de referência para servir como comparativo de mercado de desempenho e clique em Aplicar.

Análise no nível do sistema

Depois de comparar os intervalos, a visualização mapeia as mudanças de utilização, as variações de simultaneidade e as diferenças de configuração no ambiente selecionado em relação ao grupo pai. Isso ajuda a determinar se a contenção de slots ou as regressões de configuração estão afetando sua carga de trabalho. Os dados são gerados em três blocos:

  • Projeto: compara a simultaneidade de jobs, a simultaneidade em fila e o uso total de slots no nível do projeto.
  • Reserva: compara a utilização da reserva, o compartilhamento de slots inativos e a simultaneidade do projeto em reservas compartilhadas.
  • Análise de configuração: compara as configurações de Workload Manager entre as duas execuções, como limites máximos de tamanho de reserva e regras de empréstimo de slots inativos.

Usar insights de solução de problemas de performance agêntica

Para enviar feedback ou solicitar suporte para esse recurso, envie um e-mail para bq-performance-troubleshooting+feedback@google.com.

Ao monitorar tarefas de administração ou avaliar comparações de desempenho, o BigQuery integra diagnósticos de observabilidade subjacentes ao Gemini Cloud Assist para transformar o painel de chat em um assistente ativo de solução de problemas enquanto você resolve anomalias no nível do job e do sistema.

Os insights têm controle de acesso. Sem as permissões suficientes, os insights recebidos podem ser limitados. Para mais informações sobre permissões, consulte Controlar o acesso a recursos com o IAM.

Resolver problemas de desempenho no chat

Para inicializar a solução de problemas com reconhecimento de contexto e agir com base nos insights de desempenho, faça o seguinte:

  1. Para abrir o painel de conversa do Gemini Cloud Assist e carregar automaticamente o contexto relevante do job ou do sistema, faça o seguinte:
    • Nas páginas Explorador de jobs ou Histórico de jobs, passe o cursor sobre um job e clique em astrophotography_mode Gemini na linha da tabela.
    • Na página Gerenciamento de cargas de trabalho, passe o cursor sobre uma reserva e clique em astrophotography_mode Gemini na linha da tabela.
    • No Studio, no Monitoring ou no Análise de jobs, clique em astrophotography_mode Gemini.
  2. Envie um comando em linguagem natural. Por exemplo, peça ao Gemini para explicar por que um job está lento, analisar estatísticas de jobs específicos, analisar o desempenho de reservas específicas, resolver problemas de desempenho do sistema ou comparar variações de desempenho entre dois jobs históricos semelhantes.
  3. Se um limite no nível da organização ou da reserva for violado, como uma fila de slots grave devido a um aumento inesperado na simultaneidade de projetos ativos, analise o relatório de insights de desempenho gerado. Este relatório detalha gargalos críticos, como os seguintes:
    • Aumento da simultaneidade em fila: picos nas demandas de consulta simultâneas que excedem os limites de simultaneidade flexíveis ou as alocações de slots de reserva.
    • Aumento da simultaneidade do projeto: rastreamento dos projetos exatos de alta simultaneidade ou das principais contas de usuário que impulsionam a carga do sistema em reservas compartilhadas ou cotas sob demanda.
  4. Observe a tabela Comparação de métricas principais para rastrear diferenças numéricas precisas, como mudanças na simultaneidade média do projeto, slots de fila ou limites máximos de slots de reserva.

  5. Execute soluções inline diretamente usando links de transferência acionáveis gerados pelo Gemini Cloud Assist. Esses atalhos redirecionam você para ferramentas específicas no produto com contexto pré-preenchido para responder às suas perguntas e resolver problemas:

    • Editar reserva: abre o painel lateral do Workload Manager para ajustar os tamanhos máximos de reserva ou ativar recursos de escalonamento avançados.
    • Ver o desempenho do job no Explorador de jobs: abre a guia de detalhes de desempenho do job específico.
    • Comparar o desempenho de jobs no Explorador de jobs: compare o desempenho de dois jobs lado a lado.

Preços

A análise de jobs está disponível sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas de usuários. As consultas que processam muitos dados expiram.

A seguir