Usar o explorador de jobs administrativos

Como administrador do BigQuery, você pode usar a Análise de jobs administrativos para monitorar a atividade de jobs na sua organização. O explorador de jobs também oferece uma variedade de opções de filtros e classificação para solucionar problemas e identificar jobs problemáticos. Com o explorador de jobs, você não precisa mais ter um conhecimento profundo de INFORMATION_SCHEMA e visualiza rapidamente informações do job, como proprietário, projeto, uso de slot, duração, entre outras, sem a necessidade de criar consultas de INFORMATION_SCHEMA.

Também é possível selecionar jobs individuais para abrir a página de detalhes do job, que fornece detalhes da consulta, como gráficos de execução, texto SQL e histórico de execução, para ajudar você a diagnosticar e resolver problemas de consultas. Nessa página, é possível comparar dois jobs para destacar diferenças significativas entre eles e resolver possíveis problemas de performance.

O BigQuery fornece detalhes e insights de jobs pelas seguintes visualizações INFORMATION_SCHEMA:

• INFORMATION_SCHEMA.JOBS_BY_PROJECT
• INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
• INFORMATION_SCHEMA.JOBS_BY_USER

Observação: se você usa restrições para organizações, consulte Ativar o acesso a recursos do Google.

Funções exigidas

Para receber as permissões necessárias para usar o Explorador de jobs administrativos, peça ao administrador para conceder a você o papel do IAM de Leitor de recursos do BigQuery (roles/bigquery.resourceViewer) na organização ou no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para usar o explorador de jobs administrativos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar o explorador de jobs administrativos:

• Para conferir dados no nível do projeto: bigquery.jobs.listAll no projeto
• Para ver os dados no nível da organização: bigquery.jobs.listAll na organização
• Para filtrar por reservas na sua organização: bigquery.reservations.list na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Observação: essa visualização orgânica só estará disponível se você tiver definido as organizações do Google Cloud .

Filtrar jobs

Para filtrar jobs para consultas contidas nas visualizações INFORMATION_SCHEMA.JOBS*, faça o seguinte:

1. No console do Google Cloud , acesse a página BigQuery.

   Acessar o BigQuery

2. No menu de navegação, clique em Explorador de jobs.

3. Na lista Local, selecione o local onde você quer visualizar os jobs.

4. Aplique Filtros opcionais conforme necessário:

   • Escopo do job. Como o projeto atual, a organização e seus jobs.
   • Status. como "Concluído", "Erro", "Ativo" e "Na fila".
   • Prioridade de job. como jobs interativos ou em lote.
   • ID do job.
   • Proprietário. ID de e-mail do proprietário do trabalho (aplicável apenas quando o escopo do trabalho é projeto ou organização).
   • ID do projeto. (Aplicável apenas quando o escopo do trabalho é organização)
   • ID da reserva. (Aplicável apenas quando o escopo do trabalho é organização)
   • Tempo do slot maior que. Os jobs que levaram mais tempo do que o horário de slot especificado.
   • Duração superior a. Jobs que levaram mais tempo do que a duração especificada.
   • Bytes processados acima de. Jobs que processaram mais bytes do que os bytes processados especificados.
   • Query Insights. Tipos de insights de consulta, como contenção de slot, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
   • Hash de consulta. O hash de consulta contém os hashes da consulta. É um hash STRING hexadecimal que ignora comentários, valores de parâmetros, UDFs e literais. Esse campo aparece para consultas bem-sucedidas do GoogleSQL que não são ocorrências em cache.
   • Rótulos. Pares de key:value que podem ser atribuídos a um job. É possível filtrar usando uma chave, um valor ou uma combinação de key:value.
   • Categoria de trabalho. O tipo de consulta, como Padrão ou Consulta contínua.

Mais detalhes da execução da consulta

Para visualizar os detalhes da execução da consulta dos jobs, faça o seguinte:

1. Acesse a página Explorador de jobs.

   Acessar o Explorador de jobs

2. Para ver os jobs, clique em Análise de jobs.

3. Filtrar jobs para conferir os jobs limitados.

4. Clique em um job para o qual você quer ver os detalhes da execução da consulta.

5. No painel Resultados da consulta, clique na guia Gráfico de execução para conferir os detalhes da execução do job.

   

Para informações sobre como interpretar insights, consulte Interpretar insights de desempenho de consultas.

Receber detalhes do job do BigQuery

Pré-lançamento

Este produto ou recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis no estado em que se encontram e podem ter assistência limitada. Para mais informações, consulte as descrições das fases de lançamento.

Para solicitar feedback ou suporte para esse recurso, envie um e-mail para [e-mail].

Na Análise de jobs administrativos, é possível acessar a página de detalhes do BigQuery. A página de detalhes do job do BigQuery combina vários detalhes de consulta em uma página para ajudar no diagnóstico e na solução de problemas. A guia Performance compila informações de consulta, incluindo o gráfico de execução, o texto SQL e o histórico de execução.

A guia Performance também oferece suporte à comparação de consultas, permitindo que você compare seu uso histórico da consulta e analise e resolva qualquer possível degradação de performance. Para mais informações sobre a comparação de jobs, consulte Comparar jobs.

Antes de começar

Para receber as permissões necessárias para trabalhar com detalhes de jobs do BigQuery e detalhes no nível do sistema, peça ao administrador para conceder a você os seguintes papéis do IAM na sua organização ou projeto:

• Ver detalhes do job: Leitor de recursos do BigQuery (roles/bigquery.resourceViewer): o projeto em que as consultas foram executadas
• Ver detalhes no nível do sistema: Leitor de recursos do BigQuery (roles/bigquery.resourceViewer): o projeto de administração

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para trabalhar com detalhes de jobs do BigQuery e detalhes no nível do sistema. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para trabalhar com detalhes de jobs e do sistema do BigQuery:

• Para conferir dados no nível do projeto: bigquery.jobs.listAll no projeto
• Para ver os dados no nível da organização: bigquery.jobs.listAll na organização
• Para filtrar por reservas na sua organização: bigquery.reservations.list na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Mais detalhes do job

Para acessar a página de detalhes do job, faça o seguinte:

1. Acesse a página Explorador de jobs.

   Acessar o Explorador de jobs

2. Opcional: filtre os jobs para restringir as opções disponíveis.

3. Clique no ID do job que você quer conferir. Para consultas que não criam um job, o ID da consulta aparece e o link fica desativado. Para todas as outras consultas, clicar no ID do job mostra a página Detalhes do job.

A guia Performance é exibida por padrão. Navegue até as outras guias para ver mais informações sobre o job.

Informações de consulta disponíveis

A lista a seguir descreve as informações e métricas disponíveis na guia Performance.

• Consulta SQL: o texto da consulta SQL que criou o job.

• Detalhes do job: as informações sobre o job, incluindo ID, hora de criação, bytes processados e muito mais. Para mais informações, consulte Ver detalhes do job.

• Variância de desempenho: informações sobre o desempenho do job em comparação com uma execução anterior da mesma consulta. O BigQuery compara o job atual com uma execução anterior com bytes processados semelhantes (+/- 5%) e a menor duração de job, se houver. Se não houver uma execução anterior, o BigQuery vai comparar o job atual com a média das execuções anteriores nos últimos 30 dias. Se não houver execuções anteriores, essa seção vai indicar que nenhum job semelhante foi encontrado para comparação.

• Histórico de execução: uma lista de outras execuções dessa consulta por hash de consulta. Nele, você pode selecionar um job para comparar com o que está visualizando. Para mais informações sobre como comparar jobs, consulte Comparar jobs.

• Carga do sistema durante a execução: uma descrição dos recursos que o BigQuery usou para executar o job. Isso inclui informações sobre as configurações de reserva usadas por esse job, se aplicável.

• Gráfico de execução: o gráfico de execução deste job. Para mais informações, consulte Receber insights de desempenho de consulta.

Comparar jobs

Pré-lançamento

Este produto ou recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis no estado em que se encontram e podem ter assistência limitada. Para mais informações, consulte as descrições das fases de lançamento.

Para solicitar feedback ou suporte para esse recurso, envie um e-mail para [e-mail].

Com a comparação de desempenho, você pode comparar seu job de base com jobs segmentados, e a análise de consulta destaca detalhes que diferem significativamente entre os dois. Isso ajuda a resolver possíveis problemas de performance entre dois jobs de consulta.

Detalhes importantes a serem considerados para otimizar suas consultas ao comparar duas consultas incluem duração do job, tempo de slot e bytes processados.

Antes de começar

Para receber as permissões necessárias para trabalhar com detalhes de jobs do BigQuery e detalhes no nível do sistema, peça ao administrador para conceder a você os seguintes papéis do IAM na sua organização ou projeto:

• Ver detalhes do job: Leitor de recursos do BigQuery (roles/bigquery.resourceViewer): o projeto em que as consultas foram executadas
• Ver detalhes no nível do sistema: Leitor de recursos do BigQuery (roles/bigquery.resourceViewer): o projeto de administração

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para trabalhar com detalhes de jobs do BigQuery e detalhes no nível do sistema. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para trabalhar com detalhes de jobs e do sistema do BigQuery:

• Para conferir dados no nível do projeto: bigquery.jobs.listAll no projeto
• Para ver os dados no nível da organização: bigquery.jobs.listAll na organização
• Para filtrar por reservas na sua organização: bigquery.reservations.list na organização

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Entender a comparação de desempenho do job

As seções a seguir descrevem a página Comparação de performance do job e as informações de solução de problemas que ela oferece.

Ative o botão Mostrar apenas diferenças significativas para ver apenas as diferenças significativas entre os dois trabalhos em todas as métricas incluídas nesta página.

As diferenças significativas são destacadas em verde, amarelo e vermelho:

• Verde: a mudança é positiva. Por exemplo, como uma duração de consulta menor é melhor, se o job de destino for executado mais rápido do que o job de comparativo, ele será marcado como verde.
• Amarelo: a mudança é negativa, mas a diferença é menor que 20%.
• Vermelho: a mudança é negativa, e a diferença é maior que 20%.

Análise no nível da consulta

O painel Análise no nível da consulta descreve as diferenças entre os dois jobs no nível da consulta. Ele contém três guias: Métricas, Texto SQL e Gráfico de execução.

• A guia Métricas descreve as métricas de consulta dos dois jobs. Use essa guia para determinar se há discrepâncias entre a duração do job, os aceleradores não utilizados e outras métricas.

• A guia Texto SQL mostra as duas instruções SQL que criaram os jobs e destaca as diferenças entre elas. Use essa guia para determinar se as mudanças nas instruções SQL afetaram o desempenho do job.

• A guia Gráfico de execução compara os gráficos de execução dos dois jobs. Use essa guia para determinar se houve discrepâncias em alguma etapa durante a execução dos jobs.

Análise no nível do sistema

O painel Análise no nível do sistema descreve os fatores que podem afetar os dois jobs no nível do sistema. Ela consiste em três seções: as tabelas Projeto, Reserva e Configurações.

O painel Análise no nível do sistema pode sugerir áreas de melhoria com base nas diferenças entre as duas consultas.

Por exemplo, se um job recebeu menos slots do que execuções anteriores, ele pode ter sido afetado por restrições de recursos no sistema. Se isso for indicado, verifique as métricas no nível do projeto para saber se ele recebeu menos slots como um todo. Se o projeto não recebeu menos slots, provavelmente houve contenção no nível do projeto, como um aumento na simultaneidade de jobs. Se o projeto recebeu menos slots, verifique o nível da reserva para identificar restrições.

• A tabela Projeto compara os dois jobs no nível do projeto. Use esta tabela para determinar se é possível fazer alguma otimização no nível do projeto.

• A tabela Reservation compara os dois jobs no nível da reserva. Use esta tabela para identificar diferenças no uso da reserva entre as duas consultas que podem afetar o desempenho do trabalho.

• A tabela Configurações compara as configurações de reserva entre os dois jobs. Use esta tabela para detectar mudanças nas configurações de reserva que possam ter causado um impacto na performance.

Comparar dois jobs

Para comparar dois jobs:

1. Acesse a página Explorador de jobs.

   Acessar o Explorador de jobs

2. Opcional: filtre os jobs para restringir as opções disponíveis.

3. Clique no ID do job inicial que você quer conferir e comparar. A página Detalhes do job é exibida.

4. Clique na guia Performance.

5. Clique em Comparar job.

6. No campo Job 1 (job de comparativo), clique em Procurar. O painel Jobs semelhantes e comparáveis aparece.

7. Identifique o job que você quer comparar com o de referência e clique em Comparar. A comparação de desempenho do job aparece.

8. Para ver apenas as diferenças significativas entre os dois trabalhos, ative o botão Mostrar apenas diferenças significativas.

Mudar os jobs que estão sendo comparados

Para mudar os jobs que estão sendo comparados:

1. Acesse a página Comparação de desempenho do job.

2. No campo Job 1 (job de comparativo), clique em Procurar.

3. No painel Jobs semelhantes e comparáveis, identifique o job que você quer comparar e clique em Comparar.

Preços

O Jobs Explorer está disponível sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas de usuários. As consultas que processam muitos dados expiram.

A seguir

• Saiba mais sobre reservas.
• Saiba mais sobre a compra de slots.
• Saiba como estimar os requisitos de capacidade de slot.
• Saiba como visualizar insights e recomendações de slot.