Criar painéis, gráficos e alertas

Este documento descreve como criar gráficos e alertas para monitorar recursos do BigQuery usando o Cloud Monitoring.

Antes de começar

Antes de usar o Cloud Monitoring, verifique se você tem:

• Uma conta do Cloud Billing.
• Um projeto do BigQuery com faturamento ativado

Ver e criar painéis, gráficos e alertas

Ver o painel do Cloud Monitoring

Se você quiser usar o Cloud Monitoring para monitorar seu projeto do BigQuery, faça o seguinte:

1. No console do Google Cloud , acesse a página Monitoring.

   Acessar Monitoring

2. Selecione o nome do seu projeto (se ele ainda não estiver selecionado) na parte superior da página.

3. Para visualizar os recursos do BigQuery, selecione Painéis > BigQuery. Na página, é possível ver uma lista de tabelas, eventos, e relatórios de incidentes que o usuário pode configurar, além de gráficos de métricas do projeto ou do conjunto de dados:

   

Visualizar slots disponíveis e slots alocados

Para visualizar os slots disponíveis e os alocados para seu projeto, acesse o painel do BigQuery descrito em Como visualizar o painel do Cloud Monitoring:

1. No console do Google Cloud , acesse a página Monitoring.

   Acessar Monitoring

2. Selecione Painéis > BigQuery.

3. No painel do Cloud Monitoring para BigQuery, role até o gráfico chamado Utilização de slots.

O gráfico Utilização de slots é exibido no painel principal padrão do Cloud Monitoring e no painel do Cloud Monitoring para BigQuery.

Crie um painel e um gráfico

Exiba as métricas coletadas pelo Cloud Monitoring nos seus próprios gráficos e painéis:

1. No console do Google Cloud , acesse a página Monitoring.

   Acessar Monitoring

2. Selecione Painéis > Criar painel.

3. Clique em Adicionar gráfico. Você verá a página Adicionar gráfico:

   

4. Nos campos do painel Localizar tipo de recurso e métrica:

   • Na lista suspensa Tipo de recurso, selecione Global. Talvez seja necessário expandir a lista de Tipos de recurso, para que a opção Global fique visível.
   • Na lista suspensa Métrica, selecione Tempo de execução de consulta.

5. Os campos do painel Agregação controlam como os dados do tempo de execução são exibidos. É possível modificar as configurações padrão desses campos.

6. Clique em Salvar.

Ver uso e limites de cotas

No Cloud Monitoring, é possível visualizar métricas de uso e limites de cotas:

1. No console do Google Cloud , acesse a página Monitoring.

   Acessar Monitoring

2. No painel de navegação, selecione Metrics explorer.

3. Na barra de ferramentas, selecione Explorer > Configuração.

4. Na seção Recurso e métrica, clique em Selecionar uma métrica.

5. Selecione Cota do consumidor > Cota > Limite de cota e clique em Aplicar.

6. Clique em Adicionar filtro e, no menu Rótulo, selecione limit_name.

7. No menu Valor, selecione a cota cujas métricas você quer visualizar.

   

Observação: você pode ver métricas de uso e limites de cotas apenas para as conexões simultâneas e cotas de capacidade de processamento da API de gravação de armazenamento do BigQuery (gRPC).

Criar um alerta

Para criar uma política de alertas que seja acionada quando o 99º percentil do ambiente de execução de uma consulta BigQuery exceder um limite definido pelo usuário, use as configurações abaixo.

Etapas para criar uma política de alertas.

Para criar uma política de alertas, siga estas etapas:

1. No console do Google Cloud , acesse a página  Alertas:

   Acessar Alertas

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Se você ainda não criou canais de notificação e desejar recebê-las, clique em Editar canais de notificação e adicione seus canais. Retorne para a página Alertas depois de adicionar seus canais.
3. Na página Alertas, clique em Criar política.
4. Para selecionar o recurso, a métrica e os filtros, expanda o menu Selecionar uma métrica e use os valores na tabela Nova condição:
   1. (Opcional) Para limitar o menu a entradas relevantes, insira o nome do recurso ou da métrica na barra de filtro.
   2. Selecione um Tipo de recurso. Por exemplo, selecione Instância de VM.
   3. Selecione uma Categoria de métrica. Por exemplo, selecione instância.
   4. Selecione uma Métrica. Por exemplo, selecione CPU Utilization.
   5. Selecione Apply.
5. Clique em Avançar e configure o acionador da política de alertas. Para preencher esses campos, use os valores na tabela Configurar gatilho de alerta.
6. Clique em Próxima.

7. Opcional: para adicionar notificações à política de alertas, clique em Canais de notificação. Na caixa de diálogo, selecione um ou mais canais de notificação no menu e clique em OK.

   Para receber uma notificação quando os alertas forem abertos ou fechados, marque Notificar sobre o fechamento de alertas. Por padrão, as notificações são enviadas apenas quando alertas são abertos.

8. Opcional: atualize a Duração do fechamento automático de alertas. Este campo determina quando o Monitoring fecha alertas na ausência de dados de métrica.
9. Opcional: clique em Documentação e adicione as informações que você deseja incluir em uma mensagem de notificação.
10. Clique em Nome do alerta e insira um nome para a política de alertas.
11. Clique em Criar política.

Novo estado Campo	Valor
Recurso e métrica	No menu Recursos, selecione Projeto do BigQuery. No menu Categorias de métrica, selecione Consulta. No menu Métricas, selecione Tempos de execução da consulta.
Filtrar
Séries cruzadas Série temporal agrupada por	priority
Várias séries Agregação de série temporal	99th percentile
Janela contínua	5 m
Função de janela contínua	sum

Campo Configurar gatilho de alerta	Valor
Tipo de condição	Threshold
Acionador de alerta	Any time series violates
Posição do limite	Above threshold
Valor do limite	Você determina esse valor. No entanto, recomendamos um limite de 60 segundos.
Teste a janela novamente	most recent value

Para criar uma política de alertas que seja acionada quando o total de bytes verificados faturados para um projeto do BigQuery exceder um limite definido pelo usuário, use a configuração de política de alertas abaixo.

Novo estado Campo	Valor
Recurso e métrica	No menu Recursos, selecione Projeto do BigQuery. No menu Categorias de métrica, selecione Consulta. No menu Métricas, selecione Bytes verificados da instrução faturados.
Filtrar	(Nenhum filtro é necessário para um alerta em todo o projeto)
Séries cruzadas Série temporal agrupada por	(Deixe em branco para agregar todas as séries)
Várias séries Agregação de série temporal	sum
Janela contínua	5 m
Função de janela contínua	sum

Campo Configurar gatilho de alerta	Valor
Tipo de condição	Threshold
Acionador de alerta	Any time series violates
Posição do limite	Above threshold
Valor do limite	Você determina esse valor. Por exemplo, para acionar um alerta quando o uso exceder 1 TiB, insira 1000000000000.

Enquanto a política de alertas monitora o total de bytes verificados, é possível definir um limite com base em um orçamento específico. Para implementar essa política de alertas com base no orçamento, primeiro é necessário converter o limite de custo desejado no número equivalente de bytes. A fórmula depende dos preços de computação sob demanda do BigQuery. Para mais informações, consulte Preços de computação sob demanda.

Use a seguinte fórmula para converter o limite de custo em bytes:

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

Exemplo: acionar um alerta quando o uso exceder US $100

Digamos que você queira receber um alerta quando os custos de consulta do seu projeto excederem US$ 100.

1. Calcule o volume de dados equivalente em TiB:
   $100 / (price per TiB) = Equivalent Data Volume in TiB
2. Converter o volume de dados em bytes:
   (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
3. Defina o valor do limite:
   Na seção Configurar gatilho de alerta da política, insira o "Valor do limite em bytes" como o Valor do limite.

Agora, a política de alertas é acionada quando o total de bytes verificados faturados na janela contínua corresponde a aproximadamente US$ 100 em custos de consulta on demand.

Métricas disponíveis para visualização

As seguintes métricas estão disponíveis, com atraso que pode chegar a várias horas.

Tipo de recurso	Nome	Unidades	Descrição
BigQuery	Scanned bytes	Bytes por minuto	Número de bytes verificados.
BigQuery	Scanned bytes billed	Bytes por minuto	Número de bytes enviados para faturamento ao usar o modelo de análise sob demanda. Os bytes verificados e os bytes verificados podem ser diferentes, porque as cobranças são arredondadas para cima, com uma quantidade mínima de dados processados por consulta.
BigQuery	BI Engine Query Fallback Count (Preview)	Consultas	A quantidade de consultas que não usaram o BI Engine como uma taxa. Defina a opção Agrupar por como reason para separar a contagem em diferentes motivos de fallback, incluindo o seguinte: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	Consultas	Consultas em trânsito.
BigQuery	Query execution count (Preview)	Consultas	O número de consultas executadas.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Segundos	Tempos de execução de consulta não armazenados em cache.
BigQuery	Slots used by project	Slots	Número de slots do BigQuery atualmente alocados para jobs de consulta no projeto. Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.
BigQuery	Slots used by project and job type	Slots	Número de slots alocados para o projeto a qualquer momento, separados por tipo de job. Também pode ser entendido como o número de slots usados pelo projeto. Os jobs de carregamento e extração são operações sem custo financeiro e são executados em um pool público de recursos. Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.
BigQuery	Slots used by project, reservation, and job type	Slots	Número de slots do BigQuery atualmente alocados para o projeto. A alocação de slots pode ser dividida com base na reserva e no tipo de job.
BigQuery	Total slots	Slots	Número total de slots disponíveis para o projeto. Se o projeto compartilha uma reserva de slots com outros projetos, os slots em uso pelos outros projetos não são representados.
BigQuery	Slots used across projects in reservations	Slots	Número de slots do BigQuery atualmente alocados em projetos na reserva. Os dados das métricas só são informados enquanto pelo menos um projeto foi atribuído à reserva e está consumindo slots. Como alternativa, consulte as informações das reservas em INFORMATION_SCHEMA. Para ver as métricas de uso de slots de todos os projetos que consomem de uma reserva, é preciso adicionar explicitamente esses projetos ao escopo de métricas do projeto em que você está visualizando o painel.
BigQuery	Slots used by project in reservation	Slots	Número de slots do BigQuery atualmente alocados para o projeto na reserva. Para ver as métricas de uso de slots de todos os projetos que consomem de uma reserva, adicione explicitamente esses projetos ao escopo de métricas do projeto em que você está visualizando o painel.
Job contínuo do BigQuery	Estimated backlog logical bytes	Bytes	O número de bytes no backlog para cada estágio do job contínuo.
Job contínuo do BigQuery	Estimated backlog records	Registros	O número estimado de registros de backlog para cada estágio do job contínuo.
Job contínuo do BigQuery	Estimated bytes processed	Bytes	O número estimado de bytes processados para cada estágio do job contínuo.
Job contínuo do BigQuery	Output watermark	Carimbo de data/hora	O carimbo de data/hora mais recente, em microssegundos desde o início, até o qual todos os dados foram processados por essa etapa do job contínuo.
Job contínuo do BigQuery	Records read	Registros	O número de registros de entrada lidos para cada estágio do job contínuo.
Job contínuo do BigQuery	Records written	Registros	O número de registros de saída gravados para cada estágio do job contínuo.
Job contínuo do BigQuery	Slots used	Slot em milissegundos	O total de milissegundos de slot usados pelo job contínuo.
Conjunto de dados do BigQuery	Stored bytes	Bytes	Bytes armazenados no conjunto de dados. Para as 100 maiores tabelas no conjunto de dados, os bytes armazenados são exibidos para cada tabela individual (por nome). Quaisquer tabelas adicionais no conjunto de dados (além das 100 maiores) são relatadas como soma única, e o nome da tabela do resumo é uma string vazia.
Conjunto de dados do BigQuery	Table count	Tabelas	Número de tabelas no conjunto de dados.
Conjunto de dados do BigQuery	Uploaded bytes	Bytes por minuto	Número de bytes enviados para qualquer tabela no conjunto de dados.
Conjunto de dados do BigQuery	Linhas enviadas	Linhas por minuto	Número de registros enviados para qualquer tabela no conjunto de dados.

Para uma lista completa das métricas do Google Cloud disponíveis, consulte Métricas doGoogle Cloud .

Problemas conhecidos

• Se nenhuma consulta estiver em execução, nenhum dado será retornado para slots alocados, slots disponíveis ou quaisquer variáveis relacionadas à consulta. Diminua o zoom para ver os dados.

• Se houver consultas em execução nos EUA e na UE, os slots alocados e os slots disponíveis poderão estar incorretos.

• Slots alocados são informados como o valor médio em uma janela de tempo (a largura da janela de tempo depende do nível de zoom do gráfico). Aumentar e diminuir o zoom pode alterar o valor dos slots alocados. O zoom em uma janela de tempo de 1 hora ou menos mostra os valores reais dos slots alocados. Nesse intervalo de qualquer período visível no gráfico, avg(slots allocated) = slots allocated.

• Os dados em gráficos do Cloud Monitoring pertencem somente ao projeto selecionado.

• As métricas são valores instantâneos, amostrados em um momento específico e podem não perder pontos de dados entre intervalos de amostra. Por exemplo, a métrica de contagem de jobs é amostrada a cada minuto. O valor é o número de jobs nesse momento específico, não o número máximo de vagas durante todo o minuto.