Analisar dados de registro com o BigQuery

Neste documento, descrevemos como analisar os dados de registro usando os serviços do BigQuery , que podem consultar conjuntos de dados vinculados do BigQuery. Se você criar um conjunto de dados vinculado do BigQuery em um bucket de registros, poderá consultar os dados de registro usando o BigQuery ou o Data Studio. Também é possível configurar a página Análise de observabilidade para executar consultas no mecanismo do BigQuery. Você pode criar políticas de alertas que monitoram os resultados consulta SQL executadas no mecanismo do BigQuery.

Não é possível criar um conjunto de dados vinculado do BigQuery para uma visualização de análise.

Se você não conhece a Análise de observabilidade, consulte a visão geral da Análise de observabilidade.

Quando você precisa de um conjunto de dados vinculado

Não é necessário um conjunto de dados vinculado do BigQuery quando você quer consultar os dados de registro ou os dados de registro e trace. Para esses cenários, use a página Análise de observabilidade. Também é possível salvar e compartilhar suas consultas, além de salvar a consulta em um painel personalizado. Para informações sobre como consultar os dados de trace, consulte Consultar e analisar traces.

Você precisa de um conjunto de dados vinculado do BigQuery quando quiser fazer o seguinte:

Um conjunto de dados vinculado do BigQuery para um bucket de registros permite que o BigQuery leia os dados no bucket de registros.

Como os buckets de registros e as visualizações de registros são mapeados para objetos do BigQuery

Ao criar um conjunto de dados vinculado do BigQuery para um bucket de registros, um novo conjunto de dados fica disponível para o BigQuery. Você especifica o nome do conjunto de dados vinculado durante o processo de conexão. Todas as visualizações de registros no bucket de registros são mapeadas automaticamente para visualizações virtuais no conjunto de dados. O nome de uma visualização virtual é o mesmo da visualização de registros correspondente.

Por exemplo, suponha que o projeto my_project tenha um bucket de registros chamado example e que esse bucket de registros tenha uma visualização de registros chamada _AllLogs. Se você criar um conjunto de dados vinculado para esse bucket de registros com o nome my_dataset, a página Explorer do BigQuery vai mostrar uma entrada my_project. Um filho da entrada my_project é um conjunto de dados com o nome my_dataset, e esse conjunto de dados lista uma visualização virtual chamada _AllLogs.

Implicações do controle de acesso ao usar conjuntos de dados vinculados

Quando um principal consulta uma visualização em um conjunto de dados vinculado do BigQuery, essa consulta é executada na camada de permissão do BigQuery, não na camada de permissão do Cloud Logging. Portanto, os papéis e permissões do BigQuery concedidos ao principal no conjunto de dados vinculado determinam se ele pode consultar o conjunto de dados.

Não é possível restringir um principal a uma visualização virtual específica em um conjunto de dados vinculado. Quando um principal recebe acesso ao conjunto de dados vinculado, ele pode consultar todas as visualizações nesse conjunto de dados.

Mecanismos de consulta disponíveis

A Análise de observabilidade permite executar consultas SQL no mecanismo de registro padrão ou no mecanismo do BigQuery. Se você executar uma consulta no mecanismo do BigQuery, o conjunto de dados vinculado do BigQuery será consultado, o que significa que suas permissões do BigQuery serão validadas.

Para saber mais, consulte Escolher o mecanismo de consulta da Análise de observabilidade.

Antes de começar

Esta seção descreve as etapas que você precisa concluir antes de usar a Análise de observabilidade.

Configurar buckets de registros

Verifique se os buckets de registros foram atualizados para usar a Análise de observabilidade:

  1. No Google Cloud console, acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Para cada bucket de registros que tenha uma visualização de registros que você quer consultar, verifique se a coluna Análise de observabilidade disponível mostra Abrir. Se Fazer upgrade for mostrado, clique em Fazer upgrade e conclua a caixa de diálogo.

Configurar papéis e permissões do IAM

Esta seção descreve os papéis ou permissões do IAM necessários para usar a Análise de observabilidade:

  • Para receber as permissões necessárias para usar a Análise de observabilidade e consultar visualizações de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

    É possível restringir um principal a uma visualização de registros específica adicionando uma condição do IAM à concessão do papel Acessador de visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registros. Para mais informações, consulte Controlar o acesso a uma visualização de registros.

    Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

  • Para receber as permissões necessárias para criar e consultar conjuntos de dados vinculados, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto que armazena o bucket de registros:

Verificar a edição do BigQuery

Se você quiser consultar os dados de registro na página Análise de observabilidade executando em slots do BigQuery e estiver usando projetos com controles de serviço da nuvem privada virtual (VPC), verifique se você está usando a edição Enterprise do BigQuery. Para mais informações, consulte Noções básicas sobre as edições do BigQuery.

Quando quiser usar os recursos do BigQuery para analisar os dados de registro, faça upgrade de um bucket de registros para usar a Análise de observabilidade e crie um conjunto de dados vinculado. Com essa configuração, o Logging armazena os dados de registro, mas o BigQuery pode ler os dados de registro.

Google Cloud Console do

Para criar um link para um conjunto de dados do BigQuery para um bucket de registros atual, faça o seguinte:

  1. No Google Cloud console, acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Localize o bucket de registros e verifique se a coluna Análise de observabilidade disponível mostra Abrir.

    Se essa coluna mostrar Fazer upgrade, o bucket de registros não tiver sido atualizado para usar a Análise de observabilidade. Configure a Análise de observabilidade:

    1. Clique em Fazer upgrade.
    2. Clique em Confirmar na caixa de diálogo.

    Depois que o upgrade for concluído, siga para a próxima etapa.

  3. No bucket de registros, clique em Mais, e em Editar bucket.

    A caixa de diálogo Editar bucket de registros é aberta.

  4. Selecione Criar um novo conjunto de dados do BigQuery vinculado a este bucket e insira o nome do novo conjunto de dados.

    O nome do conjunto de dados precisa ser exclusivo para cada Google Cloud projeto. Se você inserir o nome de um conjunto de dados atual, receberá o seguinte erro: Dataset name must be unique in the selected region.

  5. Clique em Concluído e em Atualizar bucket.

    Depois que o Logging mostrar o nome do conjunto de dados vinculado na página Armazenamento de registros, pode levar alguns minutos até que o BigQuery reconheça o conjunto de dados.

gcloud

Para criar um conjunto de dados vinculado para um bucket de registros atualizado para usar a Análise de observabilidade, execute o gcloud logging links create comando:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para seu Google Cloud projeto.

O comando links create é assíncrono. O retorno de um método assíncrono é um Operation objeto, que contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

O comando links create leva vários minutos para ser concluído.

Por exemplo, o comando a seguir cria um conjunto de dados vinculado chamado mylink para o bucket de registros chamado my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

O nome do conjunto de dados precisa ser exclusivo para cada Google Cloud projeto. Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados atual, receberá o seguinte erro:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de observabilidade, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

REST

Para criar um conjunto de dados vinculado do BigQuery para um bucket de registros atual que foi atualizado para usar a Análise de observabilidade, chame o método assíncrono projects.locations.buckets.links.create da API Cloud Logging.

Prepare os argumentos do método da seguinte maneira:

  1. Construa o corpo da solicitação para o comando create. O corpo da solicitação é formatado como um Link objeto.
  2. Para o parâmetro de consulta do comando, use linkId=LINK_ID. O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para seu Google Cloud projeto.

A resposta aos métodos assíncronos é um Operation objeto. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

O método links.create leva vários minutos para ser concluído.

O nome do conjunto de dados precisa ser exclusivo para cada Google Cloud projeto. Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados atual, receberá o seguinte erro:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de observabilidade, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

Executar consultas no BigQuery

Quando você tem um bucket de registros que usa a Análise de observabilidade e conjuntos de dados vinculados, é possível visualizar e consultar os conjuntos de dados vinculados usando a página BigQuery Studio. Com essa configuração, é possível analisar os conjuntos de dados usando comandos, fluxos de trabalho e conjuntos de dados disponíveis apenas no BigQuery Studio.

Para abrir o BigQuery na Análise de observabilidade e consultar o conjunto de dados vinculado, faça o seguinte:

  1. Verifique se um conjunto de dados vinculado existe para o bucket de registros que hospeda a visualização de registros que você quer consultar:

    1. No Google Cloud console, acesse a página Armazenamento de registros:

      Acessar o armazenamento de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. Localize o bucket de registros e verifique se a coluna Conjunto de dados vinculado do BigQuery mostra um URL. Se a entrada estiver vazia, será necessário criar um conjunto de dados vinculado. Para informações sobre essas etapas, consulte Criar um conjunto de dados vinculado do BigQuery

  2. No Google Cloud console, acesse a Análise de registros página:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  3. Na lista Visualizações de registros, encontre e selecione a visualização de registros.

  4. No painel Esquema, selecione Consulta.

    O painel Consulta é preenchido com uma consulta padrão. Também é possível inserir uma consulta no painel Consulta ou editar uma consulta mostrada.

  5. Na barra de ferramentas, expanda o botão Executar consulta ou Executar no BigQuery e selecione Abrir no BigQuery.

    A página BigQuery Studio é aberta. A instrução FROM da consulta é modificada para especificar o caminho para a visualização de registros no conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery.

    Também é possível editar a consulta mostrada.

  6. Na página BigQuery Studio, clique em Executar consulta.

Executar consultas da Análise de observabilidade em slots do BigQuery

Quando quiser monitorar os resultados da consulta SQL com uma política de alertas, execute as consultas no mecanismo do BigQuery fazendo o seguinte:

  1. Verifique se um conjunto de dados vinculado existe para o bucket de registros que hospeda a visualização de registros que você quer consultar:

    1. No Google Cloud console, acesse a página Armazenamento de registros:

      Acessar o armazenamento de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. Localize o bucket de registros e verifique se a coluna Conjunto de dados vinculado do BigQuery mostra um URL. Se a entrada estiver vazia, então crie um conjunto de dados vinculado do BigQuery.

  2. Configure a Análise de observabilidade para executar as consultas no mecanismo do BigQuery:

    1. No Google Cloud console, acesse a Análise de registros página:

      Acesse Análise de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. Na lista Visualizações de registros , encontre a visualização e selecione Consulta ou insira uma consulta.

      Se o painel de consulta mostrar uma mensagem de erro que faz referência à instrução FROM, a tabela não poderá ser resolvida para uma visualização de registros específica. Para informações sobre como resolver essa falha, consulte Erro FROM clause must contain exactly one log view.

    3. Acesse a barra de ferramentas e verifique se um botão chamado Executar no BigQuery é mostrado.

      Se a barra de ferramentas mostrar Executar consulta, então clique em Configurações e selecione BigQuery.

      Se o botão Executar no BigQuery estiver desativado, será necessário criar um conjunto de dados vinculado.

    4. Execute a consulta.

      É possível usar as opções da barra de ferramentas para formatar a consulta, limpar a consulta e abrir a documentação de referência do SQL do BigQuery.

A seguir