Detectar anomalias em várias séries temporais com o modelo TimesFM

Este tutorial ensina como usar a AI.DETECT_ANOMALIES função com o modelo TimesFM integrado do BigQuery ML para detectar anomalias em dados de série temporal.

Este tutorial usa dados da tabela pública bigquery-public-data.san_francisco_bikeshare.bikeshare_trips.

Objetivos

Este tutorial orienta você no uso da função AI.DETECT_ANOMALIES com o modelo TimesFM integrado para detectar anomalias em viagens de aluguel de bicicletas. A primeira seção aborda como detectar anomalias e visualizar resultados para uma única série temporal. A segunda seção aborda como detectar anomalias para várias série temporal.

Custos

Este tutorial usa componentes faturáveis do Google Cloud, incluindo o seguinte:

• BigQuery
• BigQuery ML

Para mais informações sobre os custos do BigQuery, consulte a página de preços.

Para mais informações sobre os custos do BigQuery ML, consulte os preços do BigQuery ML.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto preexistente,

   Ative a API BigQuery.

   Funções necessárias para ativar APIs

   Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

   Ativar a API

Detectar anomalias em uma única série temporal de viagens de aluguel de bicicletas

Detecte anomalias em dados de série temporal usando a função AI.DETECT_ANOMALIES.

A consulta a seguir detecta anomalias no número de viagens de aluguel de bicicletas por hora no mês de agosto de 2017, com base nos dados históricos do mês anterior. O argumento anomaly_prob_threshold indica o limite para identificar uma anomalia.

Siga estas etapas para detectar anomalias com o modelo TimesFM:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, cole a consulta abaixo e clique em Executar. A consulta leva de 1 a 2 minutos para ser concluída:

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR)
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips');

   Os resultados são semelhantes aos seguintes:

   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 01:00:00 UTC | 6.0              | false      | -9.42939322810...  | 20.154928628380...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

3. Quando a consulta terminar de ser executada, clique na guia Visualização. O gráfico resultante será semelhante a este:

   

   É possível identificar as anomalias em que o valor time_series_data está fora do intervalo lower_bound e upper_bound.

Detectar anomalias em várias série temporal de viagens de aluguel de bicicletas

A consulta a seguir detecta anomalias no número de viagens de aluguel de bicicletas por tipo de assinante e por hora no mês de agosto de 2017, com base nos dados históricos do mês anterior.

Siga estas etapas para detectar anomalias com o modelo TimesFM:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No editor de consultas, cole a consulta abaixo e clique em Executar:

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips, subscriber_type
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR), subscriber_type
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips',
       id_cols => ['subscriber_type']);

   Os resultados são semelhantes aos seguintes:

   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | subscriber_type | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

Liberar espaço

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No Google Cloud console, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

A seguir

• Para uma visão geral do BigQuery ML, consulte Introdução à IA e ao ML no BigQuery.