TimesFM 모델로 여러 시계열에서 이상 감지

이 튜토리얼에서는 BigQuery ML의 기본 제공 TimesFM 모델과 함께 AI.DETECT_ANOMALIES 함수를 사용하여 시계열 데이터에서 이상을 감지하는 방법을 설명합니다.

이 튜토리얼에서는 공개 bigquery-public-data.san_francisco_bikeshare.bikeshare_trips 테이블의 데이터를 사용합니다.

목표

이 튜토리얼에서는 기본 제공 TimesFM 모델과 함께 AI.DETECT_ANOMALIES 함수를 사용하여 자전거 공유 여행에서 이상을 감지하는 방법을 안내합니다. 첫 번째 섹션에서는 단일 시계열의 이상을 감지하고 결과를 시각화하는 방법을 설명합니다. 두 번째 섹션에서는 여러 시계열의 이상을 감지하는 방법을 설명합니다.

비용

이 튜토리얼에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud구성요소를 사용합니다.

• BigQuery
• BigQuery ML

BigQuery 비용에 대한 자세한 내용은 BigQuery 가격 책정 페이지를 참조하세요.

BigQuery ML 비용에 대한 자세한 내용은 BigQuery ML 가격 책정을 참조하세요.

시작하기 전에

계정에 로그인합니다. Google Cloud 를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. Google Cloud신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery는 새 프로젝트에서 자동으로 사용 설정됩니다. 기존 프로젝트에서 BigQuery를 활성화하려면

   BigQuery API를 사용 설정합니다.

   API 사용 설정에 필요한 역할

   API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기

   API 사용 설정하기

단일 자전거 공유 여행 시계열에서 이상 감지

AI.DETECT_ANOMALIES 함수를 사용하여 시계열 데이터에서 이상을 감지합니다.

다음 쿼리는 전월의 과거 데이터를 기반으로 2017년 8월의 시간당 자전거 공유 여행 수에서 이상을 감지합니다. anomaly_prob_threshold 인수는 이상을 식별하기 위한 기준점을 나타냅니다.

다음 단계에 따라 TimesFM 모델로 이상을 감지합니다.

1. 콘솔에서 Google Cloud BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에 다음 쿼리를 붙여넣고 실행을 클릭합니다. 쿼리가 완료되는 데 1~2분이 걸립니다.

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR)
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips');

   결과는 다음과 유사합니다.

   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 01:00:00 UTC | 6.0              | false      | -9.42939322810...  | 20.154928628380...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

3. 쿼리 실행이 완료되면 시각화 탭을 클릭합니다. 결과 차트는 다음과 비슷합니다.

   

   time_series_data 값이 lower_bound 및 upper_bound 범위를 벗어나는 이상을 식별할 수 있습니다.

여러 자전거 공유 여행 시계열에서 이상 감지

다음 쿼리는 전월의 과거 데이터를 기반으로 2017년 8월의 구독자 유형별과 시간별로 자전거 공유 여행 수에서 이상을 감지합니다.

다음 단계에 따라 TimesFM 모델로 이상을 감지합니다.

1. 콘솔에서 Google Cloud BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에 다음 쿼리를 붙여넣고 실행을 클릭합니다.

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips, subscriber_type
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR), subscriber_type
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips',
       id_cols => ['subscriber_type']);

   결과는 다음과 유사합니다.

   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | subscriber_type | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

프로젝트를 삭제하는 방법은 다음과 같습니다.

주의 : 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼 또는 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. 콘솔에서 리소스 관리 페이지로 이동합니다. Google Cloud

   리소스 관리로 이동

2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
3. 대화상자에서 프로젝트 ID를 입력한 후 종료 를 클릭하여 프로젝트를 삭제합니다.

다음 단계

• BigQuery의 AI 및 ML 소개에서 BigQuery ML 개요 참조하기