Mendeteksi anomali dalam beberapa deret waktu dengan model TimesFM

Tutorial ini mengajarkan cara menggunakan fungsi AI.DETECT_ANOMALIES dengan model TimesFM bawaan BigQuery ML untuk mendeteksi anomali dalam data deret waktu.

Tutorial ini menggunakan data dari tabel bigquery-public-data.san_francisco_bikeshare.bikeshare_trips publik.

Tujuan

Tutorial ini memandu Anda menggunakan fungsi AI.DETECT_ANOMALIES dengan model TimesFM bawaan untuk mendeteksi anomali dalam perjalanan bike share. Bagian pertama membahas cara mendeteksi anomali dan memvisualisasikan hasil untuk satu deret waktu. Bagian kedua membahas cara mendeteksi anomali untuk beberapa deret waktu.

Biaya

Tutorial ini menggunakan komponen Google Cloudyang dapat ditagih, termasuk:

• BigQuery
• BigQuery ML

Untuk informasi selengkapnya tentang biaya BigQuery, lihat halaman harga BigQuery.

Untuk informasi selengkapnya tentang biaya BigQuery ML, lihat harga BigQuery ML.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery secara otomatis diaktifkan dalam project baru. Untuk mengaktifkan BigQuery dalam project yang sudah ada,

   Aktifkan BigQuery API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Mengaktifkan API

Mendeteksi anomali dalam deret waktu perjalanan transportasi online sepeda tunggal

Mendeteksi anomali dalam data deret waktu menggunakan fungsi AI.DETECT_ANOMALIES.

Kueri berikut mendeteksi anomali dalam jumlah perjalanan sepeda berbagi per jam untuk bulan Agustus 2017, berdasarkan data historis dari bulan sebelumnya. Argumen anomaly_prob_threshold menunjukkan nilai minimum untuk mengidentifikasi anomali.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dengan model TimesFM:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run. Kueri akan memerlukan waktu 1-2 menit untuk diselesaikan:

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR)
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips');

   Hasilnya akan mirip seperti berikut:

   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | 2017-08-01 01:00:00 UTC | 6.0              | false      | -9.42939322810...  | 20.154928628380...  | 0.38048622012138... |                           |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

3. Setelah kueri selesai berjalan, klik tab Visualisasi. Diagram yang dihasilkan akan terlihat mirip dengan berikut ini:

   

   Anda dapat mengidentifikasi anomali saat nilai time_series_data berada di luar rentang lower_bound dan upper_bound.

Mendeteksi anomali dalam deret waktu beberapa perjalanan bike share

Kueri berikut mendeteksi anomali dalam jumlah perjalanan sepeda berbagi per jenis pelanggan dan per jam untuk bulan Agustus 2017, berdasarkan data historis dari bulan sebelumnya.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dengan model TimesFM:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, tempel kueri berikut, lalu klik Run:

   WITH
     bike_share_trips AS (
       SELECT
         TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips, subscriber_type
       FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
       GROUP BY TIMESTAMP_TRUNC(start_date, HOUR), subscriber_type
     )
   SELECT *
   FROM
     AI.DETECT_ANOMALIES(
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
       ),
       (
         SELECT *
         FROM bike_share_trips
         WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
       ),
       anomaly_prob_threshold => 0.95,
       timestamp_col => 'trip_hour',
       data_col => 'num_trips',
       id_cols => ['subscriber_type']);

   Hasilnya akan mirip seperti berikut:

   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | subscriber_type | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Customer        | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | Subscriber      | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   | ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
   +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
   

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project Anda

Untuk menghapus project:

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

• Untuk ringkasan BigQuery ML, lihat Pengantar AI dan ML di BigQuery.