異常偵測總覽
異常偵測是一種資料探勘技術,可用來找出特定資料集中的資料偏差問題。舉例來說,如果特定產品的退貨率攀升,比該產品的基準值高出許多,可能表示該產品有瑕疵,或疑似發生詐欺事件。您可以運用這項技術來偵測重大事件,如技術問題,或消費者行為變動等潛在機會。
判斷哪些資料屬於異常資料可能相當困難。如果您不確定哪些資料屬於異常資料,或是沒有標註資料可訓練模型,可以使用非監督式機器學習執行異常偵測。使用 AI.DETECT_ANOMALIES 函式或 ML.DETECT_ANOMALIES 函式搭配下列其中一個模型,偵測訓練資料或新服務資料中的異常狀況:
| 資料類型 | 模型類型 | 函式 | 函式用途 |
|---|---|---|---|
| 時間序列 | TimesFM
|
AI.DETECT_ANOMALIES |
偵測時間序列中的異常狀況。 |
ARIMA_PLUS
|
ML.DETECT_ANOMALIES |
偵測時間序列中的異常狀況。 | |
ARIMA_PLUS_XREG
|
ML.DETECT_ANOMALIES |
使用外部迴歸因子偵測時間序列中的異常狀況。 | |
| 獨立同分布隨機變數 (IID) | K-means | ML.DETECT_ANOMALIES |
根據輸入資料與各叢集質心之間最短的標準化距離,偵測異常狀況。如要瞭解標準化距離的定義,請參閱 ML.DETECT_ANOMALIES 函式的 k-means 模型輸出內容。 |
| 自動編碼器 | 根據均方誤差的重建損失偵測異常狀況。詳情請參閱 ML.RECONSTRUCTION_LOSS。ML.RECONSTRUCTION_LOSS 函式可以擷取所有類型的重建損失。 |
||
| PCA | 根據均方誤差的重建損失偵測異常狀況。 |
如果您已有標示異常狀況的資料,可以使用 ML.PREDICT 函式搭配下列其中一個監督式機器學習模型,執行異常偵測:
建議的知識
只要使用 CREATE MODEL 陳述式和推論函式的預設設定,即使沒有太多機器學習知識,也能建立及使用異常偵測模型。不過,具備機器學習開發的基本知識,有助於您最佳化資料和模型,進而獲得更出色的結果。建議您使用下列資源,熟悉機器學習技術和程序: