Mengevaluasi model

Halaman ini berlaku untuk versi mesin dalam pengelompokan versi mesin utama berikut. Untuk melihat halaman versi mesin lainnya, gunakan pemilih di bagian atas halaman ini.

Singkatnya, berikut adalah perubahan di halaman ini dibandingkan dengan v004.010:

  • Menambahkan partyCountExceedingThresholdPerPeriodHint sebagai target performa alternatif.
  • Menyederhanakan metrik recall dengan menghapus buffer lihat kembali, sehingga memungkinkan evaluasi yang lebih transparan di semua periode uji coba yang ditentukan.
  • Output ObservedRecallValues kini menyertakan kolom baru partyCountExceedingThresholdPerPeriod.

Ringkasan

Hasil pengujian ulang memberikan ringkasan performa model dalam jangka waktu tertentu. Metrik ini dihasilkan dengan melakukan prediksi pada semua pelanggan dalam periode backtest dan mengevaluasi performa model terhadap peristiwa risiko yang tersedia.

Hasil pengujian ulang dapat digunakan untuk mengukur performa model pada rentang waktu terpisah dari yang digunakan dalam pelatihan, atau juga dari waktu ke waktu untuk memeriksa penurunan performa.

Cara melakukan backtest

Untuk membuat resource BacktestResult, lihat Membuat dan mengelola hasil backtest.

Secara khusus, Anda perlu memilih hal berikut:

  • Data yang akan digunakan untuk pengujian ulang:

    Tentukan set data dan waktu berakhir dalam rentang tanggal set data.

    Pelatihan menggunakan label dan fitur berdasarkan bulan kalender lengkap hingga, tetapi tidak termasuk, bulan waktu berakhir yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Rentang waktu set data.

  • Periode pengujian ulang:

    Tentukan berapa bulan data berlabel yang akan digunakan untuk pengujian ulang (yaitu, jumlah periode pengujian ulang).

  • Target performa:

    Tentukan cara menetapkan titik operasi untuk evaluasi menggunakan kolom PerformanceTarget. Anda harus memberikan tepat salah satu dari berikut ini:

    • partyInvestigationsPerPeriodHint: Tentukan perkiraan jumlah penyelidikan yang dilakukan per bulan. Opsi ini menggunakan perkiraan kondisi stabil untuk memperkirakan volume investigasi.
    • partyCountExceedingThresholdPerPeriodHint: Tentukan jumlah rata-rata bulanan pihak unik yang harus memiliki skor sama dengan atau di atas nilai minimum risiko. Opsi ini memberikan cara yang lebih langsung dan transparan untuk menetapkan titik operasi.

    Pengujian ulang mengevaluasi model AML AI pada berbagai volume yang berpusat di sekitar petunjuk yang Anda tentukan. Untuk mengetahui informasi selengkapnya, lihat Output pengujian ulang.

  • Model yang dibuat menggunakan set data yang konsisten:

    Lihat Membuat model.

Periode pengujian ulang

Kolom backtestPeriods menentukan jumlah bulan kalender berturut-turut yang akan digunakan untuk fitur dan label dalam evaluasi performa model ini.

Hal berikut berlaku untuk data pengujian ulang:

  • Bulan yang digunakan dalam evaluasi adalah bulan kalender lengkap terbaru sebelum endTime yang ditentukan. Misalnya, jika endTime adalah 2023-04-15T23:21:00Z dan backtestPeriods adalah 5, maka label dari bulan-bulan berikut digunakan: 2023-03, 2023-02, 2023-01, 2022-12, dan 2022-11.
  • Anda harus menggunakan data terbaru yang tersedia untuk pengujian ulang saat mengevaluasi model sebagai persiapan untuk penggunaan produksi.
  • Periode pengujian ulang harus ditetapkan ke 3 atau lebih besar.

  • Mulai versi mesin v004.011, semua periode uji ulang yang ditentukan digunakan untuk evaluasi performa, karena metrik perolehan yang disederhanakan tidak lagi memerlukan buffer lihat balik untuk perkiraan kondisi stabil.

  • Hindari penggunaan bulan yang tumpang-tindih untuk pelatihan dan pengujian ulang karena hal ini berisiko overfitting. Pastikan waktu berakhir backtest dan pelatihan berjarak minimal backtestPeriods. Artinya,

    (bulan waktu berakhir pengujian ulang) >= (bulan waktu berakhir model) + backtestPeriods

Secara opsional, Anda juga dapat membuat hasil prediksi untuk model dan melakukan analisis performa model tingkat pihak sendiri.

Output pengujian ulang

Metadata hasil uji coba ulang berisi metrik berikut. Secara khusus, metrik ini menunjukkan hal berikut:

  • Performa model dibandingkan dengan label dari jangka waktu terpisah dan untuk berbagai titik operasi (volume penyelidikan) atau nilai minimum skor risiko yang berbeda.

  • Pengukuran yang dapat digunakan untuk menilai konsistensi set data (misalnya, dengan membandingkan nilai kekosongan kelompok fitur dari operasi yang berbeda)

Nama metrik Deskripsi metrik Contoh nilai metrik
ObservedRecallValues Metrik recall diukur pada set data yang ditentukan untuk pengujian ulang. API mencakup 20 pengukuran ini, pada titik operasi yang berbeda, didistribusikan secara merata dari 0 (tidak disertakan) hingga 2 * partyInvestigationsPerPeriodHint atau partyCountExceedingThresholdPerPeriodHint bergantung pada kolom mana dari kedua kolom ini yang digunakan sebagai input untuk membuat BacktestResults. API menambahkan pengukuran panggilan balik akhir pada petunjuk yang ditentukan.

Selain nilai perolehan, kami juga memberikan pembilang dan penyebut sebagai partiesCount dan identifiedPartiesCount masing-masing. Kami juga memberikan jumlah pihak yang melebihi nilai minimum sebagai partyCountExceedingThresholdPerPeriod. 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "partyCountExceedingThresholdPerPeriod": 10000,
      "recallValue": 0.80,
      "partiesCount": 60,
      "identifiedPartiesCount": 48,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "partyCountExceedingThresholdPerPeriod": 16000,
      "recallValue": 0.85,
      "partiesCount": 60,
      "identifiedPartiesCount": 51,
      "scoreThreshold": 0.30,
    },
  ],
}
ObservedRecallValuesPerTypology Metrik recall pada tingkat tipologi risiko yang diukur pada set data yang ditentukan untuk pengujian ulang. Pengukuran mengikuti pendekatan yang sama seperti ObservedRecallValues. 
{
  "recallValuesPerTypology": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "partyCountExceedingThresholdPerPeriod": 10000,
      "riskTypology": "risk_typology_id_1",
      "recallValue": 0.80,
      "partiesCount": 60,
      "identifiedPartiesCount": 48,
      "scoreThreshold": 0.42,
    },
    {
      "partyInvestigationsPerPeriod": 8000,
      "partyCountExceedingThresholdPerPeriod": 16000,
      "riskTypology": "risk_typology_id_1",
      "recallValue": 0.90,
      "partiesCount": 60,
      "identifiedPartiesCount": 54,
      "scoreThreshold": 0.30,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "partyCountExceedingThresholdPerPeriod": 16000,
      "riskTypology": "risk_typology_id_2",
      "recallValue": 0.75,
      "partiesCount": 4
      "identifiedPartiesCount": 3,
      "scoreThreshold": 0.30,
    },
  ],
}
Tidak ada (Missingness)

Proporsi nilai yang tidak ada di semua fitur dalam setiap grup fitur.

Idealnya, semua keluarga fitur AI AML harus memiliki Missingness mendekati 0. Pengecualian dapat terjadi jika data yang mendasari kelompok fitur tersebut tidak tersedia untuk integrasi.

Perubahan signifikan pada nilai ini untuk setiap kelompok fitur antara penyesuaian, pelatihan, evaluasi, dan prediksi dapat menunjukkan inkonsistensi dalam set data yang digunakan. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
Skew

Metrik yang menunjukkan perbedaan antara set data pelatihan dan prediksi atau pengujian ulang. Kemiringan keluarga menunjukkan perubahan dalam distribusi nilai fitur dalam keluarga fitur, yang diberi bobot berdasarkan pentingnya fitur dalam keluarga tersebut. Penyimpangan maks menunjukkan penyimpangan maksimum fitur apa pun dalam family tersebut.

Nilai kecondongan berkisar dari 0, yang menunjukkan tidak ada perubahan signifikan dalam distribusi nilai fitur dalam family, hingga 1 untuk perubahan yang paling signifikan. Nilai besar untuk kemiringan keluarga atau kemiringan maks menunjukkan perubahan signifikan pada struktur data Anda yang dapat memengaruhi performa model. Kemiringan keluarga mengambil nilai -1 jika tidak ada fitur dalam keluarga yang digunakan oleh model.

Untuk nilai kecondongan yang besar, Anda harus melakukan salah satu hal berikut:

  • Selidiki perubahan pada data yang digunakan oleh grup fitur tersebut (lihat materi pendukung tata kelola model) dan perbaiki masalah data input
  • Melatih ulang model dengan data yang lebih baru

Anda harus menetapkan nilai ambang batas untuk bertindak berdasarkan nilai kemiringan keluarga dan maksimum berdasarkan pengamatan variasi alami dalam metrik kemiringan selama beberapa bulan. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}