Em resumo, estas são as mudanças nesta página em comparação com a v004.010:
- Adicionamos
partyCountExceedingThresholdPerPeriodHintcomo uma meta de performance alternativa. - Simplificamos a métrica de recall removendo o buffer de lookback, o que permite uma avaliação mais transparente em todos os períodos de backtest especificados.
- A saída
ObservedRecallValuesagora inclui um novo campopartyCountExceedingThresholdPerPeriod.
Visão geral
Os resultados do backtest fornecem um resumo da performance do modelo em um período especificado. Eles são gerados com base na previsão de todos os clientes em um período de backtest e na avaliação da performance do modelo em relação aos eventos de risco disponíveis.
Os resultados do backtest podem ser usados para medir a performance do modelo em um período diferente do usado no treinamento ou ao longo do tempo para verificar a degradação da performance.
Como fazer backtest
Para criar um recurso BacktestResult, consulte Criar e gerenciar resultados de backtest.
Em particular, você precisa selecionar o seguinte:
Os dados a serem usados para backtesting:
Especifique um conjunto de dados e um horário de término dentro do período dele.
O treinamento usa rótulos e recursos com base em meses civis completos até, mas não incluindo, o mês do horário de término selecionado. Para mais informações, consulte Períodos de tempo do conjunto de dados.
Os períodos de backtest:
Especifique quantos meses de dados rotulados usar para backtesting (ou seja, o número de períodos de backtest).
A meta de performance:
Especifique como definir o ponto de operação para avaliação usando o campo PerformanceTarget. Você precisa fornecer exatamente um dos seguintes itens:
partyInvestigationsPerPeriodHint: especifique o número aproximado de investigações realizadas por mês. Essa opção usa aproximações de estado estável para estimar o volume de investigações.partyCountExceedingThresholdPerPeriodHint: especifique o número médio mensal de partes únicas que devem ter uma pontuação igual ou superior ao limite de risco. Essa opção oferece uma maneira mais direta e transparente de definir o ponto de operação.
O backtesting avalia o modelo de IA de AML em uma variedade de volumes centrados na dica especificada. Para mais informações, consulte Saída de backtest.
Um modelo criado usando um conjunto de dados consistente:
Consulte Criar um modelo.
Períodos de backtest
O campo
backtestPeriods
especifica quantos meses consecutivos do calendário usar recursos e rótulos
na avaliação de performance desse modelo.
As seguintes condições se aplicam aos dados de backtest:
- Os meses usados na avaliação são os meses civis completos mais recentes antes do
endTimeespecificado. Por exemplo, seendTimefor2023-04-15T23:21:00ZebacktestPeriodsfor5, os rótulos dos seguintes meses serão usados: 2023-03, 2023-02, 2023-01, 2022-12 e 2022-11. - Use os dados mais recentes disponíveis para backtesting ao avaliar um modelo em preparação para uso em produção.
- Os períodos de backtest precisam ser definidos como
3ou mais. A partir da versão v004.011 do mecanismo, todos os períodos de backtest especificados são usados para avaliação de performance, já que a métrica de recall simplificada não exige mais um buffer de lookback para aproximação de estado estável.
Evite usar meses sobrepostos para treinamento e backtesting, porque isso pode causar overfitting. Verifique se os horários de término do backtest e do treinamento têm pelo menos
backtestPeriodsde diferença. Ou seja,(mês de término dos resultados do backtest) >= (mês de término do modelo) +
backtestPeriods
Também é possível criar resultados de previsão para um modelo e realizar suas próprias análises de desempenho no nível do partido.
Saída do backtest
Os metadados dos resultados do backtest contêm as seguintes métricas. Em especial, essas métricas mostram o seguinte:
Como o modelo se comporta em comparação com rótulos de um período separado e para uma variedade de pontos de operação (volumes de investigação) ou limites de pontuação de risco.
Medições que podem ser usadas para avaliar a consistência do conjunto de dados (por exemplo, comparando os valores de ausência de famílias de recursos de diferentes operações)
| Nome da métrica | Descrição da métrica | Exemplo de valor de métrica |
|---|---|---|
| ObservedRecallValues | Métrica de recall medida no conjunto de dados especificado para backtesting. A API inclui 20 dessas medições, em diferentes pontos de operação, distribuídas uniformemente de 0 (não incluído) até 2 * partyInvestigationsPerPeriodHint ou partyCountExceedingThresholdPerPeriodHint, dependendo de qual desses dois campos foi usado como entrada para criar "BacktestResults".
A API adiciona uma medição de recall final na dica especificada.
Além do valor de recall, também fornecemos o numerador e o denominador como partiesCount e identifiedPartiesCount
respectivamente. Também fornecemos o número de partes que excedem o limite como partyCountExceedingThresholdPerPeriod.
|
{
"recallValues": [
{
"partyInvestigationsPerPeriod": 5000,
"partyCountExceedingThresholdPerPeriod": 10000,
"recallValue": 0.80,
"partiesCount": 60,
"identifiedPartiesCount": 48,
"scoreThreshold": 0.42,
},
...
...
{
"partyInvestigationsPerPeriod": 8000,
"partyCountExceedingThresholdPerPeriod": 16000,
"recallValue": 0.85,
"partiesCount": 60,
"identifiedPartiesCount": 51,
"scoreThreshold": 0.30,
},
],
}
|
| ObservedRecallValuesPerTypology | Métrica de recall em um nível de tipologia de risco medida no conjunto de dados especificado para backtesting. As medições seguem a mesma abordagem de ObservedRecallValues.
|
{
"recallValuesPerTypology": [
{
"partyInvestigationsPerPeriod": 5000,
"partyCountExceedingThresholdPerPeriod": 10000,
"riskTypology": "risk_typology_id_1",
"recallValue": 0.80,
"partiesCount": 60,
"identifiedPartiesCount": 48,
"scoreThreshold": 0.42,
},
{
"partyInvestigationsPerPeriod": 8000,
"partyCountExceedingThresholdPerPeriod": 16000,
"riskTypology": "risk_typology_id_1",
"recallValue": 0.90,
"partiesCount": 60,
"identifiedPartiesCount": 54,
"scoreThreshold": 0.30,
},
...
...
{
"partyInvestigationsPerPeriod": 8000,
"partyCountExceedingThresholdPerPeriod": 16000,
"riskTypology": "risk_typology_id_2",
"recallValue": 0.75,
"partiesCount": 4
"identifiedPartiesCount": 3,
"scoreThreshold": 0.30,
},
],
}
|
| Ausência |
Proporção de valores ausentes em todos os atributos de cada família de atributos. O ideal é que todas as famílias de recursos de IA de AML tenham uma falta próxima de 0. Pode haver exceções quando os dados dessas famílias de recursos não estão disponíveis para integração. Uma mudança significativa nesse valor para qualquer família de recursos entre ajuste, treinamento, avaliação e previsão pode indicar inconsistência nos conjuntos de dados usados. |
{
"featureFamilies": [
{
"featureFamily": "unusual_wire_credit_activity",
"missingnessValue": 0.00,
},
...
...
{
"featureFamily": "party_supplementary_data_id_3",
"missingnessValue": 0.45,
},
],
}
|
| Desvio |
Métricas que mostram o desvio entre os conjuntos de dados de treinamento e previsão ou backtest. O desvio de família indica mudanças na distribuição de valores de atributos em uma família de atributos, ponderadas pela importância do atributo nessa família. O valor máximo de distorção indica a distorção máxima de qualquer recurso nessa família. Os valores de distorção variam de 0, representando nenhuma mudança significativa na distribuição de valores de atributos na família, a 1 para a mudança mais significativa. Um valor grande para o desvio da família ou o desvio máximo indica uma mudança significativa na estrutura dos dados que pode afetar a performance do modelo. A distorção da família assume o valor -1 quando nenhum recurso da família é usado pelo modelo. Para valores de distorção grandes, faça uma destas ações:
Defina limites para agir com base nos valores de distorção máxima e familiar observando a variação natural nas métricas de distorção ao longo de vários meses. |
{
"featureFamilies": [
{
"featureFamily": "unusual_wire_credit_activity",
"familySkewValue": 0.10,
"maxSkewValue": 0.14,
},
...
...
{
"featureFamily": "party_supplementary_data_id_3",
"familySkewValue": 0.11,
"maxSkewValue": 0.11,
},
],
}
|