Cette page explique comment utiliser les journaux de plate-forme générés par AML AI dans le cadre de Cloud Logging. AML AI utilise le nom de service de l'API Logging financialservices.googleapis.com pour consigner l'activité suivante :
- Création de la configuration du moteur (réglage)
- Création de modèles (entraînement)
- Opérations de backtest
- Opérations de prédiction
Avant de commencer
Pour afficher et gérer les journaux, assurez-vous de disposer des autorisations et rôles IAM appropriés.
État d'activation de la journalisation de la plate-forme
Les journaux de plate-forme pour AML AI sont toujours actifs (ils ne peuvent pas être désactivés).
Niveau de gravité du journal
Les entrées de journal AML AI utilisent trois niveaux de gravité :
NOTICEpour les entrées envoyées lorsque les opérations démarrent ou réussissentERRORpour les entrées concernant la fin des opérations ayant échouéINFOpour les entrées concernant la progression des opérations
Afficher les journaux de plate-forme
Pour afficher les journaux de plate-forme, procédez comme suit :
Console
Pour afficher les journaux de plate-forme dans la console Google Cloud :
Accédez à l'explorateur de journaux :
Sélectionnez le projet Google Cloud approprié.
Dans le champ Requête, saisissez la commande de requête suivante :
logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR "projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")où :
PROJECT_IDest l'ID du projet que vous souhaitez déboguer ou surveiller. Exemple :my-projectCliquez sur Exécuter la requête.
Pour en savoir plus sur l'explorateur de journaux, consultez les pages Présentation de l'explorateur de journaux et Utiliser l'explorateur de journaux.
gcloud
L'outil de ligne de commande gcloud fournit une interface de ligne de commande à Cloud Logging.
Pour afficher les journaux de votre projet, exécutez la commande suivante :
gcloud logging read 'logName=("projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fbacktest" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation" OR
"projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction")' --project=PROJECT_ID
où PROJECT_ID correspond à l'ID de votre projet Google Cloud .
Pour en savoir plus sur l'utilisation de l'outil gcloud avec Cloud Logging, consultez gcloud logging.
Comprendre les journaux de plate-forme
Cette section explique comment comprendre les journaux de plate-forme spécifiques à AML AI.
Journal START
Les journaux avec eventKind=START sont générés lorsque l'opération commence son exécution.
Voici un exemple de journal de démarrage d'une prédiction.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.PredictionLog
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
eventKind: START
predictionResult:
dataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
endTime: '2023-05-31T00:00:00Z'
model: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/models/MODEL_ID
outputs:
explainabilityDestination:
tableUri: bq://PROJECT_ID.DATASET_ID.EXPLAINABILITY_TABLE_ID
writeDisposition: WRITE_EMPTY
predictionDestination:
tableUri: bq://PROJECT_ID.DATASET_ID.PREDICTION_TABLE_ID
writeDisposition: WRITE_EMPTY
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction
operation:
first: true
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T12:30:48.417285528Z'
resource:
labels:
instance_id: INSTANCE_ID
location: REGION_ID
prediction_result_id: PREDICTION_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/PredictionResult
Vous pouvez ajouter des commandes supplémentaires dans le champ Requête de l'explorateur de journaux pour affiner les journaux affichés.
Ajoutez la commande suivante pour afficher toutes les prédictions en cours d'exécution sur un ensemble de données sélectionné :
logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fprediction" AND jsonPayload.predictionResult.dataset="projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID" AND jsonPayload.eventKind="START"
Journal PROGRESS
Les journaux avec eventKind=PROGRESS fournissent des informations sur la progression d'une opération.
Voici un exemple de journal de création d'un modèle. La comparaison entre completedTaskCount et taskCount peut être utilisée pour estimer les progrès réalisés lors de l'entraînement du modèle.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.ModelCreationLog
completedTaskCount: 11
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
eventKind: PROGRESS
model:
endTime: '2023-05-31T00:00:00Z'
engineConfig: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineConfigs/ENGINE_CONFIG_ID
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
lineOfBusiness: RETAIL
primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
state: CREATING
partyCount: '9246'
taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fmodel_creation
operation:
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T13:57:00.454668648Z'
resource:
labels:
instance_id: INSTANCE_ID
location: REGION_ID
model_id: MODEL_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/Model
severity: INFO
timestamp: '2023-06-07T13:56:59.772973055Z'
Journal END
Les journaux avec eventKind=END sont générés à la fin de l'opération.
Voici un exemple de journal de création de configuration de moteur ayant échoué. Il contient l'erreur concernant les données incorrectes dans l'ensemble de données fourni.
jsonPayload:
'@type': type.googleapis.com/google.cloud.financialservices.logging.v1.EngineConfigCreationLog
completedTaskCount: 3
engineConfig:
engineVersion: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/engineVersions/ENGINE_VERSION_ID
lineOfBusiness: RETAIL
performanceTarget:
partyInvestigationsPerPeriodHint: '100'
state: CREATING
tuning:
endTime: '2019-04-30T00:00:00Z'
primaryDataset: projects/PROJECT_ID/locations/REGION_ID/instances/INSTANCE_ID/datasets/DATASET_ID
eventKind: END
operationStatus:
code: 9
details:
- '@type': type.googleapis.com/google.rpc.ErrorInfo
domain: financialservices.googleapis.com
metadata:
count: '15'
data_field: party_id, validity_start_time
data_table: party
description: There is a duplicate primary key value in the database resulting
in unique key violation. Note that for tables with validity_start_time,
the primary key includes validity_start_time
test: GROUP BY party_id, validity_start_time HAVING count(1) > 1
reason: DUPLICATE_PRIMARY_KEY
message: Dataset validation failed with 1 error. See error details for individual
violations.
partyCount: '9246'
taskCount: 16
logName: projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation
operation:
id: projects/PROJECT_NUMBER/locations/REGION_ID/operations/OPERATION_ID
last: true
producer: financialservices.googleapis.com
receiveTimestamp: '2023-06-07T14:26:30.214382295Z'
resource:
labels:
engine_config_id: ENGINE_CONFIG_ID
instance_id: INSTANCE_ID
location: REGION_ID
resource_container: projects/PROJECT_NUMBER
type: financialservices.googleapis.com/EngineConfig
severity: ERROR
timestamp: '2023-06-07T14:26:29.670913895Z'
Pour afficher tous les journaux d'erreurs de configuration du moteur de création, utilisez le filtre ci-dessous :
logName="projects/PROJECT_ID/logs/financialservices.googleapis.com%2Fengine_config_creation" AND severity>=ERROR