Automatiser la journalisation des données dans une exécution de test

La journalisation automatique est une fonctionnalité du SDK Vertex AI qui enregistre automatiquement les paramètres et les métriques des exécutions d'entraînement de modèles dans Vertex AI Experiments. Cela vous permet de gagner du temps, car vous n'avez plus besoin d'enregistrer manuellement ces données. Actuellement, la journalisation automatique permet seulement d'enregistrer les paramètres et les métriques.

Journalisation automatique des données

Deux options s'offrent à vous pour automatiser la journalisation des données dans Vertex AI Experiments.

  1. Laissez le SDK Vertex AI créer automatiquement des ressources ExperimentRun pour vous.
  2. Spécifiez la ressource ExperimentRun sur laquelle vous souhaitez que les paramètres et les métriques enregistrés automatiquement soient écrits.

Création automatique

Le SDK Agent Platform pour Python gère la création des ressources ExperimentRun pour vous. Les ressources ExperimentRun créées automatiquement porteront un nom d'exécution au format suivant : {ml-framework-name}-{timestamp}-{uid}, par exemple : "tensorflow-2023-01-04-16-09-20-86a88".

L'exemple suivant utilise la méthode init, des fonctions du package aiplatform .

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name : indiquez un nom pour votre test. Pour accéder à la liste des tests dans la console Google Cloud , sélectionnez Tests dans le menu de navigation.
  • experiment_tensorboard : (facultatif) indiquez le nom de votre instance Vertex AI TensorBoard.
  • project: . Vous pouvez trouver ces ID de projet sur la page Google Cloud console d'accueil.
  • location : consultez la liste des emplacements disponibles.

Spécifié par l'utilisateur

Nommez vos propres ressources ExperimentRun, puis enregistrez des métriques et des paramètres de plusieurs exécutions d'entraînements de modèle dans la même ressource ExperimentRun. Toutes les métriques du modèle vers l'exécution actuelle définies en appelant aiplatform.start_run("your-run-name") jusqu'à l'appel de aiplatform.end_run().

L'exemple suivant utilise la méthode init, des fonctions du package aiplatform .

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name : indiquez le nom de votre test.
  • run_name : indiquez le nom de votre exécution de test. Pour accéder à la liste des tests dans la Google Cloud console, sélectionnez Tests dans le menu de navigation.
  • project: . Vous pouvez le trouver sur la page de bienvenue de la Google Cloud console welcome.
  • location : consultez la liste des emplacements disponibles.
  • experiment_tensorboard (facultatif) : indiquez le nom de votre instance Vertex AI TensorBoard.

La journalisation automatique du SDK Vertex AI utilise la journalisation automatique de MLFlow dans sa mise en œuvre. Les métriques et les paramètres d'évaluation des frameworks suivants sont enregistrés dans votre ressource ExperimentRun lorsque la journalisation automatique est activée.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

Afficher les paramètres et les métriques enregistrés automatiquement

Utilisez le SDK Agent Platform pour Python pour comparer les exécutions et obtenir leurs données. La Google Cloud console permet de comparer facilement les exécutions.

Exemple de notebook associé

Article du blog