Automatiser la journalisation des données dans une exécution de test

La journalisation automatique est une fonctionnalité du SDK Agent Platform qui enregistre automatiquement les paramètres et les métriques des exécutions d'entraînement de modèles dans Agent Platform Experiments. Cela vous permet de gagner du temps, car vous n'avez plus besoin d'enregistrer manuellement ces données. Actuellement, la journalisation automatique permet seulement d'enregistrer les paramètres et les métriques.

Journalisation automatique des données

Deux options s'offrent à vous pour automatiser la journalisation des données dans Agent Platform Experiments.

  1. Laissez le SDK Agent Platform créer automatiquement des ressources ExperimentRun pour vous.
  2. Spécifiez la ressource ExperimentRun sur laquelle vous souhaitez que les paramètres et les métriques enregistrés automatiquement soient écrits.

Créées automatiquement

Le SDK Agent Platform pour Python gère la création des ressources ExperimentRun pour vous. Les ressources ExperimentRun créées automatiquement porteront un nom d'exécution au format suivant : {ml-framework-name}-{timestamp}-{uid} (par exemple, "tensorflow-2023-01-04-16-09-20-86a88").

L'exemple suivant utilise la méthode init des fonctions du package aiplatform.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name : indiquez un nom pour votre test. Pour accéder à la liste des tests dans la console Google Cloud , sélectionnez Tests dans le menu de navigation.
  • experiment_tensorboard : (Facultatif) indiquez un nom pour votre instance Agent Platform TensorBoard.
  • project : . Vous pouvez le trouver sur la page d'accueil de la console Google Cloud .
  • location : consultez la liste des emplacements disponibles.

Spécifiées par l'utilisateur

Nommez vos propres ressources ExperimentRun, puis enregistrez les métriques et les paramètres de plusieurs exécutions d'entraînement de modèles dans la même ressource ExperimentRun. Toutes les métriques du modèle jusqu'à l'exécution actuelle définies en appelant aiplatform.start_run("your-run-name") jusqu'à l'appel de aiplatform.end_run() sont enregistrées.

L'exemple suivant utilise la méthode init des fonctions du package aiplatform.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name : indiquez le nom de votre test.
  • run_name : indiquez le nom de votre exécution de test. Pour accéder à la liste des tests dans la console Google Cloud , sélectionnez Tests dans le menu de navigation.
  • project : . Vous pouvez le trouver sur la page d'accueil de la console Google Cloud .
  • location : consultez la liste des emplacements disponibles.
  • experiment_tensorboard : (Facultatif) indiquez un nom pour votre instance Agent Platform TensorBoard.

La journalisation automatique du SDK Agent Platform utilise la journalisation automatique de MLFlow dans son implémentation. Les métriques et les paramètres d'évaluation des frameworks suivants sont enregistrés dans votre ressource ExperimentRun lorsque la journalisation automatique est activée.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

Afficher les paramètres et les métriques enregistrés automatiquement

Utilisez le SDK Agent Platform pour Python pour comparer les exécutions et obtenir leurs données. La consoleGoogle Cloud permet de comparer facilement les exécutions.

Exemple de notebook associé

Article du blog