Daten in einer Testausführung automatisch protokollieren

Autologging ist ein Feature im Vertex AI SDK, das Parameter und Messwerte automatisch aus Modelltrainingsläufen in Vertex AI Experiments protokolliert. Dies spart Zeit und Aufwand, da diese Daten nicht manuell protokolliert werden müssen. Das automatische Logging unterstützt nur das Parameter- und Messwert-Logging.

AutoLog-Daten

Es gibt zwei Optionen für das automatische Logging von Daten in Vertex AI Experiments.

  1. Das Vertex AI SDK erstellt automatisch ExperimentRun-Ressourcen für Sie.
  2. Geben Sie die ExperimentRun-Ressource an, in die automatisch geloggte Parameter und Messwerte geschrieben werden sollen

Automatisch erstellt

Das Agent Platform SDK für Python übernimmt das Erstellen von ExperimentRun-Ressourcen für Sie. Automatisch erstellte ExperimentRun-Ressourcen haben Ausführungsnamen im folgenden Format: {ml-framework-name}-{timestamp}-{uid}, z. B. „tensorflow-2023-01-04-16-09-20-86a88“.

Im folgenden Beispiel wird die init Methode, aus den aiplatform Paket Funktionen verwendet.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name: Geben Sie einen Namen für den Test an. Sie können die Liste der Tests in der Google Cloud Console aufrufen. Wählen Sie dazu im Bereich "Navigation" die Option Tests aus.
  • experiment_tensorboard: (Optional) Geben Sie einen Namen für Ihre Vertex AI TensorBoard Instanz ein.
  • project: . Sie finden diese Projekt-IDs auf der Google Cloud Console Begrüßungsseite.
  • location: Siehe Liste der verfügbaren Standorte

Vom Nutzer angegeben

Geben Sie Ihre eigenen ExperimentRun-Namen an und lassen Sie Messwerte und Parameter aus mehreren Modell-Trainingsläufen im selben ExperimentRun protokollieren. Alle Messwerte vom Modell bis zum aktuellen Ausführungssatz; dazu rufen Sie aiplatform.start_run("your-run-name") auf, bis aiplatform.end_run() aufgerufen wird.

Im folgenden Beispiel wird die init Methode, aus den aiplatform Paketfunktionen verwendet.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name: Geben Sie den Namen Ihres Tests an.
  • run_name: Geben Sie einen Namen für den Testlauf an. Sie können die Liste der Tests in der Google Cloud Console aufrufen. Wählen Sie dazu im Bereich "Navigation" die Option Tests aus.
  • project: . Sie finden diese Projekt-IDs auf der Google Cloud Console Begrüßungsseite.
  • location: Siehe Liste der verfügbaren Standorte
  • experiment_tensorboard: (Optional) Geben Sie einen Namen für Ihre Vertex AI TensorBoard-Instanz ein.

Das automatische Logging des Vertex AI SDK verwendet in seiner Implementierung das automatische Logging von MLFlow. Bewertungsmesswerte und -parameter aus folgenden Frameworks werden in Ihrem ExperimentRun protokolliert, wenn das automatische Logging aktiviert ist.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

Automatisch protokollierte Parameter und Messwerte anzeigen

Verwenden Sie das Agent Platform SDK für Python um Ausführungen zu vergleichen und Ausführungsdaten abzurufen. In der Google Cloud Console können Sie diese Ausführungen ganz einfach vergleichen.

Relevantes Notebookbeispiel

Blogpost