Tracking-Klassen

Das Agent Platform SDK für Python enthält Klassen, die Sie bei der Visualisierung, der Messung und dem Tracking unterstützen. Diese Klassen können in drei Typen unterteilt werden:

  • Klassen, die Metadaten verwenden, um Ressourcen in Ihrem ML-Workflow (maschinelles Lernen) zu verfolgen
  • Klassen, die für Tests auf der Agent Platform verwendet werden
  • Klassen, die für ein Vertex AI TensorBoard der Agent Platform verwendet werden

Die folgenden Themen bieten einen Überblick über die Klassen, die sich auf das Tracking und Monitoring eines ML-Workflows im Agent Platform SDK für Python beziehen.

Metadatenklassen

Mit dem Agent Platform SDK für Python können Sie Gemini Enterprise Agent Platform ML-Metadaten erstellen, um die Metadaten in Ihrem ML-Workflow zu verfolgen und zu analysieren. Weitere Informationen finden Sie unter Einführung in Gemini Enterprise Agent Platform ML-Metadaten.

Artifact {: id="artifact-class"}

Die Klasse Artifact stellt die Metadaten in einem Artefakt in der Gemini Enterprise Agent Platform dar. Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt wird. Beispiele für ein Artefakt sind ein Dataset oder ein Modell. Weitere Informationen finden Sie unter Ausführungen und Artefakte verfolgen.

Wenn Sie eine Artifact-Ressource erstellen, müssen Sie ihr Schema angeben. Jeder Artefakttyp hat ein eindeutiges Schema. Das Schema system.Dataset stellt beispielsweise ein Dataset dar und das Schema system.Metrics Bewertungsmesswerte. Weitere Informationen finden Sie unter Systemschemas verwenden.

Der folgende Beispielcode zeigt, wie Sie eine Artifact-Ressource erstellen, die ein Modell darstellt:

model_artifact = aiplatform.Artifact.create(
        schema_title="system.Model",
        display_name=PREPROCESSED_DATASET_NAME,
        uri=PREPROCESSED_DATASET_URI,
)

Execution

Die Klasse Execution stellt die Metadaten in einer Ausführung in der Gemini Enterprise Agent Platform dar. Eine Ausführung ist ein Schritt in einem ML-Workflow. Beispiele für eine Ausführung sind Datenverarbeitung, Training und Modellbewertung. Eine Ausführung kann Artefakte wie ein Dataset nutzen und ein Artefakt wie ein Modell erzeugen.

Verwenden Sie aiplatform.start_execution, um eine Execution-Ressource zu erstellen. Nachdem Sie eine Execution-Ressource erstellt haben, verwenden Sie dieselbe aiplatform.start_execution-Methode, wobei der Parameter resume auf True festgelegt ist, um sie fortzusetzen.

Der folgende Beispielcode zeigt, wie Sie eine Execution-Ressource erstellen:

with aiplatform.start_execution(schema_title='system.ContainerExecution',
                                display_name='trainer') as execution:
    execution.assign_input_artifacts([my_artifact])
    model = aiplatform.Artifact.create(uri='gs://my-uri', schema_title='system.Model')
    execution.assign_output_artifacts([model])

Vertex AI Experiments-Klassen

Mit dem Agent Platform SDK für Python können Sie Tests auf der Agent Platform erstellen und ausführen. Verwenden Sie Experimente auf der Agent Platform, um protokollierte Log-Messwerte und Parameter zu verfolgen, damit Sie Ihren ML-Workflow analysieren und optimieren können. Weitere Informationen finden Sie unter Einführung in Experimente auf der Agent Platform.

Weitere Informationen zur Verwendung der Klassen Experiment und ExperimentRun finden Sie in den folgenden Anleitungen:

Experiment

Die Klasse Experiment stellt ein Experiment in der Gemini Enterprise Agent Platform dar. Verwenden Sie ein Experiment, um seine Testausführungen und Pipelineausführungen mit verschiedenen Konfigurationen zu analysieren, z. B. mit mehreren Eingabeartefakten und Hyperparametern.

Es gibt zwei Möglichkeiten, eine Experiment-Ressource zu erstellen:

  1. Die bevorzugte Methode zum Erstellen eines Experiment besteht darin, beim Aufrufen von aiplatform.init einen Namen für den Test als Parameter anzugeben:

    # In a real world scenario it's likely you would specify more parameters
# when you call aiplatform.init. This sample shows only how to use the
# parameter used to create an Experiment.

# Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"

# Create the experiment
aiplatform.init(experiment=EXPERIMENT_NAME)

  2. Sie können auch aiplatform.Experiment.create aufrufen, um ein Experiment zu erstellen. aiplatform.Experiment.create erstellt die Ressource Experiment, legt sie aber nicht als globale Umgebung fest. Daher können Sie den Test nicht mit aiplatform.start_run ausführen. Der folgende Beispielcode zeigt, wie Sie mit aiplatform.Experiment.create einen Test erstellen und dann ausführen:

    # Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"
EXPERIMENT_RUN_NAME = "your-run"

# Create the experiment
experiment = aiplatform.Experiment.create(experiment_name=EXPERIMENT_NAME)
experiment_run = aiplatform.ExperimentRun.create(EXPERIMENT_RUN_NAME, experiment=EXPERIMENT_NAME)

ExperimentRun

Die Klasse ExperimentRun stellt die Ausführung eines Experiments dar.

Der folgende Beispielcode zeigt, wie Sie einen Testlauf erstellen und starten und ihn dann verwenden, um Informationen über Ihren Test abzurufen. Rufen Sie zum Löschen der Testausführung einen Verweis auf die Instanz ExperimentRun ab und rufen Sie die Methode delete auf.

# Specify your project name, location, experiment name, and run name
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
EXPERIMENT_NAME = "experiment-1"
RUN_NAME = "run-1"

# Create the experiment to run
aiplatform.init(experiment=EXPERIMENT_NAME,
                project=PROJECT_NAME,
                location=LOCATION)

# Create and run an ExperimentRun resource. Next, you can use it to get
# information about your experiment. For example, you can log parameters and
# metrics with specified key-value pairs.
with aiplatform.start_run(RUN_NAME):
     aiplatform.log_params({'learning_rate': 0.1, 'dropout_rate': 0.2})
     aiplatform.log_metrics({'accuracy': 0.9, 'recall': 0.8})

# Get a reference to the ExperimentRun resource, get the parameters logged to
# the run, get the summary metrics logged to the run, then delete it.
with aiplatform.start_run(RUN_NAME, resume=True) as run:
     run.get_params()
     run.get_metrics()
     run.delete()

Vertex AI TensorBoard-Klassen

Das Agent Platform SDK für Python enthält Klassen für die Arbeit mit einer verwalteten Version des Open-Source-Tools Vertex AI TensorBoard. Vertex AI TensorBoard ist ein Tool, mit dem Sie Messungen und Visualisierungen während Ihres ML-Workflows überwachen können. Weitere Informationen finden Sie unter Erste Schritte mit Vertex AI TensorBoard.

Weitere Informationen über die Verwendung des Agent Platform SDK für Python für die Verwendung von Vertex AI TensorBoard finden Sie in einem der folgenden Notebook-Tutorials:

Tensorboard

Die Klasse Tensorboard stellt eine verwaltete Ressource dar, in der Vertex AI TensorBoard-Tests gespeichert werden. Sie müssen eine Tensorboard-Instanz erstellen, bevor die Tests visualisiert werden können. Sie können in einem Google Cloud -Projekt mehrere Tensorboard-Instanzen erstellen.

Der folgende Beispielcode zeigt, wie Sie eine Tensorboard-Instanz erstellen:

# Specify your project name, location, and the name of your Tensorboard
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
TENSORBOARD_NAME = "my-tensorboard"

aiplatform.init(project=PROJECT_NAME, location=LOCATION)

tensorboard = aiplatform.Tensorboard.create(
    display_name=TENSORBOARD_NAME,
    project=PROJECT_NAME,
    location=LOCATION,
)

TensorboardExperiment

TensorboardExperiment stellt eine Gruppe von TensorboardRun-Objekten dar. Eine TensorboardRun-Instanz stellt die Ergebnisse eines Trainingsjoblaufs in einem Tensorboard dar.

TensorboardRun

Eine Instanz der Klasse TensorboardRun wird einem Trainingsjob zugeordnet, der in einem Tensorboard mit einem bestimmten Satz von Hyperparametern, einer Modelldefinition, einem Dataset und mehr ausgeführt wird.

TensorboardTimeSeries

Die Klasse TensorboardTimeSeries stellt eine Reihe dar, die in Trainingsläufen erstellt wurde.

Nächste Schritte