Tracking-Klassen

Das Agent Platform SDK für Python enthält Klassen, die Sie bei der Visualisierung, der Messung und dem Tracking unterstützen. Diese Klassen können in drei Typen unterteilt werden:

  • Klassen, die Metadaten verwenden, um Ressourcen in Ihrem ML-Workflow (maschinelles Lernen) zu verfolgen
  • Klassen, die für Vertex AI Experiments verwendet werden
  • Klassen, die für ein Vertex AI TensorBoard verwendet werden

Die folgenden Themen bieten einen Überblick über die Klassen, die sich auf das Tracking und die Überwachung eines ML-Workflows im Agent Platform SDK für Python beziehen.

Metadatenklassen

Mit dem Agent Platform SDK für Python können Sie Vertex ML Metadata erstellen, um die Metadaten in Ihrem ML-Workflow zu verfolgen und zu analysieren. Weitere Informationen finden Sie unter Einführung in Vertex ML Metadata.

Artifact

Die Klasse Artifact stellt die Metadaten in einem Artefakt in der Gemini Enterprise Agent Platform dar. Ein Artefakt ist eine diskrete Einheit oder ein Datenelement, das von einem ML-Workflow erstellt wird. Beispiele für Artefakte sind ein Dataset, ein Modell und eine Eingabedatei. Weitere Informationen finden Sie unter Ausführungen und Artefakte verfolgen.

Wenn Sie eine Artifact-Ressource erstellen, müssen Sie ihr Schema angeben. Jeder Artefakttyp hat ein eindeutiges Schema. Das system.Dataset-Schema stellt beispielsweise ein Dataset und das system.Metrics-Schema Bewertungsstatistiken dar. Weitere Informationen finden Sie unter Systemschemas verwenden.

Im folgenden Beispielcode wird gezeigt, wie Sie eine Artifact-Ressource erstellen, die ein Modell darstellt:

model_artifact = aiplatform.Artifact.create(
        schema_title="system.Model",
        display_name=PREPROCESSED_DATASET_NAME,
        uri=PREPROCESSED_DATASET_URI,

Execution

Die Klasse Execution stellt die Metadaten in einer Ausführung in der Gemini Enterprise Agent Platform dar. Eine Ausführung ist ein Schritt in einem ML-Workflow. Beispiele für eine Ausführung sind Datenverarbeitung, Training und Modellbewertung. Eine Ausführung kann Artefakte wie ein Dataset nutzen und ein Artefakt wie ein Modell erzeugen.

Verwenden Sie aiplatform.start_execution, um eine Execution-Ressource zu erstellen. Nachdem Sie eine Execution-Ressource erstellt haben, verwenden Sie dieselbe aiplatform.start_execution-Methode, wobei der Parameter resume auf True festgelegt ist, um sie fortzusetzen.

Das folgende Beispielcode zeigt, wie Sie eine Execution-Ressource erstellen:

with aiplatform.start_execution(schema_title='system.ContainerExecution',
                                display_name='trainer') as execution:
    execution.assign_input_artifacts([my_artifact])
    model = aiplatform.Artifact.create(uri='gs://my-uri', schema_title='system.Model')
    execution.assign_output_artifacts([model])

Vertex AI Experiments-Klassen

Sie können das Agent Platform SDK für Python verwenden, um Vertex AI Experiments zu erstellen und auszuführen. Mit Vertex AI Experiments können Sie protokollierte Messwerte und Parameter verfolgen, um Ihren ML-Workflow zu analysieren und zu optimieren. Weitere Informationen finden Sie unter Einführung in Vertex AI Experiments.

Weitere Informationen zur Verwendung der Klassen Experiment und ExperimentRun finden Sie in den folgenden Anleitungen:

Experiment

Die Klasse Experiment stellt einen Test in der Gemini Enterprise Agent Platform dar. Verwenden Sie ein Experiment, um seine Testausführungen und Pipelineausführungen mit verschiedenen Konfigurationen zu analysieren, z. B. mit mehreren Eingabeartefakten und Hyperparametern.

Es gibt zwei Möglichkeiten, eine Experiment-Ressource zu erstellen:

  1. Die bevorzugte Methode zum Erstellen eines Experiment besteht darin, beim Aufrufen von aiplatform.init einen Namen für den Test als Parameter anzugeben:

    # In a real world scenario it's likely you would specify more parameters
# when you call aiplatform.init. This sample shows only how to use the
# parameter used to create an Experiment.

# Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"

# Create the experiment
aiplatform.init(experiment=EXPERIMENT_NAME)

  2. Sie können auch aiplatform.Experiment.create aufrufen, um ein Experiment zu erstellen. Mit aiplatform.Experiment.create wird die Ressource Experiment erstellt, aber nicht auf eine globale Umgebung festgelegt. Aus diesem Grund können Sie den Test nicht mit aiplatform.start_run durchführen. Der folgende Beispielcode zeigt, wie Sie mit aiplatform.Experiment.create einen Test erstellen und dann ausführen:

    # Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"
EXPERIMENT_RUN_NAME = "your-run"

# Create the experiment
experiment = aiplatform.Experiment.create(experiment_name=EXPERIMENT_NAME)
experiment_run = aiplatform.ExperimentRun.create(EXPERIMENT_RUN_NAME, experiment=EXPERIMENT_NAME)

ExperimentRun

Die Klasse ExperimentRun stellt einen Lauf eines Experiments dar.

Der folgende Beispielcode zeigt, wie Sie einen Testlauf erstellen und starten und ihn dann verwenden, um Informationen über Ihren Test abzurufen. Rufen Sie zum Löschen der Testausführung einen Verweis auf die Instanz ExperimentRun ab und rufen Sie die Methode delete auf.

# Specify your project name, location, experiment name, and run name
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
EXPERIMENT_NAME = "experiment-1"
RUN_NAME = "run-1"

# Create the experiment to run
aiplatform.init(experiment=EXPERIMENT_NAME,
                project=PROJECT_NAME,
                location=LOCATION)

# Create and run an ExperimentRun resource. Next, you can use it to get
# information about your experiment. For example, you can log parameters and
# metrics with specified key-value pairs.
with aiplatform.start_run(RUN_NAME):
     aiplatform.log_params({'learning_rate': 0.1, 'dropout_rate': 0.2})
     aiplatform.log_metrics({'accuracy': 0.9, 'recall': 0.8})

# Get a reference to the ExperimentRun resource, get the parameters logged to 
# the run, get the summary metrics logged to the run, then delete it.
with aiplatform.start_run(RUN_NAME, resume=True) as run:
     run.get_params()
     run.get_metrics()
     run.delete()

Vertex AI TensorBoard-Klassen

Das Agent Platform SDK für Python enthält Klassen für die Verwendung einer verwalteten Version von Vertex AI TensorBoard, einer Open-Source-Lösung. Vertex AI TensorBoard ist ein Tool, mit dem Sie Messungen und Visualisierungen während Ihres ML-Workflows überwachen können. Weitere Informationen finden Sie unter Erste Schritte mit Vertex AI TensorBoard.

Weitere Informationen zur Verwendung des Agent Platform SDK für Python für die Verwendung von Vertex AI TensorBoard finden Sie in einem der folgenden Notebook-Tutorials:

Tensorboard

Die Klasse Tensorboard stellt eine verwaltete Ressource dar, in der Vertex AI TensorBoard-Tests gespeichert werden. Sie müssen eine Tensorboard-Instanz erstellen, bevor die Tests visualisiert werden können. Sie können in einem Google Cloud Projekt mehrereTensorboard-Instanzen erstellen.

Der folgende Beispielcode zeigt, wie eine Tensorboard-Instanz erstellt wird:

# Specify your project name, location, and the name of your Tensorboard
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
TENSORBOARD_NAME = "my-tensorboard"

aiplatform.init(project=PROJECT_NAME, location=LOCATION)

tensorboard = aiplatform.Tensorboard.create(
    display_name=TENSORBOARD_NAME,
    project=PROJECT_NAME,
    location=LOCATION,
)

TensorboardExperiment

TensorboardExperiment steht für eine Gruppe von TensorboardRun-Objekten. Eine TensorboardRun-Instanz stellt die Ergebnisse eines Trainingsjobs dar, der in einem Tensorboard ausgeführt wurde.

TensorboardRun

Eine Instanz der Klasse TensorboardRun wird einem Trainingsjob zugeordnet, der in einem Tensorboard mit einer bestimmten Gruppe von Hyperparametern, einer Modelldefinition, einem Dataset usw. ausgeführt wird.

TensorboardTimeSeries

Die Klasse TensorboardTimeSeries stellt eine Reihe dar, die in Trainingsläufen erstellt wird.

Nächste Schritte