Esegui il job di addestramento con il monitoraggio degli esperimenti

Gemini Enterprise Agent Platform fornisce un servizio di addestramento gestito che ti consente di rendere operativo l'addestramento di modelli su larga scala. Puoi attivare il monitoraggio degli esperimenti utilizzando l'SDK Agent Platform per Python per acquisire parametri e metriche delle prestazioni quando invii il job di addestramento personalizzato.

Questa funzionalità non è disponibile quando:

  • invia un job di addestramento tramite la console Google Cloud o Google Cloud CLI,
  • utilizzare la TPU nel job di addestramento,
  • utilizza l'addestramento distribuito nel job di addestramento.

Sono supportati sia i container di addestramento predefiniti sia i container personalizzati. È necessario installare una versione dell'SDK Agent Platform per Python superiore alla 1.24.1 per google-cloud-aiplatform. Se esegui l'addestramento con TensorFlow, assicurati che sia installata la versione protobuf inferiore alla 4.0 per evitare conflitti.

Esistono due opzioni per registrare i dati in Vertex AI Experiments: la registrazione automatica e la registrazione manuale.

La registrazione automatica è consigliata se utilizzi uno di questi framework supportati: Fastai, Gluon, Keras, LightGBM, Pytorch Lightning, Scikit-learn, Spark, Statsmodels, XGBoost. Se il tuo framework non è supportato o se vuoi registrare metriche personalizzate nell'esecuzione dell'esperimento, puoi adattare manualmente lo script di addestramento per registrare parametri, metriche e artefatti.

Dati di AutoLog

Per attivare la registrazione automatica, imposta enable_autolog=True, vedi from_local_script. Hai la possibilità di creare o meno un'esecuzione dell'esperimento. Se non viene specificato un nome per l'esperimento, ne viene creato uno per te.

L'SDK Agent Platform per Python gestisce la creazione delle risorse ExperimentRun per te.

Python

def create_custom_job_with_experiment_autologging_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    service_account: str,
    experiment: str,
    experiment_run: Optional[str] = None,
) -> None:
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket, experiment=experiment)

    job = aiplatform.CustomJob.from_local_script(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
        enable_autolog=True,
    )

    job.run(
        service_account=service_account,
        experiment=experiment,
        experiment_run=experiment_run,
    )
  • project: . Puoi trovare questi ID progetto nella pagina Benvenuto della console Google Cloud .
  • location: vedi l'elenco delle località disponibili.
  • staging_bucket: Il nome che hai dato al bucket, ad esempio my_bucket.
  • display_name: il nome definito dall'utente di CustomJob.
  • script_path: il percorso relativo alla directory di lavoro nel file system locale e in cui si trova lo script che funge da punto di ingresso per il codice di addestramento.
  • container_uri: l'URI dell'immagine container di addestramento può essere un Gemini Enterprise Agent Platform container di addestramento predefinito o un container personalizzato
  • service_account: Consulta Creare un account di servizio con le autorizzazioni richieste.
  • experiment: fornisci un nome per l'esperimento. L'esperimento deve avere un'istanza TensorBoard. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.
  • experiment_run: (facoltativo) specifica un nome di esecuzione. Se non specificata, viene creata automaticamente un'esecuzione.

Registrare manualmente i dati

Utilizza l'opzione di registrazione manuale dei dati per incorporare il copione dell'allenamento.

Ecco come modificare lo script di addestramento:

import os
import pickle
import pandas as pd
from sklearn.linear_model import LinearRegression
# To use manual logging APIs, import aiplatform
from google.cloud import aiplatform

# Create Dataset
data = {'A': [1.1,2.2,4.1,5.2],
        'B': [200, 212.12, 22, 123],
        'Y': [1,0,1,0]}
df = pd.DataFrame(data)
X = df[['A', 'B']]
Y = df['Y']

# Train model
model = LinearRegression().fit(X, Y)

# Save the model to gcs
model_dir = os.getenv('AIP_MODEL_DIR')
model_gcs = model_dir.replace('gs://', '/gcs/')
model_name = 'model.joblib'
os.mkdir(model_gcs)
f = open(os.path.join(model_gcs, model_name), 'wb')
pickle.dump(model, f)

f = open(os.path.join(model_gcs, model_name), 'wb')
    pickle.dump(model, f)

# Call aiplatform's logging APIs to save data to Vertex AI Experiments.
params = model.get_params()
aiplatform.log_params(params)
metrics = {"training_accuracy": model.score(X,Y)}
aiplatform.log_metrics(metrics)

Puoi creare o meno un'esecuzione dell'esperimento. Se non viene specificato un nome per l'esperimento, ne viene creato uno per te.

Scopri di più in Registrare manualmente i dati in un'esecuzione di esperimento.

Python

def create_custom_job_with_experiment_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    service_account: str,
    experiment: str,
    experiment_run: Optional[str] = None,
) -> None:
    aiplatform.init(
        project=project,
        location=location,
        staging_bucket=staging_bucket,
        experiment=experiment
    )

    job = aiplatform.CustomJob.from_local_script(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
    )

    job.run(
        service_account=service_account,
        experiment=experiment,
        experiment_run=experiment_run,
    )
  • project: . Puoi trovare questi ID progetto nella pagina Benvenuto della console Google Cloud .
  • location: consulta l'elenco delle località disponibili
  • staging_bucket: Il nome che hai dato al bucket, ad esempio my_bucket.
  • display_name: il nome definito dall'utente di CustomJob.
  • script_path: il percorso relativo alla directory di lavoro nel file system locale e in cui si trova lo script che funge da punto di ingresso per il codice di addestramento.
  • container_uri: l'URI dell'immagine container di addestramento può essere un immagine container di addestramento predefinita di Gemini Enterprise Agent Platform o un container personalizzato. Se utilizzi un container personalizzato, assicurati che sia installato google-cloud-aiplatform>=1.24.0.
  • service_account: Consulta Creare un account di servizio con le autorizzazioni richieste.
  • experiment: fornisci un nome per l'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella barra di navigazione della sezione.
  • experiment_run: specifica un nome di esecuzione. Se non specificata, una corsa viene creata automaticamente.

Visualizzare parametri e metriche registrati automaticamente

Utilizza l'SDK Agent Platform per Python per confrontare le esecuzioni e ottenere i dati delle esecuzioni. La console Google Cloud offre un modo semplice per confrontare queste esecuzioni.

Passaggi successivi

Esempio di notebook pertinente