Consigner des modèles dans une exécution de test

Pour qu'un modèle puisse être suivi, partagé et analysé, le SDK Agent Platform pour Python fournit une API qui sérialise un modèle de machine learning dans une classe ExperimentModel et le consigne dans Vertex AI Experiments.

Après avoir choisi le meilleur modèle à utiliser, vous pouvez l'enregistrer depuis Vertex AI Experiments vers Gemini Enterprise Agent Platform Model Registry.

Les frameworks compatibles sont scikit-learn, XGBoost et TensorFlow.

Enregistrer et consigner un modèle de ML

Enregistrer les modèles

Le SDK Vertex AI fournit la save_model méthode pour sérialiser un modèle de ML, importer le modèle dans Cloud Storage, et le représenter en tant qu' artefact Vertex ML Metadata.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def save_model_sample(
    project: str,
    location: str,
    model: Union[
        "sklearn.base.BaseEstimator", "xgb.Booster", "tf.Module"  # noqa: F821
    ],
    artifact_id: Optional[str] = None,
    uri: Optional[str] = None,
    input_example: Optional[
        Union[list, dict, "pd.DataFrame", "np.ndarray"]  # noqa: F821
    ] = None,
    display_name: Optional[str] = None,
    staging_bucket: Optional[str] = None,
) -> None:
    aiplatform.init(project=project, location=location)

    aiplatform.save_model(
        model=model,
        artifact_id=artifact_id,
        uri=uri,
        input_example=input_example,
        display_name=display_name,
        staging_bucket=staging_bucket,
    )
  • project: . Vous trouverez ces ID sur la page de bienvenue de la console. Google Cloud
  • location : consultez la liste des emplacements disponibles.
  • model : (Obligatoire). Modèle de machine learning. (Union["sklearn.base.BaseEstimator", "xgb.Booster", "tf.Module"])
  • artifact_id : facultatif. ID de ressource de l'artefact. Cet ID doit être unique dans un metadataStore. Il peut contenir jusqu'à 63 caractères, et les caractères valides sont [a-z0-9_-]. Le premier caractère ne peut pas être un chiffre ni un trait d'union.
  • uri : facultatif. Répertoire gcs dans lequel enregistrer le fichier de modèle. Si aucun URI n'est fourni, gs://default-bucket/timestamp-uuid-frameworkName-model est utilisé. Si aucun bucket de préproduction par défaut n'est défini, il doit être transmis dans le paramètre staging_bucket.
  • input_example : facultatif. Chaque modèle prend des données d'entrée, puis produit une prédiction. Chaque modèle accepte un format d'entrée particulier (par exemple, un nombre, une chaîne, un tableau 2D) et est stocké en tant que fichier YAML dans l'URI gcs. Accepte les paramètres "list", "dict", "pd.DataFrame" et "np.ndarray". La valeur d'une liste doit être de type scalaire ou liste. La valeur dans un dictionnaire doit être de type scalaire, liste ou np.ndarray. (Union[list, dict, pd.DataFrame, np.ndarray]).
  • display_name : nom à afficher de l'artefact.
  • staging_bucket : facultatif. Bucket de préproduction utilisé pour enregistrer le modèle. S'il n'est pas fourni, le bucket de préproduction défini dans aiplatform.init est utilisé. Un bucket de préproduction ou un URI est requis pour enregistrer un modèle.

Modèles de journaux

Le SDK Vertex AI fournit une méthode log_model, qui orchestre save_model et une étape supplémentaire pour consigner l'artefact Vertex ML Metadata dans l'exécution du test en cours. La méthode log_model permet de gérer et d'analyser plusieurs modèles de ML dans Vertex AI Experiments.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def log_model_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    model: Union[
        "sklearn.base.BaseEstimator", "xgb.Booster", "tf.Module"  # noqa: F821
    ],
    artifact_id: Optional[str] = None,
    uri: Optional[str] = None,
    input_example: Optional[
        Union[list, dict, "pd.DataFrame", "np.ndarray"]  # noqa: F821
    ] = None,  # noqa: F821
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_model(
        model=model,
        artifact_id=artifact_id,
        uri=uri,
        input_example=input_example,
        display_name=display_name,
    )
  • experiment_name : indiquez le nom de votre test. Vous trouverez la liste de vos tests dans la console Google Cloud en sélectionnant "Tests" dans le menu de navigation.
  • run_name : spécifiez un nom d'exécution.
  • project: . Vous trouverez ces ID sur la page de bienvenue de la console. Google Cloud
  • location : consultez la liste des emplacements disponibles.
  • model : valeur obligatoire. Modèle de machine learning. (Union["sklearn.base.BaseEstimator", "xgb.Booster", "tf.Module"])
  • uri : facultatif. Répertoire gcs dans lequel enregistrer le fichier de modèle. Si aucun URI n'est fourni, gs://default-bucket/timestamp-uuid-frameworkName-model est utilisé. Si aucun bucket de préproduction par défaut n'est défini, un bucket est créé.
  • input_example : facultatif. Chaque modèle prend des données d'entrée, puis produit une prédiction. Chaque modèle accepte un format d'entrée particulier (par exemple, un nombre, une chaîne, un tableau 2D) et est stocké en tant que fichier YAML dans l'URI gcs. Accepte les paramètres "list", "dict", "pd.DataFrame" et "np.ndarray". La valeur d'une liste doit être de type scalaire ou liste. La valeur dans un dictionnaire doit être de type scalaire, liste ou np.ndarray. (Union[list, dict, pd.DataFrame, np.ndarray]).
  • display_name : facultatif. Nom à afficher de l'artefact.

Suivre ExperimentModel

Obtenir le modèle de test

Pour renvoyer un modèle enregistré à l'aide de get_experiment_model, transmettez-lui l'ID d'artefact du modèle enregistré.

Python

from google.cloud import aiplatform


def get_experiment_model_sample(
    project: str,
    location: str,
    artifact_id: str,
) -> "ExperimentModel":  # noqa: F821
    aiplatform.init(project=project, location=location)
    experiment_model = aiplatform.get_experiment_model(artifact_id=artifact_id)

    return experiment_model

Obtenir des modèles de test

La méthode get_experiment_models permet d'obtenir la liste de toutes les ExperimentModel's qui sont enregistrées dans une exécution de test particulière.

Python

from typing import List, Union

from google.cloud import aiplatform


def get_experiment_run_models_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List["ExperimentModel"]:  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_experiment_models()

Obtenir des informations sur le modèle

La méthode get_model_info renvoie les métadonnées de modèle d'une instance ExperimentModel donnée, par exemple la classe de modèle ou le type de framework.

Python

from typing import Any, Dict

from google.cloud import aiplatform


def get_model_info_sample(
    artifact_id: str,
    project: str,
    location: str,
) -> Dict[str, Any]:
    experiment_model = aiplatform.get_experiment_model(
        artifact_id=artifact_id, project=project, location=location
    )

    return experiment_model.get_model_info()

Charger ExperimentModel

Charger le modèle

La méthode load_experiment_model vous permet de désérialiser une ExperimentModel instance dans le modèle de ML d'origine.

Python

from typing import Union

from google.cloud import aiplatform


def load_experiment_model_sample(
    artifact_id: str,
    project: str,
    location: str,
) -> Union["sklearn.base.BaseEstimator", "xgb.Booster", "tf.Module"]:  # noqa: F821:
    experiment_model = aiplatform.get_experiment_model(
        artifact_id=artifact_id, project=project, location=location
    )

    return experiment_model.load_model()

Enregistrer un ExperimentModel

Enregistrer le modèle sauvegardé

L'API register_experiment_model permet d'enregistrer le modèle qui a été considéré comme le meilleur dans Gemini Enterprise Agent Platform Model Registry avec une configuration minimale. L'API choisit automatiquement un conteneur de prédiction prédéfini en fonction du framework et de la version du modèle.

Python

from google.cloud import aiplatform


def register_experiment_model_sample(
    artifact_id: str,
    project: str,
    location: str,
    display_name: str,
) -> aiplatform.models.Model:
    experiment_model = aiplatform.get_experiment_model(
        artifact_id=artifact_id, project=project, location=location
    )

    return experiment_model.register_model(display_name=display_name)

Afficher la liste des exécutions de tests dans la console Google Cloud

  1. Dans la console Google Cloud , accédez à la page Tests.
    Accéder à la page "Tests"
    La liste des tests s'affiche.
  2. Sélectionnez le test que vous souhaitez vérifier.
    Une liste des exécutions s'affiche.

Page de la liste des tests de Vertex AI

Étape suivante

Exemple de notebook pertinent

Article du blog