Créer et gérer des modèles
Ce document explique comment régler et utiliser un LLM de traduction personnalisé.
Avant de commencer
Avant de commencer, vous devez préparer un ensemble de données pour le réglage supervisé. Selon votre cas d'utilisation, les exigences varient.
- Préparer un ensemble de données textuelles pour le réglage : réglage de texte
Activer l'API Vertex AI
Pour ajuster un modèle TLLM personnalisé, vous devez procéder comme suit :
Activez l'API Vertex AI.
Rôles requis pour activer les API
Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.
Modèles compatibles
translation-llm-002(compatible avec le réglage de texte. En version preview.)
Créer un job de réglage
Vous pouvez créer un job de réglage supervisé à l'aide de l'API REST ou du SDK Vertex AI pour Python.
REST
Pour créer un job de réglage de modèle, envoyez une requête POST à l'aide de la méthode tuningJobs.create. Certains paramètres ne sont pas compatibles avec tous les modèles. Veillez à n'inclure que les paramètres applicables au modèle que vous réglez.
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- PROJECT_ID : PROJECT_ID.
- TUNING_JOB_REGION : région dans laquelle le job de réglage est exécuté. Il s'agit également de la région par défaut dans laquelle le modèle réglé est importé. Région compatible :
us-central1. - BASE_MODEL : nom du modèle de traduction à régler. Valeurs acceptées :
translation-llm-002. - TRAINING_DATASET_URI : URI Cloud Storage de votre ensemble de données d'entraînement. L'ensemble de données doit respecter le format de fichier JSONL. Pour de meilleurs résultats, fournissez au moins 100 à 500 exemples. Pour en savoir plus, consultez À propos des ensembles de données de réglage supervisé.
- VALIDATION_DATASET_URI (facultatif) : URI Cloud Storage du fichier de votre ensemble de données de validation.
- TUNED_MODEL_DISPLAYNAME (facultatif) : nom à afficher pour le modèle réglé. Si ce paramètre n'est pas défini, un nom aléatoire est généré.
Méthode HTTP et URL :
POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
Corps JSON de la requête :
{
"baseModel": "BASE_MODEL",
"supervisedTuningSpec" : {
"trainingDatasetUri": "TRAINING_DATASET_URI",
"validationDatasetUri": "VALIDATION_DATASET_URI",
},
"tunedModelDisplayName": "TUNED_MODEL_DISPLAYNAME"
}
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"
PowerShell
Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
Python
from vertexai.generative_models import GenerativeModel
sft_tuning_job = sft.SupervisedTuningJob("projects/<PROJECT_ID>/locations/<TUNING_JOB_REGION>/tuningJobs/<TUNING_JOB_ID>")
tuned_model = GenerativeModel(sft_tuning_job.tuned_model_endpoint_name)
print(tuned_model.generate_content(content))
import time
import vertexai
from vertexai.tuning import sft
# TODO(developer): Update and un-comment below line.
# PROJECT_ID = os.environ["GOOGLE_CLOUD_PROJECT"]
vertexai.init(project=PROJECT_ID, location="us-central1")
sft_tuning_job = sft.train(
source_model="translation-llm-002",
train_dataset="gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_train_data.jsonl",
# The following parameters are optional
validation_dataset="gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_validation_data.jsonl",
tuned_model_display_name="tuned_translation_llm_002",
)
# Polling for job completion
while not sft_tuning_job.has_ended:
time.sleep(60)
sft_tuning_job.refresh()
print(sft_tuning_job.tuned_model_name)
print(sft_tuning_job.tuned_model_endpoint_name)
print(sft_tuning_job.experiment)
# Example response:
# projects/123456789012/locations/us-central1/models/1234567890@1
# projects/123456789012/locations/us-central1/endpoints/123456789012345
# <google.cloud.aiplatform.metadata.experiment_resources.Experiment object at 0x7b5b4ae07af0>
Afficher la liste des jobs de réglage
Vous pouvez afficher la liste des jobs de réglage dans votre projet actuel à l'aide de la console Google Cloud ou du SDK Vertex AI pour Python, ou en envoyant une requête GET à l'aide de la méthode tuningJobs.
REST
Pour afficher la liste des jobs de réglage de modèle, envoyez une requête GET à l'aide de la méthode tuningJobs.list.
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- PROJECT_ID : PROJECT_ID.
- TUNING_JOB_REGION : région dans laquelle le job de réglage est exécuté. Il s'agit également de la région par défaut dans laquelle le modèle réglé est importé.
Méthode HTTP et URL :
GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
Python
Console
Pour afficher vos jobs de réglage dans la console Google Cloud , accédez à la page Vertex AI Studio.
Vos jobs de réglage de LLM de traduction s'affichent dans le tableau de la section Modèles réglés de LLM de traduction.
Obtenir les détails d'un job de réglage
Vous pouvez obtenir les détails d'un job de réglage dans votre projet actuel en utilisant la console Google Cloud ou le SDK Vertex AI pour Python, ou en envoyant une requête GET à l'aide de la méthode tuningJobs.
REST
Pour afficher la liste des jobs de réglage de modèle, envoyez une requête GET à l'aide de la méthode tuningJobs.get et spécifiez TuningJob_ID.
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- PROJECT_ID : PROJECT_ID.
- TUNING_JOB_REGION : région dans laquelle le job de réglage est exécuté. Il s'agit également de la région par défaut dans laquelle le modèle réglé est importé.
- TUNING_JOB_ID : ID du job de réglage.
Méthode HTTP et URL :
GET https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
Python
Console
Pour afficher les détails d'un modèle réglé dans la console Google Cloud , accédez à la page Vertex AI Studio.
Dans le tableau des modèles réglés de traduction, recherchez votre modèle et cliquez sur Détails.
Les détails de votre modèle s'affichent.
Annuler un job de réglage
Vous pouvez annuler un job de réglage dans votre projet actuel à l'aide de la console Google Cloud ou du SDK Vertex AI pour Python, ou en envoyant une requête POST à l'aide de la méthode tuningJobs.
REST
Pour afficher la liste des jobs de réglage de modèle, envoyez une requête GET à l'aide de la méthode tuningJobs.cancel et spécifiez TuningJob_ID.
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- PROJECT_ID : PROJECT_ID.
- TUNING_JOB_REGION : région dans laquelle le job de réglage est exécuté. Il s'agit également de la région par défaut dans laquelle le modèle réglé est importé.
- TUNING_JOB_ID : ID du job de réglage.
Méthode HTTP et URL :
POST https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs/TUNING_JOB_ID:cancel" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON semblable à la suivante.
Python
Console
Pour annuler un job de réglage dans la console Google Cloud , accédez à la page Vertex AI Studio.
Dans le tableau Modèles réglés de traduction, cliquez sur Gérer l'exécution.
Cliquez sur Annuler.
Obtenir des informations sur un modèle
Une fois l'entraînement terminé, vous pouvez obtenir des informations sur le modèle, telles que son ID.
Pour afficher la liste des modèles disponibles, accédez à la page "Points de terminaison Vertex AI".
Accéder à la page "Points de terminaison Vertex AI"
Utiliser le modèle réglé
L'exemple suivant illustre la traduction de texte à l'aide d'un modèle personnalisé dont l'ID de modèle est 1395675701985363739. Pour utiliser le LLM de traduction personnalisé, spécifiez models/translation-llm-custom/{model-id} comme ID de modèle.
Vous pouvez spécifier le modèle à utiliser pour la traduction à l'aide du paramètre de requête model.
REST
Avant d'utiliser les données de requête, effectuez les remplacements suivants :
- PROJECT_ID : ID de votre projet Google Cloud .
- LOCATION : région dans laquelle se trouve le modèle personnalisé, par exemple
us-central1.
Méthode HTTP et URL :
POST https://translation.googleapis.com/v3/projects/PROJECT_ID/locations/LOCATION:translateText
Corps JSON de la requête :
{
"model": "projects/PROJECT_ID/locations/LOCATION/model/translation-llm-custom/1395675701985363739",
"sourceLanguageCode": "en",
"targetLanguageCode": "ru",
"contents": ["Dr. Watson, please discard your trash. You've shared unsolicited email with me.
Let's talk about spam and importance ranking in a confidential mode."]
}
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: PROJECT_ID" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://translation.googleapis.com/v3/projects/PROJECT_ID/locations/LOCATION:translateText"
PowerShell
Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://translation.googleapis.com/v3/projects/PROJECT_ID/locations/LOCATION:translateText" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON de ce type :
{
"translation": {
"translatedText": "Доктор Ватсон, пожалуйста, откажитесь от своего мусора.
Вы поделились нежелательной электронной почтой со мной. Давайте поговорим о
спаме и важности рейтинга в конфиденциальном режиме.",
"model": "projects/PROJECT_NUMBER/locations/LOCATION/model/translation-llm-custom/1395675701985363739"
}
}
Python
from google.cloud import translate
def translate_text_with_model(
text: str = "YOUR_TEXT_TO_TRANSLATE",
project_id: str = "YOUR_PROJECT_ID",
model_id: str = "YOUR_MODEL_ID",
) -> translate.TranslationServiceClient:
"""Translates a given text using Translation custom model."""
client = translate.TranslationServiceClient()
location = "us-central1"
parent = f"projects/{project_id}/locations/{location}"
model_path = f"{parent}/models/translation-llm-custom/{model_id}"
# Supported language codes: https://cloud.google.com/translate/docs/languages
response = client.translate_text(
request={
"contents": [text],
"target_language_code": "ja",
"model": model_path,
"source_language_code": "en",
"parent": parent,
"mime_type": "text/plain", # mime types: text/plain, text/html
}
)
# Display the translation for each input text provided
for translation in response.translations:
print(f"Translated text: {translation.translated_text}")
return response
Métriques de réglage et de validation
Vous pouvez configurer un job de réglage de modèle pour collecter et signaler les métriques de réglage et d'évaluation du modèle, qui peuvent ensuite être visualisées dans Vertex AI Studio.
Pour afficher les détails d'un modèle réglé dans la console Google Cloud , accédez à la page Vertex AI Studio.
Dans le tableau Régler et distiller, cliquez sur le nom du modèle réglé pour lequel vous souhaitez afficher les métriques.
Les métriques de réglage s'affichent dans l'onglet Surveiller.
Métriques de réglage du modèle
Le job de réglage de modèle collecte automatiquement les métriques de réglage suivantes pour translation-llm-002.
/train_total_loss: perte de l'ensemble de données de réglage à une étape de l'entraînement./train_fraction_of_correct_next_step_preds: justesse du jeton à une étape de l'entraînement. Une inférence unique consiste en une séquence de jetons prédits. Cette métrique mesure la justesse des jetons prédits par rapport à la vérité terrain dans l'ensemble de données de réglage./train_num_predictions:nombre de jetons prédits à une étape de l'entraînement.
Métriques de validation de modèle
Vous pouvez configurer un job de réglage de modèle pour collecter les métriques de validation suivantes pour translation-llm-002.
/eval_total_loss: perte de l'ensemble de données de validation à une étape de validation./eval_fraction_of_correct_next_step_preds: justesse du jeton à une étape de validation. Une inférence unique consiste en une séquence de jetons prédits. Cette métrique mesure la justesse des jetons prédits par rapport à la vérité terrain dans l'ensemble de données de validation./eval_num_predictions: nombre de jetons prédits à une étape de validation.
Les visualisations des métriques sont disponibles une fois que l'exécution du job de réglage démarre. Elles sont mises à jour en temps réel à mesure que le réglage progresse. Si vous ne spécifiez pas d'ensemble de données de validation lorsque vous créez le job de réglage, seules les visualisations des métriques de réglage sont disponibles.
Étape suivante
- Pour savoir comment utiliser le réglage supervisé dans une solution qui crée une base de connaissances d'IA générative, consultez Solution de démarrage rapide : base de connaissances d'IA générative.