Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

Model Garden と Gemini Enterprise Agent Platform TPU 対応エンドポイントを使用して Gemma をデプロイして推論する

このチュートリアルでは、Model Garden を使用して、TPU をベースとする Gemini Enterprise Agent Platform エンドポイントに Gemma 2 2B オープンモデルをデプロイします。オンライン予測用にモデルを配信する前に、モデルをエンドポイントにデプロイする必要があります。モデルのデプロイでは、少ないレイテンシでオンライン予測を提供できるように、モデルに物理リソースを関連付けます。

Gemma 2 2B モデルをデプロイしたら、PredictionServiceClient を使用してトレーニング済みモデルを推論し、オンライン予測を取得します。オンライン予測は、エンドポイントにデプロイされたモデルに対して行われる同期リクエストです。

目標

このチュートリアルでは、次のタスクを行う方法について説明します。

Model Garden を使用して、Gemma 2 2B オープンモデルを TPU ベースのエンドポイントにデプロイする
PredictionServiceClient を使用してオンライン予測を取得する

費用

このドキュメントでは、課金対象である次の Google Cloudコンポーネントを使用します。

A ct5lp-hightpu-1t machine type with one TPU_V5 accelerator
Gemini Enterprise Agent Platform prediction and explanation

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。

新規の Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

このドキュメントに記載されているタスクの完了後、作成したリソースを削除すると、それ以上の請求は発生しません。詳細については、クリーンアップをご覧ください。

始める前に

このチュートリアルでは、次の作業が必要です。

Google Cloud プロジェクトを設定して Agent Platform API を有効にする
ローカルマシンで以下を行います。
- Google Cloud CLI をインストール、初期化、認証する
- 言語の SDK をインストールする

Google Cloud プロジェクトを設定する

Google Cloud プロジェクトを設定し、Agent Platform API を有効にします。

Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Agent Platform API, if it is not already enabled.

Roles required to enable APIs

Enable the API

Google Cloud CLI を設定する

ローカルマシンで Google Cloud CLI を設定します。

Google Cloud CLI をインストールして初期化する
すでに gcloud CLI をインストールしている場合は、このコマンドを実行して gcloud コンポーネントが更新されていることを確認します。
```
gcloud components update
```
gcloud CLI で認証するには、次のコマンドを実行してローカルのアプリケーションのデフォルト認証情報（ADC）ファイルを生成します。コマンドで起動されたウェブフローを使用して、ユーザー認証情報を提供します。
```
gcloud auth application-default login
```
詳細については、gcloud CLI 認証構成と ADC 構成をご覧ください。

プログラミング言語の SDK を設定する

このチュートリアルで使用する環境を設定するには、使用する言語の Gemini Enterprise Agent Platform SDK とプロトコルバッファライブラリをインストールします。コードサンプルでは、プロトコルバッファライブラリの関数を使用して、入力ディクショナリを API が想定する JSON 形式に変換します。

ローカルマシンで、次のいずれかのタブをクリックして、プログラミング言語の SDK をインストールします。

Python

ローカルマシンで、次のいずれかのタブをクリックして、プログラミング言語の SDK をインストールします。

次のコマンドを実行して、Agent Platform SDK for Python をインストールして更新します。
```
pip3 install --upgrade "google-cloud-aiplatform>=1.64"
```
次のコマンドを実行して、Python 用のプロトコルバッファライブラリをインストールします。
```
pip3 install --upgrade "protobuf>=5.28"
```

Node.js

次のコマンドを実行して、Node.js 用の aiplatform SDK をインストールまたは更新します。

npm install @google-cloud/aiplatform

Java

google-cloud-aiplatform を依存関係として追加するには、環境に適したコードを追加します。

BOM ありの Maven

pom.xml に次の HTML を追加します。

<dependencyManagement>
<dependencies>
  <dependency>
    <artifactId>libraries-bom</artifactId>
    <groupId>com.google.cloud</groupId>
    <scope>import</scope>
    <type>pom</type>
    <version>26.34.0</version>
  </dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-aiplatform</artifactId>
</dependency>
<dependency>
  <groupId>com.google.protobuf</groupId>
  <artifactId>protobuf-java-util</artifactId>
</dependency>
<dependency>
  <groupId>com.google.code.gson</groupId>
  <artifactId>gson</artifactId>
</dependency>
</dependencies>

BOM なしの Maven

pom.xml に次の行を追加します。

<dependency>
  <groupId>com.google.cloud</groupId>
  <artifactId>google-cloud-aiplatform</artifactId>
  <version>1.1.0</version>
</dependency>
<dependency>
  <groupId>com.google.protobuf</groupId>
  <artifactId>protobuf-java-util</artifactId>
  <version>5.28</version>
</dependency>
<dependency>
  <groupId>com.google.code.gson</groupId>
  <artifactId>gson</artifactId>
  <version>2.11.0</version>
</dependency>

BOM なしの Gradle

build.gradle に次の行を追加します。

implementation 'com.google.cloud:google-cloud-aiplatform:1.1.0'

Go

次のコマンドを実行して、これらの Go パッケージをインストールします。

go get cloud.google.com/go/aiplatform
go get google.golang.org/protobuf
go get github.com/googleapis/gax-go/v2

Model Garden を使用して Gemma をデプロイする

Gemma 2 2B モデルを、小規模から中規模のトレーニング用に最適化された ct5lp-hightpu-1t Compute Engine マシンタイプにデプロイします。このマシンには 1 つの TPU v5e アクセラレータが備わっています。TPU を使用してモデルをトレーニングする方法の詳細については、Cloud TPU v5e トレーニングをご覧ください。

このチュートリアルでは、Model Garden のモデルカードを使用して、命令でチューニングされた Gemma 2 2B オープンモデルをデプロイします。具体的なモデルバージョンは gemma2-2b-it です。-it は指示のチューニング済みを表します。

Gemma 2 2B モデルのパラメータサイズは小さいため、リソース要件が少なく、デプロイの柔軟性が高まります。

Google Cloud コンソールで、[Model Garden] ページに移動します。

Model Garden に移動
[Gemma 2] モデルカードをクリックします。

Gemma 2 に移動
[デプロイ] をクリックして、[モデルのデプロイ] ペインを開きます。
[モデルのデプロイ] ペインで、次の詳細を指定します。
1. [デプロイ環境] で [Agent Platform] をクリックします。
2. [モデルをデプロイする] セクションで、次の操作を行います。
  1. [リソース ID] に gemma-2b-it を選択します。
  2. [モデル名] と [エンドポイント名] のデフォルト値を使用します。例:
    - モデル名: gemma2-2b-it-1234567891234
    - エンドポイント名: gemma2-2b-it-mg-one-click-deploy
    エンドポイント名をメモします。コードサンプルで使用されているエンドポイント ID を確認するために必要になります。
3. [デプロイの設定] セクションで、次の操作を行います。
  1. [基本] 設定はデフォルトオプションのままにします。
  2. [リージョン] では、デフォルト値のままにするか、リストからリージョンを選択します。リージョンをメモします。コードサンプルに必要になります。
  3. [マシン仕様] で、TPU を使用するインスタンス ct5lp-hightpu-1t (1 TPU_V5_LITEPOD; ct5lp-hightpu-1t) を選択します。
[デプロイ] をクリックします。デプロイが完了すると、新しいエンドポイントの詳細が記載されたメールが届きます。[オンライン予測] > [エンドポイント] をクリックしてリージョンを選択して、エンドポイントの詳細を確認することもできます。

エンドポイントに移動

PredictionServiceClient で Gemma 2 2B を推論する

Gemma 2 2B をデプロイしたら、PredictionServiceClient を使用して「空はなぜ青いの？」というプロンプトのオンライン予測を取得します。

コードパラメータ

PredictionServiceClient コードサンプルでは、以下を更新する必要があります。

PROJECT_ID: プロジェクト ID を確認する手順は次のとおりです。
1. Google Cloud コンソールの [ようこそ] ページに移動します。
  [ようこそ] に移動
2. ページ上部のプロジェクト選択ツールで、自分のプロジェクトを選択します。
  
  プロジェクト名、プロジェクト番号、プロジェクト ID は [ようこそ] の見出しの後に表示されます。
ENDPOINT_REGION: エンドポイントをデプロイしたリージョンです。
ENDPOINT_ID: エンドポイント ID を確認するには、コンソールで確認するか、gcloud ai endpoints list コマンドを実行します。[モデルをデプロイ] ペインからエンドポイント名とリージョンを取得します。
コンソール
[オンライン予測] > [エンドポイント] をクリックしてリージョンを選択すると、エンドポイントの詳細を確認できます。ID 列に表示される番号をメモします。

エンドポイントに移動
gcloud
エンドポイントの詳細を表示するには、gcloud ai endpoints list コマンドを実行します。
gcloud ai endpoints list \ --region=ENDPOINT_REGION \ --filter=display_name=ENDPOINT_NAME
出力は次のようになります。
Using endpoint [https://us-central1-aiplatform.googleapis.com/] ENDPOINT_ID: 1234567891234567891 DISPLAY_NAME: gemma2-2b-it-mg-one-click-deploy

サンプルコード

言語のサンプルコードで、PROJECT_ID、ENDPOINT_REGION、ENDPOINT_ID を更新します。次に、コードを実行します。

Python

Vertex AI SDK for Python のインストールまたは更新の方法については、Vertex AI SDK for Python をインストールするをご覧ください。詳細については、Python API リファレンスドキュメントをご覧ください。

"""
Sample to run inference on a Gemma2 model deployed to a Vertex AI endpoint with TPU accellerators.
"""

from google.cloud import aiplatform
from google.protobuf import json_format
from google.protobuf.struct_pb2 import Value

# TODO(developer): Update & uncomment lines below
# PROJECT_ID = "your-project-id"
# ENDPOINT_REGION = "your-vertex-endpoint-region"
# ENDPOINT_ID = "your-vertex-endpoint-id"

# Default configuration
config = {"max_tokens": 1024, "temperature": 0.9, "top_p": 1.0, "top_k": 1}

# Prompt used in the prediction
prompt = "Why is the sky blue?"

# Encapsulate the prompt in a correct format for TPUs
# Example format: [{'prompt': 'Why is the sky blue?', 'temperature': 0.9}]
input = {"prompt": prompt}
input.update(config)

# Convert input message to a list of GAPIC instances for model input
instances = [json_format.ParseDict(input, Value())]

# Create a client
api_endpoint = f"{ENDPOINT_REGION}-aiplatform.googleapis.com"
client = aiplatform.gapic.PredictionServiceClient(
    client_options={"api_endpoint": api_endpoint}
)

# Call the Gemma2 endpoint
gemma2_end_point = (
    f"projects/{PROJECT_ID}/locations/{ENDPOINT_REGION}/endpoints/{ENDPOINT_ID}"
)
response = client.predict(
    endpoint=gemma2_end_point,
    instances=instances,
)
text_responses = response.predictions
print(text_responses[0])

Node.js

このサンプルを試す前に、クライアントライブラリを使用した Agent Platform クイックスタートの Node.js の手順に沿って設定を行ってください。

Agent Platform に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

// Imports the Google Cloud Prediction Service Client library
const {
  // TODO(developer): Uncomment PredictionServiceClient before running the sample.
  // PredictionServiceClient,
  helpers,
} = require('@google-cloud/aiplatform');
/**
 * TODO(developer): Update these variables before running the sample.
 */
const projectId = 'your-project-id';
const endpointRegion = 'your-vertex-endpoint-region';
const endpointId = 'your-vertex-endpoint-id';

// Prompt used in the prediction
const prompt = 'Why is the sky blue?';

// Encapsulate the prompt in a correct format for TPUs
// Example format: [{prompt: 'Why is the sky blue?', temperature: 0.9}]
const input = {
  prompt,
  // Parameters for default configuration
  maxOutputTokens: 1024,
  temperature: 0.9,
  topP: 1.0,
  topK: 1,
};

// Convert input message to a list of GAPIC instances for model input
const instances = [helpers.toValue(input)];

// TODO(developer): Uncomment apiEndpoint and predictionServiceClient before running the sample.
// const apiEndpoint = `${endpointRegion}-aiplatform.googleapis.com`;

// Create a client
// predictionServiceClient = new PredictionServiceClient({apiEndpoint});

// Call the Gemma2 endpoint
const gemma2Endpoint = `projects/${projectId}/locations/${endpointRegion}/endpoints/${endpointId}`;

const [response] = await predictionServiceClient.predict({
  endpoint: gemma2Endpoint,
  instances,
});

const predictions = response.predictions;
const text = predictions[0].stringValue;

console.log('Predictions:', text);

Java

このサンプルを試す前に、クライアントライブラリを使用した Agent Platform クイックスタートの Java の手順に沿って設定を行ってください。


import com.google.cloud.aiplatform.v1.EndpointName;
import com.google.cloud.aiplatform.v1.PredictResponse;
import com.google.cloud.aiplatform.v1.PredictionServiceClient;
import com.google.cloud.aiplatform.v1.PredictionServiceSettings;
import com.google.gson.Gson;
import com.google.protobuf.InvalidProtocolBufferException;
import com.google.protobuf.Value;
import com.google.protobuf.util.JsonFormat;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class Gemma2PredictTpu {
  private final PredictionServiceClient predictionServiceClient;

  // Constructor to inject the PredictionServiceClient
  public Gemma2PredictTpu(PredictionServiceClient predictionServiceClient) {
    this.predictionServiceClient = predictionServiceClient;
  }

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "YOUR_PROJECT_ID";
    String endpointRegion = "us-west1";
    String endpointId = "YOUR_ENDPOINT_ID";

    PredictionServiceSettings predictionServiceSettings =
        PredictionServiceSettings.newBuilder()
            .setEndpoint(String.format("%s-aiplatform.googleapis.com:443", endpointRegion))
            .build();
    PredictionServiceClient predictionServiceClient =
        PredictionServiceClient.create(predictionServiceSettings);
    Gemma2PredictTpu creator = new Gemma2PredictTpu(predictionServiceClient);

    creator.gemma2PredictTpu(projectId, endpointRegion, endpointId);
  }

  // Demonstrates how to run inference on a Gemma2 model
  // deployed to a Vertex AI endpoint with TPU accelerators.
  public String gemma2PredictTpu(String projectId, String region,
           String endpointId) throws IOException {
    Map<String, Object> paramsMap = new HashMap<>();
    paramsMap.put("temperature", 0.9);
    paramsMap.put("maxOutputTokens", 1024);
    paramsMap.put("topP", 1.0);
    paramsMap.put("topK", 1);
    Value parameters = mapToValue(paramsMap);
    // Prompt used in the prediction
    String instance = "{ \"prompt\": \"Why is the sky blue?\"}";
    Value.Builder instanceValue = Value.newBuilder();
    JsonFormat.parser().merge(instance, instanceValue);
    // Encapsulate the prompt in a correct format for TPUs
    // Example format: [{'prompt': 'Why is the sky blue?', 'temperature': 0.9}]
    List<Value> instances = new ArrayList<>();
    instances.add(instanceValue.build());

    EndpointName endpointName = EndpointName.of(projectId, region, endpointId);

    PredictResponse predictResponse = this.predictionServiceClient
        .predict(endpointName, instances, parameters);
    String textResponse = predictResponse.getPredictions(0).getStringValue();
    System.out.println(textResponse);
    return textResponse;
  }

  private static Value mapToValue(Map<String, Object> map) throws InvalidProtocolBufferException {
    Gson gson = new Gson();
    String json = gson.toJson(map);
    Value.Builder builder = Value.newBuilder();
    JsonFormat.parser().merge(json, builder);
    return builder.build();
  }
}

Go

このサンプルを試す前に、クライアントライブラリを使用した Agent Platform クイックスタートの Go の手順に沿って設定を行ってください。

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/aiplatform/apiv1/aiplatformpb"

	"google.golang.org/protobuf/types/known/structpb"
)

// predictTPU demonstrates how to run interference on a Gemma2 model deployed to a Vertex AI endpoint with TPU accelerators.
func predictTPU(w io.Writer, client PredictionsClient, projectID, location, endpointID string) error {
	ctx := context.Background()

	// Note: client can be initialized in the following way:
	// apiEndpoint := fmt.Sprintf("%s-aiplatform.googleapis.com:443", location)
	// client, err := aiplatform.NewPredictionClient(ctx, option.WithEndpoint(apiEndpoint))
	// if err != nil {
	// 	return fmt.Errorf("unable to create prediction client: %v", err)
	// }
	// defer client.Close()

	gemma2Endpoint := fmt.Sprintf("projects/%s/locations/%s/endpoints/%s", projectID, location, endpointID)
	prompt := "Why is the sky blue?"
	parameters := map[string]interface{}{
		"temperature":     0.9,
		"maxOutputTokens": 1024,
		"topP":            1.0,
		"topK":            1,
	}

	// Encapsulate the prompt in a correct format for TPUs.
	// Example format: [{'prompt': 'Why is the sky blue?', 'temperature': 0.9}]
	promptValue, err := structpb.NewValue(map[string]interface{}{
		"prompt":     prompt,
		"parameters": parameters,
	})
	if err != nil {
		fmt.Fprintf(w, "unable to convert prompt to Value: %v", err)
		return err
	}

	req := &aiplatformpb.PredictRequest{
		Endpoint:  gemma2Endpoint,
		Instances: []*structpb.Value{promptValue},
	}

	resp, err := client.Predict(ctx, req)
	if err != nil {
		return err
	}

	prediction := resp.GetPredictions()
	value := prediction[0].GetStringValue()
	fmt.Fprintf(w, "%v", value)

	return nil
}

クリーンアップ

このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。

プロジェクトを削除する

注意: プロジェクトを削除すると、次のような影響があります。

プロジェクト内のすべてのものが削除されます。既存のプロジェクトを使用してこのドキュメントのタスクを行った場合、そのプロジェクトを削除すると、プロジェクト内で行った他の作業もすべて削除されます。
カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（例: appspot.com）を保持するには、プロジェクト全体ではなく、プロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

Google Cloud コンソールで [リソースの管理] ページに移動します。
[リソースの管理] に移動
プロジェクトリストで、削除するプロジェクトを選択し、[削除] をクリックします。
ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

リソースを個別に削除する

プロジェクトを保持する場合は、このチュートリアルで使用したリソースを削除します。

モデルのデプロイを解除してエンドポイントを削除する
Model Registry からモデルを削除する

モデルのデプロイを解除してエンドポイントを削除する

次のいずれかの方法でモデルのデプロイを解除し、エンドポイントを削除します。

コンソール

Google Cloud コンソールで、[オンライン予測]、[エンドポイント] の順にクリックします。

[エンドポイント] ページに移動
[リージョン] プルダウンリストで、エンドポイントをデプロイしたリージョンを選択します。
エンドポイント名をクリックして詳細ページを開きます。例: gemma2-2b-it-mg-one-click-deploy。
Gemma 2 (Version 1) モデルの行で、 [アクション] をクリックして、次に [エンドポイントからモデルのデプロイを解除] をクリックします。
[エンドポイントからモデルのデプロイを解除] ダイアログで [デプロイ解除] をクリックします。
[戻る] ボタンをクリックして [エンドポイント] ページに戻ります。

[エンドポイント] ページに移動
gemma2-2b-it-mg-one-click-deploy 行の末尾にある [アクション] をクリックし、[エンドポイントを削除] を選択します。
確認プロンプトで [確認] をクリックします。

gcloud

Google Cloud CLI を使用してモデルのデプロイを解除し、エンドポイントを削除する手順は次のとおりです。

これらのコマンドでは、次のように置き換えます。

PROJECT_ID は、プロジェクト名に置き換えます。
LOCATION_ID は、モデルとエンドポイントをデプロイしたリージョンに置き換えます。
ENDPOINT_ID は、エンドポイント ID に置き換えます。
DEPLOYED_MODEL_NAME はモデルの表示名に置き換えます。
DEPLOYED_MODEL_ID はモデル ID に置き換えます。

gcloud ai endpoints list コマンドを実行してエンドポイント ID を取得します。このコマンドを使用すると、プロジェクト内のすべてのエンドポイントのエンドポイント ID が一覧表示されます。このチュートリアルで使用するエンドポイントの ID をメモします。
```
gcloud ai endpoints list \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
出力は次のようになります。出力では、ID は ENDPOINT_ID と呼ばれます。
```
Using endpoint [https://us-central1-aiplatform.googleapis.com/]
ENDPOINT_ID: 1234567891234567891
DISPLAY_NAME: gemma2-2b-it-mg-one-click-deploy
```

gcloud ai models describe コマンドを実行してモデル ID を取得します。このチュートリアルでデプロイしたモデルの ID をメモします。

gcloud ai models describe DEPLOYED_MODEL_NAME \
    --project=PROJECT_ID \
    --region=LOCATION_ID

省略した出力は次のようになります。出力では、ID は deployedModelId と呼ばれます。

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
artifactUri: [URI removed]
baseModelSource:
  modelGardenSource:
    publicModelName: publishers/google/models/gemma2
...
deployedModels:
- deployedModelId: '1234567891234567891'
  endpoint: projects/12345678912/locations/us-central1/endpoints/12345678912345
displayName: gemma2-2b-it-12345678912345
etag: [ETag removed]
modelSourceInfo:
  sourceType: MODEL_GARDEN
name: projects/123456789123/locations/us-central1/models/gemma2-2b-it-12345678912345
...

エンドポイントからモデルのデプロイを解除します。前のコマンドからエンドポイント ID とモデル ID が必要です。
```
gcloud ai endpoints undeploy-model ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID \
    --deployed-model-id=DEPLOYED_MODEL_ID
```
このコマンドは出力を生成しません。
gcloud ai endpoints delete コマンドを実行して、エンドポイントを削除します。
```
gcloud ai endpoints delete ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
プロンプトが表示されたら、「y」と入力して確定します。このコマンドは出力を生成しません。

モデルを削除する

コンソール

Google Cloud コンソールの Agent Platform セクションから [Model Registry] ページに移動します。

[Model Registry] ページに移動
[リージョン] プルダウンリストで、モデルをデプロイしたリージョンを選択します。
gemma2-2b-it-1234567891234 行の末尾にある [アクション] をクリックします。
[モデルを削除] を選択します。

モデルを削除すると、関連するすべてのモデルバージョンと評価が Google Cloud プロジェクトから削除されます。
確認プロンプトで [削除] をクリックします。

gcloud

Google Cloud CLI を使用してモデルを削除するには、モデルの表示名とリージョンを gcloud ai models delete コマンドに指定します。

gcloud ai models delete DEPLOYED_MODEL_NAME \
    --project=PROJECT_ID \
    --region=LOCATION_ID

DEPLOYED_MODEL_NAME は、モデルの表示名に置き換えます。PROJECT_ID は、プロジェクト名に置き換えます。LOCATION_ID は、モデルをデプロイしたリージョンに置き換えます。

次のステップ

Gemma オープンモデルについて学習する。
Gemma の利用規約を確認する。
オープンモデルについて学習する。
チューニング済みモデルをデプロイする方法を学習する。
HuggingFace Textgen Inference（TGI）を使用して Gemma 2 を Google Kubernetes Engine にデプロイする方法を学習する。
PredictionServiceClient の詳細について、Python、Node.js、Java、Go のいずれかの言語で学習する。

Model Garden と Gemini Enterprise Agent Platform TPU 対応エンドポイントを使用して Gemma をデプロイして推論する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

目標

費用

始める前に

Google Cloud プロジェクトを設定する

Google Cloud CLI を設定する

プログラミング言語の SDK を設定する

Python

Node.js

Java

BOM ありの Maven

BOM なしの Maven

BOM なしの Gradle

Go

Model Garden を使用して Gemma をデプロイする

PredictionServiceClient で Gemma 2 2B を推論する

コード パラメータ

コンソール

gcloud

サンプルコード

Python

Node.js

Java

Go

クリーンアップ

プロジェクトを削除する

リソースを個別に削除する

モデルのデプロイを解除してエンドポイントを削除する

コンソール

gcloud

モデルを削除する

コンソール

gcloud

次のステップ

Model Garden と Gemini Enterprise Agent Platform TPU 対応エンドポイントを使用して Gemma をデプロイして推論する

コードパラメータ