このページでは、モデルへのリクエストで設定できる省略可能なサンプリング パラメータについて説明します。使用可能なパラメータはモデルによって異なることがあります。詳細については、リファレンス ドキュメントをご覧ください。
トークン サンプリング パラメータ
このセクションのパラメータは、モデルが語彙から次のトークンを選択する方法に影響します。これらのパラメータを調整することで、生成されるテキストのランダム性と多様性を制御できます。
Top-K
Top-K は、モデルが出力用にトークンを選択する方法を変更します。Top-K が 1 の場合、次に選択されるトークンは、モデルの語彙内のすべてのトークンで最も確率の高いものであることになります(グリーディ デコードとも呼ばれます)。Top-K が 3 の場合は、最も確率が高い上位 3 つのトークンから次のトークン選択されることになります(温度を使用します)。
トークン選択のそれぞれのステップで、最も高い確率を持つ Top-K のトークンがサンプリングされます。その後、トークンはトップ P に基づいてさらにフィルタリングされ、最終的なトークンは温度サンプリングを用いて選択されます。
ランダムなレスポンスを減らしたい場合は小さい値を、ランダムなレスポンスを増やしたい場合は大きい値を指定します。
詳細については、topK をご覧ください。
Top-P
Top-P は、モデルが出力用にトークンを選択する方法を変更します。トークンは、確率の合計が Top-P 値に等しくなるまで、確率の高いものから低いものへと選択されます。たとえば、トークン A、B、C の確率が 0.3、0.2、0.1 で、Top-P 値が 0.5 だとします。このとき、モデルは次のトークンとして A か B を温度を使って選択し、C は候補から外します。
ランダムなレスポンスを減らしたい場合は小さい値を、ランダムなレスポンスを増やしたい場合は大きい値を指定します。
詳細については、topP をご覧ください。
温度
温度は、レスポンス生成時のサンプリングに使用されます。レスポンス生成は、topP と topK が適用された場合に発生します。温度は、トークン選択のランダム性の度合いを制御します。温度が低いほど、確定的で自由度や創造性を抑えたレスポンスが求められるプロンプトに適しています。一方、温度が高いと、より多様で創造的な結果を導くことができます。温度が 0 の場合、確率が最も高いトークンが常に選択されます。この場合、特定のプロンプトに対するレスポンスはほとんど確定的ですが、わずかに変動する可能性は残ります。
モデルが返すレスポンスが一般的すぎる、短すぎる、あるいはフォールバック(代替)レスポンスが返ってくる場合は、温度を高く設定してみてください。モデルが無限生成の状態に移行した場合は、温度を 0.1 以上に引き上げると、結果が改善される可能性があります。
1.0 は、温度の推奨開始値です。
温度が低くなるほど、予測可能な(ただし、完全に決定的ではない)結果が得られます。詳細については、temperature をご覧ください。
停止パラメータ
このセクションのパラメータを使用すると、生成プロセスを停止する条件を定義して、モデルの生成された出力の長さと内容を正確に制御できます。
最大出力トークン
maxOutputTokens を設定して、レスポンスで生成されるトークンの数を制限します。1 つのトークンは約 4 文字なので、100 トークンは約 60~80 語に相当します。レスポンスの長さを制限するには、小さい値を設定します。
停止シーケンス
stopSequences に文字列を定義し、レスポンスでいずれかの文字列が検出された場合に、テキストの生成を停止するようモデルに指示します。レスポンスで文字列が複数回出現する場合、文字列が最初に見つかった箇所でレスポンスが切り捨てられます。文字列は大文字と小文字が区別されます。
トークン ペナルティ パラメータ
このセクションのパラメータを使用すると、出力での頻度とプレゼンスに基づいてトークンが生成される可能性を制御できます。
頻度のペナルティ
値が正の場合は、生成されたテキストに繰り返し出現するトークンにペナルティが課されるため、コンテンツが繰り返される確率は低下します。最小値は -2.0 です。最大値は 2.0 の手前の値です。
詳細については、GenerationConfig ドキュメントの frequencyPenalty をご覧ください。
プレゼンス ペナルティ
値が正の場合は、生成されたテキスト内の既存のトークンにペナルティが課されるため、より多様なコンテンツが生成される確率は高くなります。最小値は -2.0 です。最大値は 2.0 の手前の値です。
詳細については、GenerationConfig ドキュメントの presencePenalty をご覧ください。
レスポンス形式パラメータ
このセクションのパラメータを使用すると、モデルの生成された出力の形式を構成できます。
レスポンスの MIME タイプ
responseMimeType を設定して、生成された候補テキストの出力レスポンスの MIME タイプを指定します。次の値がサポートされています。
text/plain(デフォルト): プレーン テキスト出力。application/json: 候補の JSON レスポンス。text/x.enum: 分類タスクの場合は、レスポンス スキーマで定義されている列挙型の値を出力します。
意図しない動作を回避するために、適切なレスポンス タイプを指定します。たとえば、JSON 形式のレスポンスを必要とする場合は、text/plain ではなく application/json を指定します。
詳細については、responseMimeType と構造化出力をご覧ください。
高度なパラメータ
これらのパラメータを使用して、レスポンスでトークンに関する詳細情報を返すか、レスポンスの変動性を制御します。
候補の数
レスポンスのバリエーションの数。リクエストごとに、すべての候補の出力トークンが課金されますが、入力トークンは 1 回のみ課金されます。
複数の候補を指定する機能は、generateContent で動作するプレビュー機能です(streamGenerateContent は対象外です)。
candidateCount をご覧ください。
シード
シードが特定の値に固定されている場合、繰り返されるリクエストに対してモデルはベスト エフォートで同じレスポンスを提供します。確定的な出力は保証されません。また、モデルやパラメータの設定(温度など)を変更すると、同じシード値を使用してもレスポンスが変化することがあります。デフォルトでは、ランダムなシード値が使用されます。
詳細については、seed をご覧ください。
例
パラメータを使用してモデルのレスポンスを調整する例を次に示します。
Python
インストール
pip install --upgrade google-genai
詳しくは、SDK リファレンス ドキュメントをご覧ください。
Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
Go をインストールまたは更新する方法について学びます。
詳しくは、SDK リファレンス ドキュメントをご覧ください。
Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
インストール
npm install @google/genai
詳しくは、SDK リファレンス ドキュメントをご覧ください。
Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
Java をインストールまたは更新する方法について学びます。
詳しくは、SDK リファレンス ドキュメントをご覧ください。
Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
次のステップ
- 責任ある AI のベスト プラクティスと Agent Platform の安全フィルタについて学習する。
- 安全性のためのシステムの指示について確認する。
- 不正行為のモニタリングについて詳しく知る。
- 責任ある AI について学習する。