本頁面列出您可以在模型要求中設定的選用取樣參數。每個模型可用的參數可能不盡相同。詳情請參閱參考文件。
權杖取樣參數
本節中的參數會影響模型從詞彙中選取下一個權杖的方式。調整這些參數可控制生成文字的隨機性和多樣性。
Top-K
「Top-K」會影響模型選取輸出符記的方式。如果 Top-K 設為 1,代表下一個所選詞元是模型詞彙表的所有詞元中可能性最高者 (也稱為「貪婪解碼」)。如果 Top-K 設為 3,則代表模型會依據 temperature,從可能性最高的 3 個詞元中選取下一個詞元。
在每個符記選取步驟中,模型會對機率最高的「Top-K」符記取樣,接著進一步根據「Top-P」篩選詞元,最後依 temperature 選出最終詞元。
如要取得較不隨機的回覆,請指定較低的值;如要取得較隨機的回覆,請調高此值。
詳情請參閱「topK」。
Top-P
「Top-P」會影響模型選取輸出符記的方式。模型會按照可能性最高到最低的順序選取符記,直到所選符記的可能性總和等於 Top-P 值。舉例來說,假設詞元 A、B 和 C 的可能性分別為 0.3、0.2 和 0.1,而「Top-P」值為 0.5,模型會依據 temperature 選擇 A 或 B 做為下一個詞元,並排除 C。
如要取得較不隨機的回覆,請指定較低的值;如要取得較隨機的回覆,請調高此值。
詳情請參閱「topP」。
溫度參數
系統會在生成回覆時使用溫度進行取樣,也就是套用 topP 和 topK 時。溫度參數會決定選取詞元時的隨機程度。如果您想藉由提示生成較不具開放性和創意性的回覆,建議調低溫度參數。另一方面,如果溫度參數較高,則可能產生較多元或有創意的結果。如果溫度參數為 0,模型一律會選取可能性最高的詞元。在這種情況下,特定提示的回覆大多是確定性的,但仍可能出現少量差異。
如果模型的回覆太普通、太短或提供了備用回覆,再試試看調高 Temperature。如果模型進入無限生成狀態,請將溫度參數調高至至少 0.1,或許能改善結果。
1.0 是建議的溫度起始值。
溫度越低,結果越可預測 (但並非完全確定)。詳情請參閱「temperature」。
停止參數
本節中的參數可讓您定義生成程序應停止的條件,精確控制模型生成輸出的長度和內容。
輸出詞元數量上限
設定 maxOutputTokens 即可限制回覆中生成的權杖數量。一個符記約為四個字元,因此 100 個符記大約相當於 60 到 80 個字。將值設為偏低,即可限制回覆長度。
停止序列
在 stopSequences 中定義字串,讓模型在回應中遇到其中一個字串時停止生成文字。如果字串在回應中出現多次,系統會在第一次遇到該字串的位置截斷回應。字串會區分大小寫。
權杖懲罰參數
本節中的參數可讓您根據權杖在輸出內容中的頻率和出現次數,控制生成權杖的可能性。
頻率處罰
正值會懲罰在生成的文字中重複出現的符記,降低重複內容的機率。最小值為 -2.0。最大值為
,但不包括 2.0。
詳情請參閱frequencyPenalty
GenerationConfig說明文件。
狀態處罰
正值會懲罰已出現在生成文字中的符記,提高生成更多元內容的機率。最小值為 -2.0。最大值為
,但不包括 2.0。
詳情請參閱presencePenalty
GenerationConfig說明文件。
回覆格式參數
本節中的參數可讓您設定模型生成輸出內容的格式。
回覆 MIME 類型
設定 responseMimeType,指定生成候選文字的輸出回覆 MIME 類型。支援的值包括:
text/plain(預設):輸出純文字。application/json:候選人中的 JSON 回應。text/x.enum:如果是分類工作,請輸出回覆結構定義中定義的列舉值。
請指定適當的回覆類型,避免發生非預期的行為。舉例來說,如果您需要 JSON 格式的回覆,請指定 application/json,而非 text/plain。
詳情請參閱responseMimeType和結構化輸出內容。
進階參數
使用這些參數可在回應中傳回權杖的詳細資訊,或控管回應的變異性。
候選項目數量
要傳回的回應變體數量。每次提出要求時,系統會針對所有候選項目的輸出權杖收費,但只會針對輸入權杖收費一次。
指定多個候選人是預先發布版功能,適用於 generateContent (不支援 streamGenerateContent)。
candidateCount」。
種子
如果將種子固定為特定值,模型會盡可能針對重複要求提供相同的回覆。我們不保證會產生確定性結果。
此外,即使使用相同的種子值,如果變更模型或參數設定 (例如溫度參數),回覆還是有可能不同。根據預設,系統會使用隨機種子值。詳情請參閱「seed」。
範例
以下範例說明如何使用參數調整模型的回覆。
Python
安裝
pip install --upgrade google-genai
詳情請參閱 SDK 參考文件。
設定環境變數,透過 Vertex AI 使用 Google Gen AI SDK:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
瞭解如何安裝或更新 Go。
詳情請參閱 SDK 參考文件。
設定環境變數,透過 Vertex AI 使用 Google Gen AI SDK:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
安裝
npm install @google/genai
詳情請參閱 SDK 參考文件。
設定環境變數,透過 Vertex AI 使用 Google Gen AI SDK:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
瞭解如何安裝或更新 Java。
詳情請參閱 SDK 參考說明文件。
設定環境變數,透過 Vertex AI 使用 Google Gen AI SDK:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
後續步驟
- 瞭解負責任的 AI 技術最佳做法和 Agent Platform 的安全篩選器。
- 瞭解安全系統指示。
- 瞭解濫用行為監控。
- 瞭解負責任的 AI 技術。