本頁說明如何查看及解讀模型評估結果。
查看評估結果
定義評估工作後，請執行工作以取得評估結果，步驟如下：
from vertexai.evaluation import EvalTask
eval_result = EvalTask(
dataset=DATASET,
metrics=[METRIC_1, METRIC_2, METRIC_3],
experiment=EXPERIMENT_NAME,
).evaluate(
model=MODEL,
experiment_run=EXPERIMENT_RUN_NAME,
)
EvalResult 類別代表評估作業的結果，具有下列屬性：
summary_metrics：評估執行作業的匯總評估指標字典。metrics_table：pandas.DataFrame資料表，包含評估資料集輸入內容、回應、說明和每列的指標結果。metadata：評估執行的實驗名稱和實驗執行名稱。
EvalResult 類別的定義如下：
@dataclasses.dataclass
class EvalResult:
"""Evaluation result.
Attributes:
summary_metrics: A dictionary of aggregated evaluation metrics for an evaluation run.
metrics_table: A pandas.DataFrame table containing evaluation dataset inputs,
responses, explanations, and metric results per row.
metadata: The experiment name and experiment run name for the evaluation run.
"""
summary_metrics: Dict[str, float]
metrics_table: Optional["pd.DataFrame"] = None
metadata: Optional[Dict[str, str]] = None
使用輔助函式，評估結果會顯示在 Colab 筆記本中，如下所示：
以圖表呈現評估結果
您可以在雷達圖或長條圖中繪製摘要指標，以便比較不同評估執行作業的結果。這項視覺化功能有助於評估不同模型和提示範本。
在下列範例中，我們以視覺化方式呈現四個指標 (連貫性、流暢度、遵循指令和整體文字品質)，這些指標是使用四種不同提示範本生成的回覆。從雷達圖和長條圖中，我們可以推斷出提示範本 #2 在所有四項指標中，都持續優於其他範本。這點從指令遵循和文字品質的顯著高分可見一斑。根據這項分析，在四個選項中，提示範本 #2 似乎是最有效的選擇。
瞭解指標結果
下表列出 metrics_table 和 summary_metrics 分別包含的執行個體層級和匯總結果各項元件，適用於 PointwiseMetric、PairwiseMetric 和以運算為基礎的指標：
PointwiseMetric
執行個體層級結果
| 欄 | 說明 |
|---|---|
| 回應 | 模型針對提示生成的內容。 |
| 分數 | 根據評分量表和準則給予的回覆評分。分數可以是二元值 (0 和 1)、李克特量表 (1 到 5，或 -2 到 2)，或是浮點數 (0.0 到 1.0)。 |
| 說明 | 評審模型給予該分數的原因。我們使用思維鏈提示，引導法官模型說明每項判決背後的理由。強制讓評估模型進行推論，可提高評估準確度。 |
匯總結果
| 欄 | 說明 |
|---|---|
| 平均分數 | 所有執行個體的平均分數。 |
| 標準差 | 所有分數的標準差。 |
PairwiseMetric
執行個體層級結果
| 欄 | 說明 |
|---|---|
| 回應 | 候選模型針對提示生成的回覆。 |
| baseline_model_response | 基準模型為提示生成的回覆。 |
| pairwise_choice | 回覆較好的模型。可能的值為 CANDIDATE、BASELINE 或 TIE。 |
| 說明 | 法官模型選擇的原因。 |
匯總結果
| 欄 | 說明 |
|---|---|
| candidate_model_win_rate | 評估模型判定候選模型回覆較佳的回覆比例。範圍為 0 到 1。 |
| baseline_model_win_rate | 評估模型判定基準模型回覆較佳的次數，占總回覆次數的比例。範圍為 0 到 1。 |
以運算為基礎的指標
執行個體層級結果
| 欄 | 說明 |
|---|---|
| 回應 | 要評估的模型回覆。 |
| 參考資料 | 參考回覆。 |
| 分數 | 系統會針對每組回應和參考資料計算分數。 |
匯總結果
| 欄 | 說明 |
|---|---|
| 平均分數 | 所有執行個體的平均分數。 |
| 標準差 | 所有分數的標準差。 |
範例
本節範例說明如何解讀評估結果。
範例 1：逐點評估
以下範例顯示 TEXT_QUALITY 的逐點評估執行個體。TEXT_QUALITY 指標的逐點評估分數為 4 分 (1 到 5 分)，表示回覆良好。此外，評估結果中的說明會指出，評估模型認為預測結果應得 4 分，而非更高或更低的分數。
資料集
prompt：以五歲小孩能理解的方式總結下列文字：社群媒體平台因內容審查政策引發強烈反彈 知名社群媒體平台因內容審查政策引發爭議，使用者和內容創作者紛紛表達不滿。使用者指控平台審查偏頗、執法不一致，並壓制特定觀點，引發眾怒，認為平台扼殺言論自由。另一方面，該平台聲稱其政策旨在維護安全且包容的網路環境。這項爭議引發了更廣泛的問題，包括社群媒體在塑造公眾討論中的角色，以及平台在策劃線上內容方面的責任。」response：「使用者認為某個網站對他們發布的內容不公平，因此感到不滿。有人說該網站會阻止他們說出想說的話。但網站表示是為了確保所有人的安全。這讓大家不禁懷疑，網站是否應該控管使用者在網路上發表的內容。」
結果
score：4，explanation：回覆中的摘要會按照指示，以五歲兒童也能理解的方式歸納脈絡。這項功能會根據內容提供摘要，並在摘要中提供重要詳細資料。不過，回覆內容的用語有點冗長。
範例 2：逐對評估
這個範例是針對 PAIRWISE_QUESTION_ANSWERING_QUALITY 進行的成對比較評估。pairwise_choice 結果顯示，與基準回覆「法國是個國家」相比，評估模型更偏好候選回覆「法國位於西歐」。與逐點結果類似，系統也會提供說明，解釋為何候選人回覆比基準回覆更合適 (在本例中，候選人回覆更有幫助)。
資料集
prompt：「請根據以下段落回答法國位於何處。法國位於西歐，法國與比利時、盧森堡、德國、瑞士、義大利、摩納哥、西班牙和安道爾接壤。法國的海岸線沿著英吉利海峽、北海、大西洋和地中海延伸，法國以豐富的歷史、艾菲爾鐵塔等著名地標和美味佳餚聞名，是歐洲和全球的主要文化和經濟強國。response: "法國是位於西歐的國家。",baseline_model_response: "France is a country.",
結果
pairwise_choice：CANDIDATE，explanation：BASE LINE 回覆內容有根據，但未完全回答問題。但「候選人」的回覆正確，並提供法國位置的實用詳細資料。