設定以功能為準的視覺化呈現設定

Vertex Explainable AI 提供圖片資料的內建視覺化功能。 您可以設定自訂訓練圖片模型的視覺化效果。

要求圖像分類模型提供說明時,您會收到預測類別,以及顯示哪些像素或區域影響預測結果的覆疊影像。

下圖顯示哈士奇圖片的視覺化效果。左側的視覺化內容使用整合梯度法,並醒目顯示正向歸因的區域。右側的視覺化圖片使用 XRAI 方法,以顏色漸層表示在做出正面預測時,影響較小 (藍色) 和較大 (黃色) 的區域。

使用積分梯度呈現哈士奇的特徵歸因
使用 XRAI 呈現哈士奇的特徵歸因視覺化結果

您處理的資料類型會影響您使用整合式梯度或 XRAI 方法來顯示說明。

  • XRAI 較適合處理自然圖片,並提供更完善的洞察摘要,例如顯示正面關聯與狗臉形狀有關。
  • 積分梯度 (IG) 傾向於提供像素層級的詳細資料,有助於發掘更精細的歸因。

如要進一步瞭解歸因方法,請參閱 Vertex Explainable AI 的總覽頁面

開始使用

建立支援 Vertex Explainable AI 的 Model 資源時,或覆寫 ModelExplanationSpec 時,設定視覺化效果。

如要設定模型的視覺化呈現方式,請填入與要視覺化的特徵相應的 InputMetadata 訊息visualization 欄位。在這則設定訊息中,您可以加入選項,例如使用的疊加類型、要醒目顯示的著作權聲明、顏色等。所有設定都是選填。

圖表選項

預設和建議設定取決於歸因方法 (積分梯度或 XRAI)。以下列出設定選項,並說明使用方式。如需完整選項清單,請參閱 Visualization 訊息的 API 參考資料

  • type:使用的視覺化類型:OUTLINESPIXELStype 欄位預設為 OUTLINES,會顯示歸因區域。如要顯示每個像素的歸因,請將欄位設為 PIXELS

  • polarity:醒目顯示出處的顯示方向。預設為 positive,會醒目顯示正向歸因最高的區域。也就是說,標出對模型正面預測結果影響最大的像素。將極性設為 negative,即可醒目顯示導致模型未預測正類的區域。使用負極性有助於找出偽陰性區域,進而偵錯模型。您也可以將極性設為 both,顯示正向和負向歸因。

  • clip_percent_upperbound:從醒目顯示的區域中排除高於指定百分位數的歸因。同時使用兩個範圍裁剪參數有助於過濾雜訊,還能更輕鬆地查看歸因較強的區塊。

  • clip_percent_lowerbound:從醒目顯示的區域中,排除低於指定百分位數的歸因。

  • color_map:醒目顯示區域所採用的色彩配置。積分梯度預設使用 pink_green:以綠色顯示正向歸因,而以粉紅色顯示負向歸因。對於 XRAI 視覺化效果,顏色對照是漸層。XRAI 預設使用 viridis 色彩配置,以黃色醒目顯示最具影響力的區域,並以藍色標示影響力最低的區域。

    如需可能值的完整清單,請參閱 Visualization 訊息的 API 參考資料

  • overlay_type:原始影像的視覺化呈現方式。 如果難以查看原始圖片的視覺化內容,調整覆疊圖層或許可以提高視覺清晰度。

    如需可能值的完整清單,請參閱 Visualization 訊息的 API 參考資料

設定範例

如要開始使用,請參閱下方的 Visualization 設定範例,並參考圖片瞭解套用的一系列設定。

積分梯度

如果是整合式梯度,如果歸因區域過於雜亂,您可能需要調整剪輯值。

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

下列視覺化效果同時使用 outlinespixels 類型。標示為「僅限高預測性」、「中等預測性」和「幾乎所有」的資料欄,是不同層級的裁剪範例,可協助您專注於視覺化呈現。

特徵歸因視覺化效果,並以輪廓顯示積分梯度歸因

顯示 IG 歸因像素的特徵歸因視覺化效果

XRAI

對於 XRAI 視覺化效果,建議您一開始不要設定 XRAI 的剪輯值,因為重疊部分會使用漸層顯示高和低歸因的區域。

visualization: {
  "type": "PIXELS",
  "polarity": "positive",
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

下圖為 XRAI 視覺化效果,使用預設的綠色色碼表和一系列疊加類型。黃色區域表示對預測結果有正面影響的區域。

XRAI 歸因的特徵歸因視覺化

後續步驟