Hello 圖片資料:評估及分析模型效能

使用 Google Cloud 控制台查看模型效能。分析測試錯誤,修正資料問題,反覆提升模型品質。

本教學課程包含多個頁面:

  1. 設定專案和環境。

  2. 建立圖片分類資料集,並匯入圖片。

  3. 訓練 AutoML 圖片分類模型。

  4. 評估及分析模型效能。

  5. 將模型部署至端點,並傳送預測結果。

  6. 清除專案所用資源。

各頁面都假設您已按照本教學課程先前頁面的操作說明執行。

1. 瞭解 AutoML 模型評估結果

訓練完成後,系統會自動根據測試資料分割區評估模型。如要查看對應的評估結果,請在「Model Registry」(模型登錄) 頁面或「Dataset」(資料集) 頁面中,按一下模型名稱。

您可以在這裡找到評估模型成效的指標。

評估頁面

如要進一步瞭解各種評估指標,請參閱「評估、測試及部署模型」一節。

2. 分析測試結果

如要繼續提升模型效能,通常第一步是檢查錯誤案例,並調查可能原因。每個類別的評估頁面都會顯示詳細的測試圖片,並將特定類別歸類為偽陰性、偽陽性和真陽性。如要瞭解各類別的定義,請參閱「評估、測試及部署模型」一節。

點選每個類別下方的圖片,即可進一步查看預測詳細資料,並存取詳細分析結果。頁面右側會顯示「查看類似圖片」面板,其中會呈現訓練集最接近的樣本,並以特徵空間中測量的距離表示。

「Error_analysis」頁面

您可能需要注意以下兩種資料問題:

  1. 標籤不一致。如果訓練集中有與測試樣本相似的樣本,但標籤不同,可能是其中一個標籤有誤,或是細微差異需要更多資料供模型學習,也可能是目前的類別標籤不夠準確,無法描述指定樣本。查看類似圖片有助於修正錯誤案例,或從測試集中排除有問題的樣本,確保標籤資訊正確無誤。您可以在同一頁面的「查看類似圖片」面板中,輕鬆變更測試圖片或訓練圖片的標籤。

  2. 離群值。如果測試樣本標示為離群值,訓練集中可能沒有視覺上相似的樣本,因此無法協助訓練模型。查看訓練集中的類似圖片,有助於找出這些樣本,並將類似圖片新增至訓練集,進一步提升模型在這些情況下的效能。

後續步驟

如果對模型效能感到滿意,請按照本教學課程的下一頁說明,將訓練好的 AutoML 模型部署至端點,並將圖片傳送至模型進行預測。否則,如果對資料進行任何修正,請使用「訓練 AutoML 圖片分類模型」教學課程訓練新模型。