Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

物件偵測工具指南

物件偵測模型可辨識及找出影片中超過 500 種物件。模型會接受影片串流做為輸入內容，並輸出含有偵測結果的通訊協定緩衝區至 BigQuery。模型會以每秒 1 個影格的速度執行。建立使用物件偵測器模型的應用程式時，您必須將模型輸出內容導向 BigQuery 連接器，才能查看預測輸出內容。

物件偵測工具模型應用程式規格

請按照下列操作說明，在Google Cloud 控制台中建立物件偵測模型。

控制台

在 Google Cloud 控制台中建立應用程式

如要建立物件偵測工具應用程式，請按照「建構應用程式」中的指示操作。

前往「Applications」(應用程式) 分頁

新增物件偵測模型

新增模型節點時，請從預先訓練模型清單中選取「物件偵測器」。

新增 BigQuery 連接器

如要使用輸出內容，請將應用程式連結至 BigQuery 連接器。

如要瞭解如何使用 BigQuery 連接器，請參閱「連結並將資料儲存至 BigQuery」。如需 BigQuery 定價資訊，請參閱 BigQuery 定價頁面。

在 BigQuery 中查看輸出結果

模型將資料輸出至 BigQuery 後，您可以在 BigQuery 資訊主頁中查看輸出註解。

如果未指定 BigQuery 路徑，您可以在 Agent Platform Vision Studio 頁面中，查看系統建立的路徑。

在 Google Cloud 控制台開啟「BigQuery」頁面。

前往「BigQuery」
依序選取目標專案、資料集名稱和應用程式名稱旁的「展開」。
在表格詳細資料檢視畫面中，按一下「預覽」。查看「annotation」(註解) 欄中的結果。如要瞭解輸出格式，請參閱「模型輸出內容」。

應用程式會依時間順序儲存結果。最舊的結果會顯示在表格開頭，最新的結果則會新增至表格結尾。如要查看最新結果，請按一下頁碼，前往最後一個資料表頁面。

模型輸出

模型會輸出每個影片影格的定界框、物件標籤和可信度分數。輸出內容也會包含時間戳記。輸出串流的速率為每秒一個影格。

在下方的通訊協定緩衝區輸出範例中，請注意下列事項：

時間戳記：時間戳記對應這個推論結果的時間。
識別出的方塊 - 主要偵測結果，包括方塊 ID、定界框資訊、信賴分數和物件預測。

註解輸出內容 JSON 物件範例

{
  "currentTime": "2022-11-09T02:18:54.777154048Z",
  "identifiedBoxes": [
    {
      "boxId":"0",
      "normalizedBoundingBox": {
        "xmin": 0.6963465,
        "ymin": 0.23144785,
        "width": 0.23944569,
        "height": 0.3544306
      },
      "confidenceScore": 0.49874997,
      "entity": {
        "labelId": "0",
        "labelString": "Houseplant"
      }
    }
  ]
}

通訊協定緩衝區定義

// The prediction result protocol buffer for object detection
message ObjectDetectionPredictionResult {
  // Current timestamp
  protobuf.Timestamp timestamp = 1;

  // The entity information for annotations from object detection prediction
  // results
  message Entity {
    // Label id
    int64 label_id = 1;

    // The human-readable label string
    string label_string = 2;
  }

  // The identified box contains the location and the entity of the object
  message IdentifiedBox {
    // An unique id for this box
    int64 box_id = 1;

    // Bounding Box in normalized coordinates [0,1]
    message NormalizedBoundingBox {
      // Min in x coordinate
      float xmin = 1;
      // Min in y coordinate
      float ymin = 2;
      // Width of the bounding box
      float width = 3;
      // Height of the bounding box
      float height = 4;
    }
    // Bounding Box in the normalized coordinates
    NormalizedBoundingBox normalized_bounding_box = 2;

    // Confidence score associated with this bounding box
    float confidence_score = 3;

    // Entity of this box
    Entity entity = 4;
  }
  // A list of identified boxes
  repeated IdentifiedBox identified_boxes = 2;
}

最佳做法和限制

使用物件偵測器時，請在取得資料和使用模型時，考量下列事項，以獲得最佳成效。

來源資料建議

建議：確保圖片中的物體清晰可見，不會被其他物體遮蓋或大幅遮蔽。

物件偵測器可正確處理的範例圖片資料：

清楚顯示物件的範例圖片 — *圖片來源： Spacejoy 在 Unsplash 上。*

將這項圖片資料傳送至模型，會傳回下列物件偵測資訊^*：

^* 下圖中的註解僅供說明之用。這些是手動繪製的方塊、標籤和信賴分數，並非由模型或任何 Google Cloud 控制台工具新增。

不建議：避免圖片資料中，主要物件項目在影格中太小。

物件偵測器無法正確處理的範例圖片資料：

範例圖片：物件太小，無法偵測 — *圖片來源： Bernard Hermant (圖片經過裁剪)，Unsplash。*

不建議：避免圖片資料顯示主要物件項目部分或完全被其他物件遮蓋。