動作篩選指南

動作篩選器模型可將長影片片段剪輯成較小的片段，並只保留含有動作事件的片段，藉此縮短運算時間。這個模型可讓您設定動作感應度、最短事件長度、回溯期和冷卻期，根據用途調整動作事件的輸出內容。

模型參數

動態篩選模型有四個控制參數，可調整事件片段和模型傳回片段的方式。

參數 說明 標記 預設值 可用的值
事件錄影時間下限 動作事件結束後，系統會繼續錄製動作事件的最短時間 (以秒為單位)。 --min-event-length INT 10 (秒) 1 - 3600
動作偵測靈敏度 模型動作事件篩選的靈敏度。高靈敏度 對動態的反應較快，並提供更嚴格的動態篩選功能，因此偵測到的動態較多。 --motion-sensitivity STRING "medium" "high"、"medium" 或 "low"
回溯期 服務在偵測到動作事件前擷取的影片內容長度 (以秒為單位)。 --lookback-length INT 3 (秒) 0 - 300
等待期 動作事件結束後，系統會進入指定時間長度的冷卻期。在冷卻期間，攝影機不會記錄動作事件。 --cooldown-length INT 300 (秒) 0 - 3600

動作感應靈敏度

執行動作篩選器時，動作感應度在決定模型從影片串流建立多少片段影片方面，扮演最重要的角色。

動作偵測靈敏度越高，模型偵測到雜訊和微小動作的機率就越高。 如果環境光線穩定，且畫面中移動的物體較小 (例如遠處的人)，建議使用較高的感應度設定。

反之，低靈敏度 最不容易受到光線干擾和微小動作影響。 這項設定適合光線干擾較多的情況，例如戶外環境。由於這是最嚴格的篩選選項，因此會忽略小型物體的移動。

事件錄影時間下限

最短事件長度是指模型在影格中停止偵測動作事件後，擷取的影片長度。預設值為 10 秒，但您可以指定 1 秒到 3,600 秒之間的時間。如果在最短事件長度期間偵測到新的動作，系統會將新的動作新增至目前的影片片段，持續時間為新偵測到的動作事件長度加上新的最短事件長度倒數。

最短事件長度圖表

舉例來說，假設某個十字路口的影片中有兩輛車在畫面中移動。第一輛車會在前三秒經過，第二輛車則會在兩秒後出現。如果將最短事件長度設為一秒，則會有兩個含有動作的影片片段。一個影片片段包含第一輛車，另一個片段則包含第二輛車。不過，如果將動作事件設為三秒，則只會產生一個含有動作的影片片段。第二輛車只在第一輛車出現兩秒後，就出現在畫面中。

設定最短事件長度時，請考量影片中動作事件的發生頻率，以及要儲存的影片片段數量。如果動作事件發生頻率很高，但您希望將大部分動作事件儲存為個別影片片段，請將最短事件長度設為較短的時間。如果動作事件不常發生，但您想將事件歸類在一起，請將最短事件長度設為較長的時間，以便在同一段影片中擷取多個事件。

回溯期

回溯期是指偵測到動作事件前的一段時間。如果您想查看模型偵測到動作事件前幾秒的影格發生了什麼事，這個視窗就非常實用。回溯期預設值為 3 秒，但您可以指定介於 0 到 300 秒的值。

您可以使用回溯期，查看移動物件的來源。您也可以使用回溯期，查看動作事件發生前幾秒的畫面。如果畫面中有小型移動物件，但未偵測為動作事件，回溯期就很有幫助。不過，影格中的小型移動物體可能導致系統偵測到較大的動作事件。

等待期

冷卻期是指在動作事件和最短事件長度擷取完畢後的一段時間。在等待期內，偵測到的動作不會觸發動作篩選器。這段時間的範圍介於零秒和 3,600 秒之間。預設值為 300 秒。

等待期可協助使用者節省運算費用。如果預期影格中會出現動作，且您只對動作發生時間感興趣，不在意後續情況，則冷卻期是實用的設定。

使用模型

您可以使用 Gemini Enterprise Agent Platform Vision SDK 動作篩選模型。

使用 vaictl 指令列工具啟用模型，方法是指定 applying encoded-motion-filter 並傳遞值來設定控制參數。

Gemini Enterprise Agent Platform Vision SDK

如要使用動作篩選器模型傳送要求，請安裝 Gemini Enterprise Agent Platform Vision SDK。

請替換下列變數：

  • PROJECT_ID： Google Cloud 專案 ID。
  • LOCATION_ID：您的地區 ID。例如，us-central1。支援的地區。 更多資訊。
  • LOCAL_FILE.EXT：本機影片檔案的檔案名稱。例如：my-video.mp4。
  • STREAM_ID：您在叢集中建立的串流 ID。 例如：input-stream。
  • --motion-sensitivity：動作事件篩選的靈敏度。選項為 high、medium、low。
  • --min-event-length：動作事件的最短時間長度 (以秒為單位)。 預設值為 10 秒。可用值：1-3600。
  • --lookback-length：動作事件開始前，回溯期的持續時間 (以秒為單位)。預設值為 3 秒。可用值： 0-300。
  • --cooldown-length：動作事件發生後的冷卻時間，以秒為單位。預設值為 300 秒 (5 分鐘)。可用值：0-3600。
  • --continuous-mode：是否以連續模式傳送。預設值為 true。
  • OUTPUT_DIRECTORY：要儲存輸出影片片段 MP4 檔案的目錄。

查看指令資訊

使用下列指令查看指令和選用參數的詳細資訊：

vaictl send video-file applying motion-filter -h

使用動作篩選器模型篩選本機檔案內容

這項指令只會傳送模型偵測到動作的影片片段。

vaictl -p PROJECT_ID \
      -l LOCATION_ID \
      -c application-cluster-0 \
      --service-endpoint visionai.googleapis.com \
send video-file  --file-path LOCAL_FILE.EXT \
applying motion-filter --motion-sensitivity=medium \
      --min-event-length=10 --lookback-length=3 --cooldown-length=0 \
to streams STREAM_ID --loop

使用動作篩選器模型篩選本機檔案內容，並儲存輸出內容

這項指令會使用 --continuous_mode 旗標，為每個動作片段輸出個別的影片檔案。

vaictl -p PROJECT_ID \
      -l LOCATION_ID \
      -c application-cluster-0 \
      --service-endpoint visionai.googleapis.com \
send video-file --file-path LOCAL_FILE.EXT --continuous-mode=false \
applying motion-filter --motion-sensitivity=medium \
      --min-event-length=10 --lookback-length=3 --cooldown-length=0 \
to mp4file --mp4-file-path=OUTPUT_DIRECTORY

最佳做法

動態篩選器是輕量型模型，可減少傳輸期間解碼編碼影片的運算時間。如要發揮最佳效果，請將靜態相機直接對準感興趣的物體。避免在影格背景中加入不重要的移動物體。舉例來說，如果影格含有移動樹木、持續的車流或移動物體的陰影等背景物件，系統就會偵測到這些不重要主體的動作。

將感興趣的物體放在前景，並盡可能減少背景中持續移動的物體數量。摘要：

  • 使用靜態攝影機。
  • 請務必避免背景持續移動。
  • 系統不會偵測到微小動作。
  • 確保物件夠大。

室內最佳做法

如果室內環境光線穩定，背景移動幅度不大，請遵循下列室內最佳做法：

  • 提高靈敏度。影格中的物體會放大，影格中的雜訊也會減少。
  • 縮短回溯期和事件錄影時間。室內移動速度較慢，且移動空間有限。

遵循這些室內做法，動作篩選器就能在最短時間內記錄物體移動。

戶外最佳做法

在室外環境中，室外場景有更多變數可能會影響濾鏡的效能。舉例來說，如果畫面中出現移動的樹木陰影或陽光變化，動態篩選器模型就會偵測到動作。請考慮下列情況，並找出最佳回應方式。

情境 1：

假設影片拍攝的是人行道，偶爾會有行人經過。這些動作可能像隨意走動一樣緩慢，也可能像滑板經過一樣快速。請按照下列指引操作：

  • 將最短時間範圍和回溯期設為較長的值。室外動作的速度範圍比室內大，因此增加最短視窗長度和回溯期，可讓模型擷取完整的動作事件。
  • 將動作感應靈敏度調高。戶外環境含有更多自然移動的物體，例如移動的樹木和陰影。如要只專注於人類和自行車等感興趣的物件，請將動作感應度調高，避免持續偵測背景物件。

情境 2：

試想另一部影片，內容是車輛不斷駛過的街道，偶爾有行人經過。請按照下列指引操作：

  • 將靈敏度設為中或低：靈敏度越低，模型就越能捕捉畫面中各種大小的移動物體。
  • 將回溯期和最短事件長度設為較短的值。街上的汽車和其他車輛移動速度明顯比人類和自行車快。為這些參數設定較短的值，可因應動作速度較快，以及物體快速進入和離開影格的情況。
  • 設定較短的冷卻時間。由於物體移動速度較快，下一個物體可能會在第一個物體進入影格後不久進入影格。因此，冷卻時間較短。

限制

由於動作篩選器主要取決於每個影格中的動作向量，因此請注意以下限制。

  1. 攝影機角度：請使用靜態攝影機，因為動態攝影機的畫面會不斷移動。
  2. 物體大小：盡量將主體構圖，讓主要物體在畫面中夠大，以透過動作篩選器獲得最佳效能。
  3. 光線：光線變化 (例如畫面中亮度突然改變或陰影劇烈移動) 可能會降低模型效能。動態範圍較小，導致整體影片的亮度色調相似，影響模型解讀動作的方式，並降低模型效能。
  4. 攝影機位置：此模型旨在偵測畫面中的動作。包括背景移動，例如風吹動樹木或物體移出畫面而產生陰影。如果影格的大部分都指向造成這些動作的背景物件，可能會影響模型效能。