创建串流并注入数据

使用应用分析视频数据的第一步是为持续数据流创建流水线。 Streams 能够注入实时视频数据，然后这些数据可用作模型的输入，或存储在数据仓库中。

创建数据流

如需流式传输视频数据，您必须先创建数据流。

首次在新项目中创建数据流时，创建过程可能需要一些时间。 此时间约为 30 分钟。这是因为系统需要初始化一个 计算集群以进行后续计算。

控制台

在 Google Cloud 控制台中创建数据流。

  1. 打开 Gemini Enterprise Agent Platform Vision 信息中心的数据流 标签页。

    前往“数据流”标签页

  2. 点击 注册 。

  3. 输入数据流名称并选择区域。您可以点击添加行 以同时注册多个数据流。

  4. 点击注册 按钮以创建一个或多个数据流。

注入视频

创建数据流后，您可以使用该数据流开始注入数据。

注入的视频有一些限制和注意事项：

  • 输入视频源必须符合以下规范：

    如果视频不符合这些规范，Gemini Enterprise Agent Platform Vision 可能无法很好地处理输入。

  • 注入期间会丢弃音频。
  • 如果数据流是与数据仓库关联的应用的一部分，则整个数据流的视频参数 （例如 FPS 或分辨率）必须相同； 不支持 RTSP 视频数据参数或本地视频数据参数 的变化。
  • 由于模型启动延迟，注入的视频可能会缺少前几秒的内容 。此时间最长可达 15 秒。
  • 长时间连接 （平均约 5 小时）后，注入可能会终止。`vaictl ` 工具没有重新连接功能；用户必须手动重新连接。
  • 虽然 vaictl 是注入视频数据的实用工具，但该工具不会 自动处理网络错误恢复。这些错误可能来自 数据源端或云注入端。用户有责任创建 重启脚本来处理意外的 vaictl 操作终止。

Gemini Enterprise Agent Platform Vision SDK

如需发送请求以使用现有数据流注入视频数据，您必须 安装 Gemini Enterprise Agent Platform Vision SDK。

进行以下变量替换：

  • PROJECT_ID：您的 Google Cloud 项目 ID。
  • LOCATION_ID：您的位置 ID。例如，us-central1。 了解详情。支持的区域。
  • LOCAL_FILE.EXT：本地视频文件的文件名。例如，my-video.mp4。
  • STREAM_ID：您在集群中创建的数据流 ID 例如，input-1。
  • RTSP_ADDRESS：您的实时流式传输协议 (RTSP) Feed 的地址。例如，rtsp://my-ip-camera。

本地视频数据：

# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT

本地视频数据（循环）：

# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop

实时流式传输协议 (RTSP) Feed 数据：

# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS

播放注入的视频

创建数据流并将视频内容发送到该数据流后，您可以播放视频内容。

如果您将数据流视图标签页打开超过一小时，则必须刷新该页面才能继续加载视频内容。

控制台

在 Google Cloud 控制台中播放注入的视频。

  1. 打开 Gemini Enterprise Agent Platform Vision 信息中心的数据流 标签页。

    前往“数据流”标签页

  2. 在数据流列表中，点击数据流名称。

  3. 在视频流详情页面中，注入的视频实时视图会自动加载。