Criar streams e ingerir dados

A primeira etapa na análise dos dados de vídeo com um aplicativo é criar um pipeline para o fluxo contínuo de dados. O Streams oferece a capacidade de ingerir dados de vídeo em tempo real, que podem ser usados como entrada para modelos ou armazenados em um warehouse.

Criar um stream

Para transmitir dados de vídeo, primeiro crie um stream.

A primeira vez que você cria um stream em um novo projeto, pode levar algum tempo. Esse tempo é de cerca de 30 minutos. Isso ocorre porque o sistema precisa inicializar um cluster de computação para cálculos subsequentes.

Console

Crie um stream no Google Cloud console.

  1. Abra a guia Streams do painel do Gemini Enterprise Agent Platform Vision.

    Acessar a guia "Streams"

  2. Clique em Registrar.

  3. Insira o nome do stream e selecione uma região. Clique em Adicionar linha para registrar vários streams ao mesmo tempo.

  4. Clique no botão Registrar para criar um ou mais streams.

Ingerir vídeos

Depois de criar um stream, você pode começar a ingerir dados usando esse stream.

Algumas limitações e considerações se aplicam ao vídeo ingerido:

  • A fonte de vídeo de entrada precisa ter as seguintes especificações:

    Se o vídeo não atender a essas especificações, o Gemini Enterprise Agent Platform Vision poderá não processar bem a entrada.

  • O áudio é descartado durante a ingestão.
  • Se o stream fizer parte de um app conectado a um warehouse, os parâmetros de vídeo (como QPS ou resolução) precisam ser os mesmos para todo o stream. Variações nos parâmetros de dados de vídeo RTSP ou parâmetros de dados de vídeo locais não são aceitas.
  • Devido à latência de inicialização do modelo, os vídeos ingeridos podem ter os primeiros segundos de conteúdo ausentes. Esse período pode chegar a 15 segundos.
  • A terminação da ingestão pode acontecer após uma conexão longa (cerca de 5 horas, em média). Não há capacidade de reconexão na ferramenta vaictl . Os usuários precisam se reconectar manualmente.
  • Embora vaictl seja uma ferramenta útil para ingerir dados de vídeo, ela não processa automaticamente a recuperação de erros de rede. Esses erros podem vir do lado da fonte de dados ou do lado da ingestão na nuvem. É responsabilidade do usuário criar um script de reinicialização para processar terminações inesperadas da operação vaictl.

SDK do Gemini Enterprise Agent Platform Vision

Para enviar uma solicitação de ingestão de dados de vídeo usando um stream atual, você deve instalar o SDK do Gemini Enterprise Agent Platform Vision.

Faça as seguintes substituições de variáveis:

  • PROJECT_ID: o ID do projeto do Google Cloud .
  • LOCATION_ID: o ID do local. Por exemplo, us-central1. Mais informações. Regiões aceitas.
  • LOCAL_FILE.EXT: o nome de um arquivo de vídeo local. Por exemplo, my-video.mp4.
  • STREAM_ID: o ID do stream que você criou no cluster Por exemplo, input-1.
  • RTSP_ADDRESS: o endereço do feed do Real Time Streaming Protocol (RTSP). Por exemplo, rtsp://my-ip-camera.

Dados de vídeo locais :

# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT

Dados de vídeo locais (em loop) :

# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop

Dados de feed do Real Time Streaming Protocol (RTSP) :

# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS

Reproduzir vídeos ingeridos

Depois de criar um stream e enviar conteúdo de vídeo para ele, você pode reproduzir o conteúdo.

Se você deixar a guia de visualização do stream aberta por mais de uma hora, será necessário atualizar a página para continuar carregando o conteúdo do vídeo.

Console

Reproduza o vídeo ingerido no Google Cloud console.

  1. Abra a guia Streams do painel do Gemini Enterprise Agent Platform Vision.

    Acessar a guia "Streams"

  2. Clique no nome do stream na lista de streams.

  3. Na página de detalhes do stream de vídeo, a visualização ao vivo do vídeo ingerido é carregada automaticamente.