Anotação de vídeo em streaming

Esta página descreve como obter análises de uma stream de vídeo a partir de um ficheiro discreto ou de dados arquivados. Consulte o artigo sobre streams de vídeo em direto para saber como adicionar anotações a uma stream de vídeo em direto.

Pode usar a API Streaming (StreamingVideoIntelligenceService) para a deteção de vídeo em tempo real com as seguintes funcionalidades:

Pode usar o Vertex AI AutoML para as seguintes funcionalidades:

Usar a API Streaming

Pode dividir um ficheiro de vídeo em partes e transmitir cada parte através do gRPC para enviar várias mensagens para o serviço de streaming da Video Intelligence API. A primeira mensagem só pode conter uma mensagem StreamingVideoConfig. Todas as mensagens subsequentes têm de conter apenas dados de vídeo.

O serviço de streaming da Video Intelligence API devolve uma resposta que contém resultados com base na funcionalidade que especificou na configuração do vídeo.

Num pedido gRPC, escreve os dados binários diretamente na stream. Não tem de converter o conteúdo de vídeo para base64.

Recomendamos que mantenha o tamanho dos fragmentos de vídeo inferior a 10 MB.

O Video Intelligence também lhe permite especificar um contentor do Google Cloud Storage para os seus resultados.

Codecs de vídeo suportados

O Video Intelligence suporta os seguintes formatos de vídeo comuns:

Formato Notas
MTS, FLV Todos os formatos de vídeo MTS e FLV são suportados.
MP4 (MPEG4), MOV, 3GP

O Atom MOOV tem de estar no início do ficheiro.

Pode usar a ferramenta ffmpeg para colocar o átomo MOOV no início do ficheiro de vídeo, conforme mostrado no exemplo seguinte:

$ ffmpeg -i input_file.mp4 -c copy -map 0 -movflags faststart output_file.mp4
MKV, WebM

As legendas têm de estar no início do ficheiro.

Pode usar a ferramenta mkclean para mover a indicação para o início do ficheiro, conforme mostrado no exemplo seguinte:

$ mkclean --keep-cues --optimize in.mkv out.mkv
$ mkclean --keep-cues --optimize --doctype 4 in.webm out.webm

Para formatos de vídeo que não estão listados como suportados, pode determinar se o ficheiro de vídeo suporta streaming através de um canal anónimo e da ferramenta ffmpeg. Os comandos de exemplo seguintes descodificam um vídeo em imagens PNG a uma taxa de 0,2 fps. Se o ficheiro puder ser descodificado com êxito através destes comandos, pode transmiti-lo através do serviço de streaming do Video Intelligence.

$ mkfifo /tmp/inpipe
$ ffmpeg -i /tmp/inpipe -r 0.2 output_%04d.png
$ cat [FILE NAME] > /tmp/inpipe