Crie uma app de contagem de ocupação com entrada de streaming remota

O Vertex AI Vision é uma plataforma com tecnologia de IA que pode usar para carregar, analisar e armazenar dados de vídeo. O Vertex AI Vision permite-lhe criar e implementar aplicações de IA. Pode criar soluções de Vertex AI Vision ponto a ponto tirando partido da integração do Vertex AI Vision com outros componentes do produto.

Para começar a implementar soluções com a plataforma Vertex AI Vision, reveja os seguintes conceitos e componentes do Vertex AI Vision:

• Streams: representam uma camada de streaming de vídeo da sua solução. A origem da stream pode ser um vídeo em direto (por exemplo, uma câmara IP) ou um ficheiro de vídeo (por exemplo, um ficheiro MP4).

• Aplicações: ative a ligação entre uma stream e um processador de IA para realizar uma operação de aprendizagem automática no vídeo. Por exemplo, pode associar um stream de vídeo a um modelo de IA que conta as pessoas que passam em frente ao mesmo.

• Armazéns de conteúdo multimédia: armazenam o vídeo carregado por streams para o Google Cloud armazenamento. O armazenamento de dados neste destino permite-lhe consultar a saída da análise e os metadados dos processadores de IA usados em dados dos streams carregados.

Crie uma aplicação de contagem de ocupação

Depois de configurar o seu ambiente, o primeiro passo é criar a app que processa os seus dados. Pode considerar uma app como um pipeline automatizado que liga o seguinte:

• Carregamento de dados: um feed de vídeo é carregado numa stream.
• Análise de dados: pode adicionar um modelo de IA após a ingestão. Qualquer operação de visão por computador pode ser realizada nas informações de vídeo carregadas.
• Armazenamento de dados: as duas versões do feed de vídeo (a stream original e a stream processada pelo modelo de IA) podem ser armazenadas num armazém de multimédia.

Na Google Cloud consola, uma app é representada como um gráfico. Além disso, no Vertex AI Vision, um gráfico de apps tem de ter, pelo menos, dois nós: um nó de origem de vídeo (stream) e , pelo menos, mais um nó (um modelo de processamento ou um destino de saída).

Crie uma app vazia

Antes de poder preencher o gráfico de apps, tem de criar uma app vazia.

Consola

Crie uma app na Google Cloud consola.

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Clique no botão Criar.

3. Introduza occupancy-count-app como o nome da app e escolha a sua região.

4. Clique em Criar.

Adicione nós de componentes de apps

Depois de criar a aplicação vazia, pode adicionar os três nós ao gráfico da app:

1. Nó de carregamento: o recurso de stream que carrega dados enviados a partir de uma instância de VM do Compute Engine que criar.
2. Nó de processamento: o modelo de estatísticas de ocupação que atua sobre os dados carregados.
3. Nó de armazenamento: o armazém de multimédia que armazena vídeos processados e também funciona como um armazém de metadados. O armazém de dados permite gerar informações de estatísticas sobre os dados de vídeo carregados, bem como armazenar informações que os modelos de IA inferem sobre os dados.

Consola

Adicione nós de componentes à sua app na consola.

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Na linha occupancy-count-app, selecione Ver gráfico. Isto permite aceder à visualização do gráfico do pipeline de processamento.

Adicione um nó de carregamento de dados

1. Para adicionar um nó de fluxo de entrada, selecione a opção Streams na secção Connectors do menu lateral.

2. Na secção Origem do menu Stream que é aberto, selecione Adicionar streams.

3. No menu Adicionar streams, escolha Registar novas streams e adicione occupancy-count-stream como o nome da stream.

4. Para adicionar a stream ao gráfico de apps, clique em Adicionar streams.

Adicione um nó de tratamento de dados

1. Para adicionar o nó do modelo de contagem de ocupação, selecione a opção Estatísticas de ocupação na secção Modelos especializados do menu lateral.

2. Deixe as seleções predefinidas Pessoas e Veículos.

Adicione um nó de armazenamento de dados

1. Para adicionar o nó de destino de saída (armazenamento), selecione a opção Media Warehouse do Vertex AI Vision na secção Conetores do menu lateral.

2. No menu Media Warehouse da Vertex AI Vision, clique em Associar armazém.

3. No menu Associar armazém, selecione Criar novo armazém. Dê o nome occupancy-count-warehouse ao armazém e deixe a duração do TTL em 14 dias.

4. Clique no botão Criar para adicionar o armazém.

Implemente a sua app para utilização

Depois de criar a sua app de ponta a ponta com todos os componentes necessários, o último passo para usar a app é implementá-la.

Consola

1. Abra o separador Aplicações do painel de controlo do Vertex AI Vision.

   Aceda ao separador Aplicações

2. Selecione Ver gráfico junto à app occupancy-count-app na lista.

3. Na página do criador de gráficos de aplicações, clique no botão Implementar.

4. Na caixa de diálogo de confirmação seguinte, selecione Implementar.

   A operação de implementação pode demorar vários minutos a ser concluída. Após a conclusão da implementação, aparecem marcas de verificação verdes junto aos nós.

   

Configure uma máquina remota para fazer stream de vídeo

Agora que tem uma app de contagem de ocupação implementada pronta para receber, processar e armazenar dados de streaming, tem de fazer streaming de dados de vídeo para a app.

Neste tutorial, cria uma instância de VM do Compute Engine que aloja um vídeo e envia esses dados de streaming de vídeo a partir da VM.

Crie uma VM do Linux

O primeiro passo para enviar vídeo a partir de uma instância de VM do Compute Engine é criar a instância de VM.

Consola

1. Na consola, aceda à página Instâncias de VM.

   Aceder às instâncias de VM

2. Selecione o projeto e clique em Continuar.

3. Clique em Criar instância.

4. Especifique um Nome para a VM. Para mais informações, consulte o artigo Convenção de nomenclatura de recursos.

5. Opcional: altere a zona desta VM. O Compute Engine aleatoriza a lista de zonas em cada região para incentivar a utilização em várias zonas.

6. Aceite as restantes opções predefinidas. Para mais informações sobre estas opções, consulte o artigo Crie e inicie uma VM.

7. Para criar e iniciar a VM, clique em Criar.

Configure o ambiente de VM

Depois de a VM ser iniciada, pode usar a consola para estabelecer uma ligação SSH no navegador. Depois de estabelecer esta ligação, pode transferir a ferramenta de linha de comandos vaictl para carregar vídeos para a sua app.

Consola

Estabeleça uma ligação SSH à sua VM

1. Na consola, aceda à página Instâncias de VM.

   Aceder às instâncias de VM

2. Na secção Ligar da linha de instância que criou, clique em SSH. Esta ação abre uma ligação SSH numa nova janela do navegador.

   

Transfira a vaictl ferramenta de linha de comandos

1. Na janela SSH no navegador, transfira a ferramenta de linha de comandos do Vertex AI Vision (vaictl) através do seguinte comando:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb
   

2. Instale a ferramenta de linhas de comandos executando o seguinte comando:

   sudo apt install ./visionai_0.0-5_amd64.deb
   

3. Pode testar a instalação executando o seguinte comando:

   vaictl --help
   

Carregue um ficheiro de vídeo para a sua app

Depois de configurar o ambiente de VM, pode copiar um ficheiro de vídeo de exemplo e, em seguida, usar vaictl para transmitir os dados de vídeo para a sua app de contagem de ocupação.

SSH no navegador

Copie um vídeo de exemplo para a sua VM

1. Na janela SSH no navegador da sua VM, copie um vídeo de exemplo com o seguinte comando gcloud storage cp. Substitua a seguinte variável:
   • SOURCE: a localização de um ficheiro de vídeo a usar. Pode usar a sua própria origem de ficheiro de vídeo (por exemplo, gs://BUCKET_NAME/FILENAME.mp4) ou usar um dos vídeos de exemplo:
     • gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 (vídeo com pessoas e veículos, fonte)
     • gs://cloud-samples-data/vertex-ai-vision/highway_vehicles.mp4 (vídeo apenas com veículos, origem)

   gcloud storage cp SOURCE .

Faça stream de vídeo a partir da VM e carregue dados na sua app

1. Para enviar este ficheiro de vídeo local para o fluxo de entrada da app, use o seguinte comando. Tem de fazer as seguintes substituições de variáveis:
   • PROJECT_ID: o ID do seu Google Cloud projeto.
   • LOCATION_ID: o ID da sua localização. Por exemplo, us-central1. Para mais informações, consulte o artigo Localizações na nuvem.
   • LOCAL_FILE.EXT: o nome do ficheiro de um ficheiro de vídeo local. Por exemplo, my-video.mp4.
   • Sinalizador --loop: opcional. Faz um ciclo dos dados de ficheiros para simular o streaming.

   Este comando transmite um ficheiro de vídeo para uma stream. Se usar a flag --loop, o vídeo é repetido na stream até parar o comando:

   vaictl -p PROJECT_ID \
       -l LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
   send video-file to streams 'occupancy-count-stream' --file-path LOCAL_FILE.EXT --loop

Pode demorar cerca de 100 segundos entre o início da operação de carregamento vaictl e a apresentação do vídeo no painel de controlo.

Depois de a ingestão de streams estar disponível, pode ver o feed de vídeo no separador Streams do painel de controlo do Vertex AI Vision selecionando a stream occupancy-count-stream.

Aceda ao separador Streams

Vista em direto do vídeo que está a ser carregado na stream na Google Cloud consola. Créditos do vídeo: Elizabeth Mavor no Pixabay (píxeis adicionados).

Pesquise conteúdo de vídeo no armazém de armazenamento

Depois de carregar os dados de vídeo para a app de processamento, pode ver os dados de vídeo analisados e pesquisar os dados com base nas informações de estatísticas de ocupação.

Consola

1. Abra o separador Armazéns do painel de controlo do Vertex AI Vision.

   Aceda ao separador Armazéns

2. Encontre o armazém occupancy-count-warehouse na lista e clique em Ver recursos.

3. Na secção Contagem de pessoas ou Contagem de veículos, defina o valor Mínimo como 1 e o valor Máximo como 5.

4. Para filtrar os dados de vídeo processados armazenados no Media Warehouse do Vertex AI Vision, clique em Pesquisar.

   

   Uma vista dos dados de vídeo armazenados que correspondem aos critérios de pesquisa na Google Cloud consola. Créditos do vídeo: Elizabeth Mavor no Pixabay (critérios de pesquisa aplicados).