O Warehouse do Vision é uma API que permite aos desenvolvedores integrar o armazenamento e a pesquisa com tecnologia de IA de conteúdo de mídia não estruturado (streaming de vídeo, imagens e vídeos em lote) em ferramentas e aplicativos atuais.
O Warehouse do Vision é um componente importante da plataforma de agentes do Gemini Enterprise Vision. Ele serve como repositório de armazenamento e oferece recursos avançados de pesquisa para vários tipos de dados e casos de uso. Especificamente:
- Streaming de vídeo: é possível importar streams de vídeo ao vivo e dados de análise de vídeo ao vivo usando o aplicativo da plataforma Vision do Gemini Enterprise Agent Platform ou a API Warehouse do Vision e pesquisar imagens usando a API Warehouse do Vision ou o console Google Cloud .
- Imagem: é possível importar imagens e metadados usando a API Warehouse do Vision, analisar imagens com a API Warehouse do Vision e pesquisar imagens usando a API Warehouse do Vision ou o console Google Cloud .
- Vídeo em lote: é possível importar vídeos e metadados em lote usando a API Warehouse do Vision, analisar vídeos em lote usando a API Warehouse do Vision e pesquisar vídeos em lote usando a API Warehouse do Vision ou o console Google Cloud .
Visão geral dos recursos da API
Recursos da API Storage
Corpus: um contêiner que contém recursos de mídia de um tipo específico. É possível criar vários corpus para organizar diferentes tipos de recursos de mídia.
Recurso: um objeto de mídia armazenado em um corpus. Os recursos podem ser imagens, vídeos em lote ou transmissões de vídeo. Um corpus geralmente contém muitos recursos do mesmo tipo. É possível especificar anotações associadas a recursos. Os recursos também podem ser agrupados em coleções para gerenciamento.
Coleção: um recurso em um corpus que serve como um contêiner de referências a recursos.
Anotação: metadados ou dados fornecidos pelo usuário derivados da plataforma de agentes do Gemini Enterprise Vision associados a um recurso. Um recurso pode ter várias anotações.
- Exemplo 1: especifique uma anotação de texto chamada "video-title" para recursos de vídeo em lote.
- Exemplo 2: armazene dados analisados de modelos de visão da plataforma de agentes do Gemini Enterprise como anotações. Por exemplo, rótulos de reconhecimento de objetos em diferentes períodos de tempo de vídeo podem ser armazenados como anotações.
Esquema de dados: define como uma anotação é interpretada em um corpus. Um esquema de dados define um tipo de anotação e a estratégia de pesquisa dele. Cada anotação precisa ser associada a um esquema de dados.
Recursos da API Search
Índice (disponível para imagens e vídeos em lote): um recurso no nível do corpus que é uma representação gerenciada de ativos e anotações analisados. Um índice pode ser visto como um conjunto de dados de vetores de embedding e restrições semânticas que representam o significado do conteúdo de mídia. Os índices podem ser implantados em endpoints de índice para pesquisa.
Endpoint de índice (disponível para imagens e vídeos em lote): um ambiente gerenciado que atende aos índices do Warehouse do Vision. Os endpoints de índice oferecem um único ponto de acesso para o envio de solicitações de pesquisa.
Configuração de pesquisa: armazena várias propriedades que afetam os comportamentos e resultados da pesquisa.
- Propriedade de faceta (disponível para a vertical de streaming de vídeo): cria uma configuração para ativar resultados de pesquisa de histograma com base em facetas.
- Propriedade de critérios de pesquisa (disponível para categorias de vídeo em streaming e em lote): cria um mapeamento entre um critério de pesquisa personalizado e uma ou mais chaves de esquema de dados.
Pesquisar hiperônimo: um tipo específico de configuração de pesquisa que permite personalizar a capacidade do serviço de pesquisa de reconhecer hiperônimos de palavras. Por exemplo, os usuários podem especificar "animal" como um hiperônimo de "gato" e "cachorro". Pesquisar "animal" também vai retornar resultados com "gato" e "cachorro" nos dados do índice.
Idiomas compatíveis
O Batch Video Warehouse e o Image Warehouse são compatíveis com os seguintes idiomas para pesquisa semântica:
- Inglês
- Espanhol
- Português
- Francês
- Japonês
- Chinês
O Streaming Warehouse não tem restrição de idioma.
A seguir
- Entenda os principais fluxos de usuários da API para cada segmento de mídia: streaming de vídeo, imagem e vídeo em lote.
- Confira as cotas e os limites do Warehouse do Vision.
- Conheça os preços.
- Saiba como receber suporte.