A pesquisa de vetor é um mecanismo de pesquisa vetorial avançado criado com tecnologia inovadora desenvolvida pelo Google Research. Aproveitando o ScaNN ScaNN, a pesquisa de vetor permite criar sistemas de pesquisa e recomendação de última geração, bem como aplicativos de IA generativa.
Você pode aproveitar a mesma pesquisa e tecnologia que impulsionam os principais produtos do Google, incluindo a Pesquisa Google, o YouTube e o Google Play. Isso significa que você tem a escalonabilidade, a disponibilidade e o desempenho confiáveis para processar conjuntos de dados enormes e oferecer resultados extremamente rápidos em escala global. Com a pesquisa de vetor, você tem uma solução de nível empresarial para implementar recursos de pesquisa semântica de ponta nos seus próprios aplicativos.
|
|
Infinite Fleurs: descubra a criatividade assistida por IA em plena floração |
|
Primeiros passos
Demonstração interativa da pesquisa de vetor: confira a demonstração ao vivo para ver um exemplo realista do que a tecnologia de pesquisa vetorial pode fazer e começar a usar a pesquisa de vetor.
Guia de início rápido da Pesquisa de Vetor: teste a Pesquisa de Vetor em 30 minutos criando, implantando e consultando um índice da Pesquisa de Vetor usando um conjunto de dados de amostra. Este tutorial aborda a configuração, a preparação de dados, a criação de índices, a implantação, a consulta e a limpeza.
Antes de começar: prepare seus embeddings escolhendo e treinando um modelo e preparando seus dados. Em seguida, escolha um endpoint público ou privado para implantar o índice de consulta.
Preços e calculadora de preços da pesquisa de vetor: os preços da pesquisa de vetor incluem o custo das máquinas virtuais usadas para hospedar índices implantados, bem como as despesas de criação e atualização de índices. Mesmo uma configuração mínima (menos de US $100 por mês) pode acomodar alta capacidade de processamento para casos de uso de tamanho moderado. Para estimar seus custos mensais:
- Acesse a calculadora de preços do Google Cloud.
- Clique em Adicionar à estimativa.
- Pesquise a Gemini Enterprise Agent Platform.
- Clique no botão Plataforma de agentes do Gemini Enterprise.
- Escolha Gemini Enterprise Agent Platform Vector Search no menu suspenso Tipo de serviço.
- Mantenha as configurações padrão ou configure as suas. O custo estimado por mês é mostrado no painel Detalhes do custo.
Documentação
Gerenciar índices e endpoints
Tópicos avançados
Casos de uso e blogs
A tecnologia de pesquisa de vetor está se tornando um hub central para empresas que usam IA. Semelhante ao funcionamento dos bancos de dados relacionais em sistemas de TI, ela conecta vários elementos de negócios, como documentos, conteúdo, produtos, usuários, eventos e outras entidades com base na relevância. Além de pesquisar mídias convencionais, como documentos e imagens, a pesquisa de vetor também pode oferecer recomendações inteligentes, combinar problemas de negócios com soluções e até mesmo vincular sinais de IoT a alertas de monitoramento. É uma ferramenta versátil essencial para navegar no cenário crescente de dados empresariais ativados por IA.
|
Pesquisa / recuperação de informações
Sistemas de recomendação |
Como a pesquisa de vetor da plataforma de agentes do Gemini Enterprise ajuda a desbloquear apps de IA generativa de alta performance: a pesquisa de vetor oferece suporte a diversos aplicativos, incluindo e-commerce, sistemas RAG e mecanismos de recomendação, além de chatbots, pesquisa multimodal e muito mais. A pesquisa híbrida aprimora ainda mais os resultados de termos de nicho. Clientes como Bloomreach, eBay e Mercado Livre usam a Gemini Enterprise Agent Platform pelo desempenho, escalabilidade e custo-benefício, alcançando benefícios como pesquisa mais rápida e aumento das conversões. O eBay usa a pesquisa de vetor para recomendações: destaca como o eBay usa a pesquisa de vetor para o sistema de recomendação Essa tecnologia permite que o eBay encontre produtos semelhantes no catálogo extenso, melhorando a experiência do usuário. **O Mercari usa a tecnologia de pesquisa de vetor do Google para criar um novo mercado**: explica como o Mercari usa a pesquisa de vetor para melhorar a nova plataforma de mercado. A pesquisa de vetor oferece suporte às recomendações da plataforma ajudando os usuários a encontrar produtos relevantes com mais eficiência. **Embeddings da plataforma de agentes do Gemini Enterprise para texto: o embasamento de LLMs ficou fácil**: foca no embasamento de LLMs usando embeddings da plataforma de agentes do Gemini Enterprise para dados de texto. A pesquisa de vetor desempenha um papel importante na localização de passagens de texto relevantes que garantem que as respostas do modelo sejam baseadas em informações factuais. O que é a pesquisa multimodal: "LLMs com visão" mudam os negócios: discute a pesquisa multimodal, que combina LLMs com compreensão visual. Ele explica como a pesquisa de vetor processa e compara dados de texto e imagem, permitindo experiências de pesquisa mais abrangentes. Desbloqueie a pesquisa multimodal em escala: combine o poder de texto e imagem com a Gemini Enterprise Agent Platform: descreve a criação de um mecanismo de pesquisa multimodal com a Gemini Enterprise Agent Platform que combina pesquisa de texto e pesquisa por imagens usando um método de conjunto de classificação recíproca com viés de classificação ponderado. Isso melhora a experiência do usuário e oferece resultados mais relevantes resultados. Como dimensionar a recuperação profunda com os recomendadores do TensorFlow e a pesquisa de vetor: explica como criar um sistema de recomendação de playlists usando os recomendadores do TensorFlow e a pesquisa de vetor, abordando modelos de recuperação profunda, treinamento, implantação e escalonamento. |
|
IA generativa: recuperação para RAG e agentes |
A plataforma Gemini Enterprise Agent Platform e o Denodo desbloqueiam dados empresariais com IA generativa: mostra como a integração da plataforma Gemini Enterprise Agent Platform com o Denodo permite que as empresas usem a IA generativa para gerar insights dos dados. A pesquisa de vetor é fundamental para acessar e analisar dados relevantes com eficiência em um ambiente empresarial. **Infinite Nature e a natureza das indústrias: esta demonstração 'selvagem' mostra as diversas possibilidades da IA**: mostra uma demonstração que ilustra o potencial da IA em diferentes setores. Ele usa a pesquisa de vetor para oferecer recomendações generativas e pesquisa semântica multimodal. Infinite Fleurs: descubra a criatividade assistida por IA em plena floração: o Infinite Fleurs do Google, um experimento de IA que usa a pesquisa de vetor, modelos do Gemini, gera buquês de flores exclusivos com base em comandos do usuário. Essa tecnologia mostra o potencial da IA para inspirar a criatividade em vários setores. LlamaIndex para RAG no Google Cloud: descreve como usar o LlamaIndex para facilitar a geração aumentada de recuperação (RAG) com modelos de linguagem grandes. O LlamaIndex usa a pesquisa de vetor para recuperar informações relevantes de uma base de conhecimento, resultando em respostas mais precisas e contextualmente adequadas. **RAG e embasamento na Gemini Enterprise Agent Platform**: examina as técnicas de RAG e embasamento na Gemini Enterprise Agent Platform. A pesquisa de vetor ajuda a identificar informações de embasamento relevantes durante a recuperação, o que torna o conteúdo gerado mais preciso e confiável. Pesquisa de vetor no LangChain: oferece um guia para usar a pesquisa de vetor com o LangChain para criar e implantar um índice de banco de dados vetorial para dados de texto, incluindo perguntas e respostas e processamento de PDF. |
|
BI, análise de dados, monitoramento e muito mais |
**Como ativar a IA em tempo real com a ingestão de streaming na Agent Platform**: explora a atualização de streaming na pesquisa de vetor e como ela oferece recursos de IA em tempo real. Essa tecnologia permite o processamento e a análise em tempo real de fluxos de dados recebidos. |
Recursos relacionados
Você pode usar os seguintes recursos para começar a usar a pesquisa de vetor:
Notebooks e soluções
|
|
|
Guia de início rápido da Pesquisa de Vetor da Agent Platform: oferece uma visão geral da Pesquisa de Vetor. Ele foi projetado para usuários que são novos na plataforma e querem começar rapidamente. |
**Introdução aos embeddings de texto e à pesquisa de vetor**: apresenta embeddings de texto e pesquisa de vetor. Ele explica como essas tecnologias funcionam e como podem ser usadas para melhorar os resultados da pesquisa. |
|
|
|
Combinando pesquisa semântica e de palavras-chave: um tutorial de pesquisa híbrida com a plataforma de agentes do Gemini Enterprise Pesquisa de vetor: Fornece instruções sobre como usar a pesquisa de vetor para pesquisa híbrida. Ele aborda as etapas envolvidas na configuração de um sistema de pesquisa híbrida. |
Mecanismo RAG na plataforma de agentes do Gemini Enterprise com pesquisa de vetor: Explora o uso do mecanismo RAG com a pesquisa de vetor. Ele discute os benefícios de usar essas duas tecnologias juntas e fornece exemplos de como elas podem ser usadas em aplicativos do mundo real. |
|
|
|
Infraestrutura para um aplicativo de IA generativa com capacidade de RAG usando a plataforma de agentes do Gemini Enterprise e a pesquisa de vetor:detalha a arquitetura para criar um aplicativo de IA generativa e RAG usando a pesquisa de vetor, o Cloud Run e o Cloud Storage, abordando casos de uso, opções de design e considerações importantes. |
Implementar a recuperação de duas torres para geração de candidatos em grande escala: fornece uma arquitetura de referência que mostra como implementar um fluxo de trabalho de geração de candidatos de duas torres de ponta a ponta com a Gemini Enterprise Agent Platform. A estrutura de modelagem de duas torres é uma técnica de recuperação poderosa para casos de uso de personalização porque aprende a similaridade semântica entre duas entidades diferentes, como consultas da Web e itens candidatos. |
Treinamento
Introdução à Pesquisa vetorial e embeddings A pesquisa vetorial é usada para encontrar itens semelhantes ou relacionados. Ela pode ser usada para recomendações, pesquisa, chatbots e classificação de texto. O processo envolve a criação de embeddings, o upload deles para Google Cloud, e a indexação deles para consulta. Este laboratório se concentra em embeddings de texto usando a Gemini Enterprise Agent Platform, mas os embeddings podem ser gerados para outros tipos de dados.
Pesquisa vetorial e embeddings Este curso apresenta a Pesquisa vetorial e descreve como ela pode ser usada para criar um app de pesquisa com APIs de modelo de linguagem grande (LLM) para embeddings. O curso é composto de aulas teóricas sobre pesquisa de vetor e embeddings de texto, demonstrações práticas de como criar a pesquisa de vetor na Gemini Enterprise Agent Platform e um laboratório de prática.
Entender e aplicar embeddings de texto
A API Embeddings da Gemini Enterprise Agent Platform gera embeddings de texto, que são
representações numéricas de texto usadas para tarefas como identificar itens semelhantes.
Neste curso, você vai usar embeddings de texto para tarefas como classificação e pesquisa semântica, e combinar a pesquisa semântica com LLMs para criar sistemas de perguntas e respostas usando a Gemini Enterprise Agent Platform.
Curso intensivo de machine learning: embeddings Este curso apresenta embeddings de palavras, contrastando-os com representações esparsas. Ele explora métodos para obter embeddings e diferencia embeddings estáticos e contextuais.
Produtos relacionados
Embeddings da plataforma de agentes do Gemini Enterprise Oferece uma visão geral da API Embeddings. Casos de uso de embeddings de texto e multimodais, além de links para outros recursos e serviços relacionados. Google Cloud
**API Ranking da Pesquisa de agentes** A API Ranking reclassifica documentos com base na relevância para uma consulta usando um modelo de linguagem pré-treinado e fornece pontuações precisas. É ideal para melhorar os resultados da pesquisa de várias fontes, incluindo a pesquisa de vetor.
Permite gerenciar e disponibilizar dados de atributos usando o BigQuery como fonte de dados. Ele provisiona recursos para veiculação on-line, atuando como uma camada de metadados para disponibilizar os valores de atributos mais recentes diretamente do BigQuery. O Feature Store permite a recuperação instantânea de valores de atributos para os itens que o Vector Store retornou para consultas.
Pipelines do Agent Platform Os pipelines do Agent Platform permitem a automação, o monitoramento e a governança dos seus sistemas de ML sem servidor, orquestrando fluxos de trabalho de ML com pipelines de ML. É possível executar pipelines de ML definidos usando o Kubeflow Pipelines ou o framework do TensorFlow Extended (TFX) em lotes. Os pipelines permitem criar pipelines automatizados para gerar embeddings, criar e atualizar índices de pesquisa de vetor e formar uma configuração de MLOps para sistemas de pesquisa e recomendação de produção.
Recursos detalhados
Como aprimorar seu caso de uso de IA generativa com embeddings e tipos de tarefas da plataforma de agentes do Gemini Enterprise Foca na melhoria de aplicativos de IA generativa usando embeddings da plataforma de agentes do Gemini Enterprise e tipos de tarefas. A pesquisa de vetor pode ser usada com embeddings de tipo de tarefa para melhorar o contexto e a precisão do conteúdo gerado, encontrando informações mais relevantes.
TensorFlow Recommenders Uma biblioteca de código aberto para criar sistemas de recomendação. Ele simplifica o processo de preparação de dados para implantação e oferece suporte à criação de modelos flexíveis. A TFRS oferece tutoriais e recursos e permite a criação de modelos de recomendação sofisticados.
TensorFlow Ranking O TensorFlow Ranking é uma biblioteca de código aberto para criar modelos neurais de aprendizado de classificação (LTR, na sigla em inglês) escalonáveis. Ele oferece suporte a várias funções de perda e métricas de classificação, com aplicativos em pesquisa, recomendação e outros campos. A biblioteca é desenvolvida ativamente pelo Google AI.
Apresentação do ScaNN: uma pesquisa de similaridade vetorial eficiente O ScaNN do Google, um algoritmo para pesquisa de similaridade vetorial eficiente, usa uma técnica inovadora para melhorar a precisão e a velocidade na localização de vizinhos mais próximos. Ele supera os métodos atuais e tem aplicações amplas em tarefas de machine learning que exigem pesquisa semântica. Os esforços de pesquisa do Google abrangem várias áreas, incluindo ML fundamental e impactos sociais da IA.
SOAR: novos algoritmos para uma pesquisa de vetor ainda mais rápida com o ScaNN O algoritmo SOAR do Google melhora a eficiência da pesquisa de vetor ao introduzir redundância controlada, permitindo pesquisas mais rápidas com índices menores. O SOAR atribui vetores a vários clusters, criando caminhos de pesquisa de "backup" para melhorar a performance.
Vídeos relacionados
Introdução à pesquisa de vetor usando a Agent Platform
A pesquisa de vetor é uma ferramenta poderosa para criar aplicativos com tecnologia de IA. Este vídeo apresenta a tecnologia e fornece um guia detalhado para começar.
Aprenda a pesquisa híbrida com a pesquisa de vetor
A pesquisa de vetor pode ser usada para pesquisa híbrida, permitindo combinar o poder da pesquisa de vetor com a flexibilidade e a velocidade de um mecanismo de pesquisa convencional. Este vídeo apresenta a pesquisa híbrida e mostra como usar a pesquisa de vetor para pesquisa híbrida.
Você já está usando a pesquisa de vetor! Saiba como se tornar um especialista
Você sabia que provavelmente usa a pesquisa de vetor todos os dias sem perceber? Desde encontrar aquele produto elusivo nas mídias sociais até rastrear uma música que está na sua cabeça, a pesquisa de vetor é a mágica da IA por trás dessas experiências cotidianas.
O novo embedding de "tipo de tarefa" da equipe do DeepMind melhora a qualidade da pesquisa RAG
Melhore a precisão e a relevância dos seus sistemas RAG com novos embeddings de tipo de tarefa desenvolvidos pela equipe do Google DeepMind. Assista e saiba mais sobre os desafios comuns na qualidade da pesquisa RAG e como os embeddings de tipo de tarefa podem preencher a lacuna semântica entre perguntas e respostas, levando a uma recuperação mais eficaz e a uma performance RAG aprimorada.
Terminologia de pesquisa de vetor
Esta lista contém algumas terminologias importantes que você precisa entender para usar a Pesquisa de vetor:
Vetor: um vetor é uma lista de valores flutuantes com magnitude e direção. Ele pode ser usado para representar qualquer tipo de dados, como números, pontos no espaço e direções.
Embedding: um embedding é um tipo de vetor usado para representar dados de uma forma que captura o significado semântico deles. Geralmente, os embeddings são criados com técnicas de machine learning e costumam ser usados no processamento de linguagem natural (PLN) e em outros aplicativos de machine learning.
Embeddings densos: representam o significado semântico do texto, usando matrizes que contêm principalmente valores diferentes de zero. Com embeddings densos, resultados de pesquisa semelhantes podem ser retornados com base na semelhança semântica.
Embeddings esparsos: representam a sintaxe de texto, usando matrizes de alta dimensão que contêm pouquíssimos valores diferentes de zero em comparação a embeddings densos. Os embeddings esparsos são frequentemente usados para pesquisas de palavras-chave.
Pesquisa híbrida: usam embeddings densos e esparsos, o que permite pesquisar com base em uma combinação de pesquisa por palavra-chave e pesquisa semântica. A pesquisa de vetor oferece suporte a pesquisas baseadas em embeddings densos, embeddings esparsos e pesquisa híbrida.
Índice: um conjunto de vetores implantados juntos para a pesquisa por similaridade. Os vetores podem ser adicionados ou removidos de um índice. As consultas de pesquisa por similaridade são emitidas para um índice específico e pesquisam os vetores dele.
Informações empíricas: termo que se refere à verificação da precisão do aprendizado de máquina em relação ao mundo real, como um conjunto de dados de informações empíricas.
Recall: a porcentagem de vizinhos mais próximos retornados pelo índice que são vizinhos mais próximos reais. Por exemplo, se uma consulta de vizinho mais próxima de 20 vizinhos mais próximos retornou 19 dos vizinhos mais próximos, o recall será de 19/20x100 = 95%.
Restringir: recurso que limita as pesquisas a um subconjunto do índice usando regras booleanas. A restrição também é chamada de "filtro". Com a Pesquisa de vetor, você pode usar a filtragem numérica e a filtragem de atributos de texto.