A Pesquisa Vetorial é um mecanismo de pesquisa vetorial avançado criado com base em uma tecnologia inovadora desenvolvida pelo Google Research. Com o algoritmo ScaNN, a Pesquisa Vetorial permite criar sistemas de pesquisa e recomendação de última geração, além de aplicativos de IA generativa.
Você pode se beneficiar da mesma pesquisa e tecnologia que impulsionam os principais produtos do Google, incluindo a Pesquisa Google, o YouTube e o Google Play. Isso significa que você tem a escalonabilidade, a disponibilidade e o desempenho necessários para processar conjuntos de dados enormes e fornecer resultados rápidos em escala global. Com a Pesquisa Vetorial, você tem uma solução de nível empresarial para implementar recursos de pesquisa semântica de ponta nos seus próprios aplicativos.
|
|
Infinite Fleurs: descubra a criatividade assistida por IA em plena floração |
|
Primeiros passos
Demonstração interativa da Pesquisa Vetorial: confira a demonstração ao vivo para ver um exemplo realista do que a tecnologia de pesquisa vetorial pode fazer e saia na frente com a Pesquisa Vetorial.
Guia de início rápido da Pesquisa Vetorial: teste a Pesquisa Vetorial em 30 minutos criando, implantando e consultando um índice da Pesquisa Vetorial usando um conjunto de dados de amostra. Este tutorial aborda a configuração, a preparação de dados, a criação de índices, a implantação, a consulta e a limpeza.
Antes de começar: prepare os embeddings escolhendo e treinando um modelo e preparando os dados. Em seguida, escolha um endpoint público ou privado para implantar o índice de consulta.
Preços e calculadora de preços da Pesquisa Vetorial: os preços da Pesquisa Vetorial incluem o custo das máquinas virtuais usadas para hospedar índices implantados, bem como as despesas de criação e atualização de índices. Até mesmo uma configuração mínima (menos de US $100 por mês) pode acomodar uma alta capacidade de processamento para casos de uso de tamanho moderado. Para estimar seus custos mensais:
- Acesse a calculadora de preços doGoogle Cloud.
- Clique em Adicionar à estimativa.
- Pesquise por Gemini Enterprise Agent Platform.
- Clique no botão Gemini Enterprise Agent Platform.
- Escolha Pesquisa vetorial da Gemini Enterprise Agent Platform no menu suspenso Tipo de serviço.
- Mantenha as configurações padrão ou defina as suas. O custo estimado por mês é mostrado no painel Detalhes de custo.
Documentação
Gerenciar índices e endpoints
Tópicos avançados
Casos de uso e blogs
A tecnologia de busca vetorial está se tornando um hub central para o uso comercial de IA. Assim como os bancos de dados relacionais funcionam em sistemas de TI, ele conecta vários elementos de negócios, como documentos, conteúdo, produtos, usuários, eventos e outras entidades, com base na relevância deles. Além de pesquisar mídias convencionais, como documentos e imagens, a Pesquisa Vetorial também pode fornecer recomendações inteligentes, combinar problemas de negócios com soluções e até mesmo vincular sinais de IoT a alertas de monitoramento. É uma ferramenta versátil e essencial para navegar no cenário crescente de dados corporativos com tecnologia de IA.
|
Pesquisa / Recuperação de informações
Sistemas de |
Como a busca vetorial da Gemini Enterprise Agent Platform ajuda a criar apps de IA generativa de alto desempenho: a busca vetorial potencializa diversos aplicativos, incluindo e-commerce, sistemas RAG e mecanismos de recomendação, além de chatbots, pesquisa multimodal e muito mais. A pesquisa híbrida melhora ainda mais os resultados para termos de nicho. Clientes como Bloomreach, eBay e Mercado Livre usam a Gemini Enterprise Agent Platform pela performance, escalonabilidade e custo-benefício, alcançando benefícios como pesquisa mais rápida e aumento nas conversões. O eBay usa a Pesquisa Vetorial para recomendações: destaca como o eBay usa a Pesquisa Vetorial no sistema de recomendações. Essa tecnologia permite que o eBay encontre produtos semelhantes no extenso catálogo, melhorando a experiência do usuário. O Mercari usa a tecnologia de pesquisa vetorial do Google para criar um novo mercado: explica como o Mercari usa a Pesquisa Vetorial para melhorar a nova plataforma de mercado. A Pesquisa Vetorial potencializa as recomendações da plataforma, ajudando os usuários a encontrar produtos relevantes de maneira mais eficaz. Embeddings da Gemini Enterprise Agent Platform para texto: embasamento de LLMs facilitado: foca no embasamento de LLMs usando embeddings da Gemini Enterprise Agent Platform para dados de texto. A Pesquisa Vetorial tem um papel importante na localização de trechos de texto relevantes que garantem que as respostas do modelo sejam baseadas em informações factuais. O que é a pesquisa multimodal: "LLMs com visão" mudam as empresas: discute a pesquisa multimodal, que combina LLMs com compreensão visual. Ele explica como a Pesquisa Vetorial processa e compara dados de texto e imagem, permitindo experiências de pesquisa mais abrangentes. Desbloqueie a pesquisa multimodal em grande escala: combine o poder de texto e imagem com a Gemini Enterprise Agent Platform: descreve a criação de um mecanismo de pesquisa multimodal com a Gemini Enterprise Agent Platform que combina a pesquisa de texto e imagem usando um método de conjunto de classificação recíproca ponderada com viés de classificação. Isso melhora a experiência do usuário e fornece resultados mais relevantes. Como escalonar a recuperação profunda com os recomendadores do TensorFlow e a busca vetorial: explica como criar um sistema de recomendação de playlists usando os recomendadores do TensorFlow e a busca vetorial, abordando modelos de recuperação profunda, treinamento, implantação e escalonamento. |
|
IA generativa: recuperação para RAG e agentes |
A Gemini Enterprise Agent Platform e a Denodo desbloqueiam dados corporativos com a IA generativa: mostra como a integração da Gemini Enterprise Agent Platform com a Denodo permite que as empresas usem a IA generativa para extrair insights dos dados. A Pesquisa Vetorial é fundamental para acessar e analisar com eficiência dados relevantes em um ambiente empresarial. Infinite Nature e a natureza dos setores: esta demonstração "selvagem" mostra as diversas possibilidades da IA: apresenta uma demonstração que ilustra o potencial da IA em diferentes setores. Ele usa a Pesquisa Vetorial para gerar recomendações generativas e pesquisa semântica multimodal. Infinite Fleurs: descubra a criatividade assistida por IA em plena floração: o Infinite Fleurs do Google, um experimento de IA que usa a Pesquisa Vetorial e os modelos do Gemini, gera buquês de flores exclusivos com base em comandos do usuário. Essa tecnologia mostra o potencial da IA para inspirar a criatividade em vários setores. LlamaIndex para RAG no Google Cloud: descreve como usar o LlamaIndex para facilitar a geração aumentada por recuperação (RAG) com modelos de linguagem grandes. O LlamaIndex usa a Pesquisa Vetorial para recuperar informações relevantes de uma base de conhecimento, resultando em respostas mais precisas e contextualmente adequadas. RAG e embasamento na Gemini Enterprise Agent Platform: analisa as técnicas de RAG e embasamento na Gemini Enterprise Agent Platform. A Pesquisa Vetorial ajuda a identificar informações de embasamento relevantes durante a recuperação, o que torna o conteúdo gerado mais preciso e confiável. Pesquisa Vetorial no LangChain: fornece um guia para usar a Pesquisa Vetorial com o LangChain para criar e implantar um índice de banco de dados vetorial para dados de texto, incluindo respostas a perguntas e processamento de PDF. |
|
BI, análise de dados, monitoramento e muito mais |
Ativar a IA em tempo real com a ingestão de streaming na Agent Platform: explora a atualização de streaming na pesquisa vetorial e como ela oferece recursos de IA em tempo real. Essa tecnologia permite o processamento e a análise em tempo real de streams de dados recebidos. |
Recursos relacionados
Você pode usar os seguintes recursos para começar a usar a Pesquisa Vetorial:
- Notebooks e soluções
- Tutoriais e treinamento
- Produtos relacionados
- Material de investigação aprofundada
Notebooks e soluções
|
|
|
Guia de início rápido da Pesquisa Vetorial da Agent Platform: oferece uma visão geral da Pesquisa Vetorial. Ele foi projetado para usuários que são novos na plataforma e querem começar rapidamente. |
Introdução aos embeddings de texto e à pesquisa vetorial: apresenta os embeddings de texto e a pesquisa vetorial. Ele explica como essas tecnologias funcionam e como podem ser usadas para melhorar os resultados da pesquisa. |
|
|
|
Combinando pesquisa semântica e de palavras-chave: um tutorial de pesquisa híbrida com a pesquisa vetorial da Gemini Enterprise Agent Platform: fornece instruções sobre como usar a pesquisa vetorial para pesquisa híbrida. Ela aborda as etapas envolvidas na configuração de um sistema de pesquisa híbrido. |
Mecanismo RAG na Gemini Enterprise Agent Platform com busca vetorial: explora o uso do mecanismo RAG com a busca vetorial. Ele discute os benefícios de usar essas duas tecnologias juntas e fornece exemplos de como elas podem ser usadas em aplicativos do mundo real. |
|
|
|
Infraestrutura para um aplicativo de IA generativa com capacidade de RAG usando a Gemini Enterprise Agent Platform e a busca vetorial: detalha a arquitetura para criar um aplicativo de IA generativa e RAG usando a busca vetorial, o Cloud Run e o Cloud Storage, abrangendo casos de uso, opções de design e Principais Considerações. |
Implementar a recuperação de duas torres para geração de candidatos em grande escala: fornece uma arquitetura de referência que mostra como implementar um fluxo de trabalho de geração de candidatos de duas torres de ponta a ponta com a Gemini Enterprise Agent Platform. O framework de modelagem de duas torres é uma técnica de recuperação poderosa para casos de uso de personalização, porque aprende a semelhança semântica entre duas entidades diferentes, como consultas da Web e itens candidatos. |
Treinamento
Introdução à Pesquisa vetorial e embeddings A Pesquisa vetorial é usada para encontrar itens semelhantes ou relacionados. Ele pode ser usado para recomendações, pesquisas, chatbots e classificação de texto. O processo envolve a criação de embeddings, o upload deles para o Google Cloude a indexação para consulta. Este laboratório se concentra em embeddings de texto usando a Gemini Enterprise Agent Platform, mas é possível gerar embeddings para outros tipos de dados.
Pesquisa vetorial e embeddings Este curso apresenta a Pesquisa vetorial e descreve como ela pode ser usada para criar um aplicativo de pesquisa com APIs de modelo de linguagem grande (LLM) para embeddings. O curso é composto de aulas teóricas sobre pesquisa vetorial e embeddings de texto, demonstrações práticas de como criar essas pesquisas na Gemini Enterprise Agent Platform e um laboratório.
Noções básicas e aplicação de embeddings de texto
A API Embeddings da Gemini Enterprise Agent Platform gera embeddings de texto, que são representações numéricas
de texto usadas para tarefas como identificar itens semelhantes.
Neste curso, você vai usar embeddings de texto para tarefas como classificação e pesquisa semântica, além de combinar a pesquisa semântica com LLMs para criar sistemas de perguntas e respostas usando a Gemini Enterprise Agent Platform.
Curso intensivo de machine learning: embeddings Este curso apresenta os embeddings da palavra, contrastando-os com representações esparsas. Ele aborda métodos para criar embeddings e diferencia os embeddings estáticos dos contextuais.
Produtos relacionados
Embeddings da Gemini Enterprise Agent Platform Oferece uma visão geral da API Embeddings. Casos de uso de embeddings de texto e multimodais, além de links para outros recursos e serviços Google Cloud relacionados.
API de classificação da Pesquisa de Agentes A API de classificação reclassifica os documentos com base na relevância para uma consulta usando um modelo de linguagem pré-treinado, fornecendo pontuações precisas. É ideal para melhorar os resultados da pesquisa de várias fontes, incluindo a Pesquisa Vetorial.
Feature Store da Gemini Enterprise Agent Platform Permite gerenciar e disponibilizar dados de atributos usando o BigQuery como fonte de dados. Ele provisiona recursos para veiculação on-line, atuando como uma camada de metadados para veicular os valores de atributos mais recentes diretamente do BigQuery. O Feature Store da Plataforma de Agentes permite a recuperação instantânea de valores de atributos para os itens que o Vector Store retornou para as consultas.
Agent Platform Pipelines O Agent Platform Pipelines permite a automação, o monitoramento e a governança dos seus sistemas de ML sem servidor, orquestrando fluxos de trabalho de ML com pipelines de ML. É possível executar pipelines de ML definidos usando o Kubeflow Pipelines ou o framework do TensorFlow Extended (TFX) em lotes. O Pipelines permite criar pipelines automatizados para gerar embeddings, criar e atualizar índices da Pesquisa Vetorial e formar uma configuração de MLOps para sistemas de pesquisa e recomendação de produção.
Recursos de investigação
Como aprimorar casos de uso de IA generativa com tipos de tarefas e embeddings da Gemini Enterprise Agent Platform Foca em melhorar os aplicativos de IA generativa usando embeddings e tipos de tarefas da Gemini Enterprise Agent Platform. A Pesquisa Vetorial pode ser usada com embeddings de tipo de tarefa para melhorar o contexto e a precisão do conteúdo gerado, encontrando informações mais relevantes.
TensorFlow Recommenders Uma biblioteca de código aberto para criar sistemas de recomendação. Ele simplifica o processo, desde a preparação dos dados até a implantação, e oferece suporte à criação de modelos flexíveis. O TFRS oferece tutoriais e recursos e permite a criação de modelos de recomendação sofisticados.
TensorFlow Ranking O TensorFlow Ranking é uma biblioteca de código aberto para criar modelos neurais de aprendizado de classificação (LTR, na sigla em inglês) escalonáveis. Ele é compatível com várias funções de perda e métricas de classificação, com aplicações em pesquisa, recomendação e outros campos. A biblioteca é desenvolvida ativamente pela IA do Google.
Apresentação do ScaNN: uma pesquisa de similaridade vetorial eficiente O ScaNN do Google, um algoritmo para pesquisa de similaridade vetorial eficiente, utiliza uma nova técnica para melhorar a precisão e a velocidade na busca de vizinhos mais próximos. Ele supera os métodos atuais e tem amplas aplicações em tarefas de machine learning que exigem pesquisa semântica. As pesquisas do Google abrangem várias áreas, incluindo ML fundamental e os impactos sociais da IA.
SOAR: novos algoritmos para uma Pesquisa Vetorial ainda mais rápida com o ScaNN O algoritmo SOAR do Google melhora a eficiência da Pesquisa Vetorial ao introduzir redundância controlada, permitindo pesquisas mais rápidas com índices menores. O SOAR atribui vetores a vários clusters, criando caminhos de pesquisa de "backup" para melhorar o desempenho.
Vídeos relacionados
Começar a usar a Pesquisa Vetorial com a Agent Platform
A Pesquisa Vetorial é uma ferramenta poderosa para criar aplicativos com tecnologia de IA. Este vídeo apresenta a tecnologia e fornece um guia explicativo para começar.
Saiba mais sobre a pesquisa híbrida com a busca vetorial
A Pesquisa Vetorial pode ser usada para pesquisa híbrida, permitindo combinar o poder da pesquisa vetorial com a flexibilidade e a velocidade de um mecanismo de pesquisa convencional. Este vídeo apresenta a pesquisa híbrida e mostra como usar a Pesquisa Vetorial para pesquisa híbrida.
Você já está usando a Pesquisa Vetorial! Veja como se tornar um especialista
Você sabia que provavelmente usa a busca vetorial todos os dias sem perceber? Seja para encontrar aquele produto difícil de achar nas redes sociais ou uma música que não sai da sua cabeça, a busca vetorial é a mágica da IA por trás dessas experiências cotidianas.
O novo embedding de "tipo de tarefa" da equipe do DeepMind melhora a qualidade da pesquisa de RAG
Melhore a precisão e a relevância dos seus sistemas de RAG com novos embeddings de tipo de tarefa desenvolvidos pela equipe do Google DeepMind. Assista e aprenda mais sobre os desafios comuns na qualidade da pesquisa de RAG e como os embeddings de tipo de tarefa podem preencher de forma eficaz a lacuna semântica entre perguntas e respostas, levando a uma recuperação mais eficaz e a um melhor desempenho de RAG.
Terminologia da Pesquisa Vetorial
Esta lista contém algumas terminologias importantes que você precisa entender para usar a Pesquisa de vetor:
Vetor: um vetor é uma lista de valores flutuantes com magnitude e direção. Ele pode ser usado para representar qualquer tipo de dados, como números, pontos no espaço e direções.
Embedding: um embedding é um tipo de vetor usado para representar dados de uma forma que captura o significado semântico deles. Geralmente, os embeddings são criados com técnicas de machine learning e costumam ser usados no processamento de linguagem natural (PLN) e em outros aplicativos de machine learning.
Embeddings densos: representam o significado semântico do texto, usando matrizes que contêm principalmente valores diferentes de zero. Com embeddings densos, resultados de pesquisa semelhantes podem ser retornados com base na semelhança semântica.
Embeddings esparsos: representam a sintaxe de texto, usando matrizes de alta dimensão que contêm pouquíssimos valores diferentes de zero em comparação a embeddings densos. Os embeddings esparsos são frequentemente usados para pesquisas de palavras-chave.
Pesquisa híbrida: usam embeddings densos e esparsos, permitindo pesquisar com base em uma combinação de pesquisa por palavra-chave e pesquisa semântica. A Pesquisa Vetorial permite pesquisa baseada em embeddings densos, embeddings esparsos e pesquisa híbrida.
Índice: um conjunto de vetores implantados juntos para a pesquisa por similaridade. Os vetores podem ser adicionados ou removidos de um índice. As consultas de pesquisa por similaridade são emitidas para um índice específico e pesquisam os vetores dele.
Informações empíricas: termo que se refere à verificação da precisão do aprendizado de máquina em relação ao mundo real, como um conjunto de dados de informações empíricas.
Recall: a porcentagem de vizinhos mais próximos retornados pelo índice que são vizinhos mais próximos reais. Por exemplo, se uma consulta de vizinho mais próxima de 20 vizinhos mais próximos retornou 19 das informações empíricas dos vizinhos mais próximos, o recall será de 19/20x100 = 95%.
Restringir: recurso que limita as pesquisas a um subconjunto do índice usando regras booleanas. A restrição também é chamada de "filtro". Com a Pesquisa Vetorial, você pode usar a filtragem numérica e a filtragem de atributos de texto.