A pesquisa de vetor é um mecanismo de pesquisa vetorial avançado criado com base em uma tecnologia inovadora desenvolvida pelo Google Research. Usando o algoritmo ScaNN, a Pesquisa Vetorial permite criar sistemas de recomendação e pesquisa de última geração, além de aplicativos de IA generativa.
Você pode se beneficiar da mesma pesquisa e tecnologia que impulsionam os principais produtos do Google, incluindo a Pesquisa Google, o YouTube e o Google Play. Isso significa que você tem a escalonabilidade, a disponibilidade e o desempenho necessários para processar conjuntos de dados enormes e fornecer resultados rápidos em escala global. Com a pesquisa vetorial, você tem uma solução de nível empresarial para implementar recursos de pesquisa semântica de ponta nos seus próprios aplicativos.
|
|
Infinite Fleurs: descubra a criatividade assistida por IA em plena floração |
|
Primeiros passos
Demonstração interativa do Vector Search: confira a demonstração ao vivo para ver um exemplo realista do que a tecnologia de pesquisa vetorial pode fazer e comece a usar o Vector Search.
Início rápido da Pesquisa de vetor: teste a Pesquisa de vetor em 30 minutos criando, implantando e consultando um índice da Pesquisa de vetor usando um conjunto de dados de amostra. Este tutorial aborda configuração, preparação de dados, criação de índice, implantação, consultas e limpeza.
Antes de começar: prepare os embeddings escolhendo e treinando um modelo e preparando os dados. Em seguida, escolha um endpoint público ou privado para implantar o índice de consulta.
Preços e calculadora de preços da Pesquisa Vetorial: os preços da Pesquisa Vetorial incluem o custo das máquinas virtuais usadas para hospedar índices implantados, além das despesas de criação e atualização de índices. Mesmo uma configuração mínima (menos de US $100 por mês) pode acomodar alto rendimento para casos de uso de tamanho moderado. Para estimar seus custos mensais:
- Acesse a calculadora de preços do Google Cloud.
- Clique em Adicionar à estimativa.
- Pesquise "Vertex AI".
- Clique no botão Vertex AI.
- Escolha Vertex AI Vector Search no menu suspenso Tipo de serviço.
- Mantenha as configurações padrão ou configure as suas. O custo estimado por mês é mostrado no painel Detalhes do custo.
Documentação
Gerenciar índices e endpoints
Tópicos avançados
Casos de uso e blogs
A tecnologia de pesquisa vetorial está se tornando um hub central para empresas que usam IA. Assim como os bancos de dados relacionais funcionam em sistemas de TI, ele conecta vários elementos de negócios, como documentos, conteúdo, produtos, usuários, eventos e outras entidades com base na relevância. Além de pesquisar mídias convencionais, como documentos e imagens, o Vector Search também pode gerar recomendações inteligentes, combinar problemas comerciais com soluções e até mesmo vincular sinais de IoT a alertas de monitoramento. É uma ferramenta versátil e essencial para navegar no cenário crescente de dados corporativos habilitados para IA.
|
Pesquisa / Recuperação de informações
Sistemas |
Como a pesquisa vetorial da Vertex AI ajuda a criar apps de IA generativa de alta performance:A pesquisa vetorial alimenta diversos aplicativos, incluindo e-commerce, sistemas RAG e mecanismos de recomendação, além de chatbots, pesquisa multimodal e muito mais. A pesquisa híbrida melhora ainda mais os resultados para termos específicos. Clientes como Bloomreach, eBay e Mercado Libre usam a Vertex AI pela performance, escalonabilidade e custo-benefício, alcançando benefícios como pesquisa mais rápida e aumento nas conversões. O eBay usa a Pesquisa de vetores para recomendações: destaca como o eBay usa a Pesquisa de vetores no sistema de recomendações. Essa tecnologia permite que o eBay encontre produtos semelhantes no catálogo extenso, melhorando a experiência do usuário. O Mercari usa a tecnologia de pesquisa de vetor do Google para criar um novo mercado:explica como o Mercari usa a pesquisa de vetor para melhorar a nova plataforma de mercado. A pesquisa de vetores impulsiona as recomendações da plataforma, ajudando os usuários a encontrar produtos relevantes com mais eficiência. Embeddings da Vertex AI para texto: embasamento de LLMs facilitado:foca no embasamento de LLMs usando embeddings da Vertex AI para dados de texto. A pesquisa vetorial é importante para encontrar passagens de texto relevantes que garantem que as respostas do modelo sejam baseadas em informações factuais. O que é a Pesquisa Multimodal: "LLMs com visão" mudam os negócios:discute a Pesquisa Multimodal, que combina LLMs com compreensão visual. Ele explica como a pesquisa vetorial processa e compara dados de texto e imagem, permitindo experiências de pesquisa mais abrangentes. Desbloquear a pesquisa multimodal em grande escala: combine o poder do texto e da imagem com a Vertex AI:descreve a criação de um mecanismo de pesquisa multimodal com a Vertex AI que combina a pesquisa de texto e imagens usando um método de conjunto de classificação recíproca com viés de classificação ponderada. Isso melhora a experiência do usuário e oferece resultados mais relevantes. Como escalonar a recuperação profunda com os recomendadores do TensorFlow e a Pesquisa Vetorial:explica como criar um sistema de recomendação de playlists usando os recomendadores do TensorFlow e a Pesquisa Vetorial, abordando modelos de recuperação profunda, treinamento, implantação e escalonamento. |
|
IA generativa: recuperação para RAG e agentes |
A Vertex AI e o Denodo desbloqueiam dados corporativos com a IA generativa:mostra como a integração da Vertex AI com o Denodo permite que as empresas usem a IA generativa para gerar insights com base nos próprios dados. A pesquisa de vetor é fundamental para acessar e analisar dados relevantes de maneira eficiente em um ambiente empresarial. Natureza infinita e a natureza das indústrias: esta demonstração "selvagem" mostra as diversas possibilidades da IA: Apresenta uma demonstração que ilustra o potencial da IA em diferentes setores. Ela usa a pesquisa vetorial para oferecer recomendações generativas e pesquisa semântica multimodal. Infinite Fleurs: descubra a criatividade assistida por IA em plena floração:o Infinite Fleurs do Google, um experimento de IA que usa a Pesquisa vetorial, os modelos Gemini e Imagen, gera buquês de flores exclusivos com base em comandos do usuário. Essa tecnologia mostra o potencial da IA para inspirar a criatividade em vários setores. LlamaIndex para RAG no Google Cloud:descreve como usar o LlamaIndex para facilitar a geração aumentada de recuperação (RAG) com modelos de linguagem grandes. O LlamaIndex usa a pesquisa vetorial para recuperar informações relevantes de uma base de conhecimento, resultando em respostas mais precisas e contextualmente adequadas. RAG e embasamento na Vertex AI:analisa as técnicas de RAG e embasamento na Vertex AI. A pesquisa vetorial ajuda a identificar informações de embasamento relevantes durante a recuperação, o que torna o conteúdo gerado mais preciso e confiável. Pesquisa vetorial no LangChain:fornece um guia para usar a pesquisa vetorial com o LangChain para criar e implantar um índice de banco de dados vetorial para dados de texto, incluindo respostas a perguntas e processamento de PDF. |
|
BI, análise de dados, monitoramento e muito mais |
Como ativar a IA em tempo real com a ingestão de streaming na Vertex AI:explora a atualização de streaming na pesquisa de vetor e como ela oferece recursos de IA em tempo real. Essa tecnologia permite o processamento e a análise em tempo real de fluxos de dados recebidos. |
Recursos relacionados
Você pode usar os seguintes recursos para começar a usar a pesquisa vetorial:
- Notebooks e soluções
- Tutoriais e treinamento
- Produtos relacionados
- Material detalhado de análise detalhada
Notebooks e soluções
|
|
|
Início rápido da pesquisa vetorial da Vertex AI:fornece uma visão geral da pesquisa vetorial. Ele foi criado para usuários iniciantes na plataforma que querem começar a usar rapidamente. |
Introdução aos embeddings de texto e à pesquisa vetorial:apresenta os embeddings de texto e a pesquisa vetorial. Ele explica como essas tecnologias funcionam e como podem ser usadas para melhorar os resultados da pesquisa. |
|
|
|
Combinando pesquisa semântica e de palavras-chave: um tutorial de pesquisa híbrida com a pesquisa vetorial da Vertex AI: fornece instruções sobre como usar a pesquisa vetorial para pesquisa híbrida. Ele aborda as etapas envolvidas na configuração de um sistema de pesquisa híbrido. |
Mecanismo de RAG da Vertex AI com a Vector Search:explora o uso do mecanismo de RAG da Vertex AI com a Vector Search. Ele discute os benefícios de usar essas duas tecnologias juntas e fornece exemplos de como elas podem ser usadas em aplicações reais. |
|
|
|
Infraestrutura para um aplicativo de IA generativa com capacidade de RAG usando a Vertex AI e a Pesquisa de vetor:detalha a arquitetura para criar um aplicativo de IA generativa e RAG usando a Pesquisa de vetor, o Cloud Run e o Cloud Storage, abordando casos de uso, opções de design e considerações importantes. |
Implementar a recuperação de duas torres para geração de candidatos em grande escala:fornece uma arquitetura de referência que mostra como implementar um fluxo de trabalho de geração de candidatos de duas torres de ponta a ponta com a Vertex AI. A estrutura de modelagem de duas torres é uma técnica de recuperação eficiente para casos de uso de personalização porque aprende a similaridade semântica entre duas entidades diferentes, como consultas da Web e itens candidatos. |
Treinamento
Introdução à Pesquisa vetorial e embeddings A Pesquisa vetorial é usada para encontrar itens semelhantes ou relacionados. Ele pode ser usado para recomendações, pesquisa, chatbots e classificação de texto. O processo envolve a criação de embeddings, o upload deles para Google Cloude a indexação para consulta. Este laboratório se concentra em embeddings de texto usando a Vertex AI, mas embeddings podem ser gerados para outros tipos de dados.
Pesquisa vetorial e embeddings Este curso apresenta a pesquisa vetorial e descreve como ela pode ser usada para criar um aplicativo de pesquisa com APIs de modelo de linguagem grande (LLM) para embeddings. O curso é composto de aulas teóricas sobre pesquisa vetorial e embeddings de texto, demonstrações práticas de como criar essas pesquisas na Vertex AI e um laboratório prático.
Entender e aplicar embeddings de texto
A API Embeddings da Vertex AI gera embeddings de texto, que são
representações numéricas de texto usadas para tarefas como identificar itens semelhantes.
Neste curso, você vai usar embeddings de texto para tarefas como classificação e pesquisa semântica, além de combinar a pesquisa semântica com LLMs para criar sistemas de respostas a perguntas usando a Vertex AI.
Curso intensivo de machine learning: embeddings Este curso apresenta os embeddings de palavras, contrastando-os com representações esparsas. Ele explora métodos para obter embeddings e diferencia entre embeddings estáticos e contextuais.
Produtos relacionados
Embeddings da Vertex AI Fornece uma visão geral da API Embeddings. Casos de uso de incorporação de texto e multimodal, além de links para outros recursos e serviços relacionados do Google Cloud .
API Ranking da Pesquisa Vertex AI A API Ranking reclassifica documentos com base na relevância para uma consulta usando um modelo de linguagem pré-treinado, fornecendo pontuações precisas. É ideal para melhorar os resultados da pesquisa de várias fontes, incluindo a Pesquisa Vetorial.
Vertex AI Feature Store Permite gerenciar e disponibilizar dados de atributos usando o BigQuery como fonte de dados. Ele provisiona recursos para veiculação on-line, atuando como uma camada de metadados para disponibilizar os valores de atributos mais recentes diretamente do BigQuery. A Feature Store permite a recuperação instantânea de valores de recursos para os itens que a Vector Store retornou para consultas.
Vertex AI Pipelines O Vertex AI Pipelines permite a automação, o monitoramento e a governança dos seus sistemas de ML sem servidor, orquestrando fluxos de trabalho de ML com pipelines de ML. É possível executar em lote pipelines de ML definidos usando o Kubeflow Pipelines ou o framework do TensorFlow Extended (TFX). Com os pipelines, é possível criar pipelines automatizados para gerar incorporações, criar e atualizar índices da pesquisa vetorial e formar uma configuração de MLOps para sistemas de pesquisa e recomendação de produção.
Recursos de análise detalhada
Como aprimorar casos de uso de IA generativa com tipos de tarefas e embeddings da Vertex AI Focado em melhorar aplicativos de IA generativa usando embeddings e tipos de tarefas da Vertex AI. A pesquisa vetorial pode ser usada com embeddings de tipo de tarefa para melhorar o contexto e a precisão do conteúdo gerado, encontrando informações mais relevantes.
TensorFlow Recommenders Uma biblioteca de código aberto para criar sistemas de recomendação. Ele simplifica o processo, desde a preparação dos dados até a implantação, e oferece suporte à criação flexível de modelos. O TFRS oferece tutoriais e recursos e permite a criação de modelos de recomendação sofisticados.
TensorFlow Ranking O TensorFlow Ranking é uma biblioteca de código aberto para criar modelos neurais de aprendizado para classificação (LTR) escalonáveis. Ela é compatível com várias funções de perda e métricas de classificação, com aplicações em pesquisa, recomendação e outros campos. A biblioteca é desenvolvida ativamente pela IA do Google.
Apresentação do ScaNN: pesquisa eficiente por similaridade vetorial O ScaNN do Google, um algoritmo para pesquisa eficiente por similaridade vetorial, usa uma técnica inovadora para melhorar a acurácia e a velocidade na busca de vizinhos mais próximos. Ele supera os métodos atuais e tem amplas aplicações em tarefas de aprendizado de máquina que exigem pesquisa semântica. As iniciativas de pesquisa do Google abrangem várias áreas, incluindo ML fundamental e impactos sociais da IA.
SOAR: novos algoritmos para uma pesquisa vetorial ainda mais rápida com o ScaNN O algoritmo SOAR do Google melhora a eficiência da pesquisa vetorial ao introduzir redundância controlada, permitindo pesquisas mais rápidas com índices menores. O SOAR atribui vetores a vários clusters, criando caminhos de pesquisa de "backup" para melhorar a performance.
Vídeos relacionados
Comece a usar a pesquisa de vetores com a Vertex AI
A Pesquisa Vetorial é uma ferramenta poderosa para criar aplicativos com tecnologia de IA. Este vídeo apresenta a tecnologia e oferece um guia detalhado para começar.
Aprenda a usar a pesquisa híbrida com a Pesquisa Vetorial
A pesquisa vetorial pode ser usada para pesquisa híbrida, permitindo combinar o poder da pesquisa vetorial com a flexibilidade e a velocidade de um mecanismo de pesquisa convencional. Este vídeo apresenta a pesquisa híbrida e mostra como usar o Vector Search para esse tipo de pesquisa.
Você já está usando a Pesquisa Vetorial! Saiba como ser um especialista
Você sabia que provavelmente usa a pesquisa vetorial todos os dias sem perceber? Desde encontrar aquele produto difícil de achar nas redes sociais até descobrir uma música que não sai da sua cabeça, a pesquisa vetorial é a mágica da IA por trás dessas experiências cotidianas.
O novo embedding de "tipo de tarefa" da equipe do DeepMind melhora a qualidade da pesquisa RAG
Melhore a acurácia e a relevância dos seus sistemas de RAG com novos embeddings de tipo de tarefa desenvolvidos pela equipe do Google DeepMind. Assista e saiba mais sobre os desafios comuns na qualidade da pesquisa RAG e como os embeddings de tipo de tarefa podem reduzir a lacuna semântica entre perguntas e respostas, levando a uma recuperação mais eficaz e melhorando a performance da RAG.
Terminologia de pesquisa de vetor
Esta lista contém algumas terminologias importantes que você precisa entender para usar a Pesquisa de vetor:
Vetor: um vetor é uma lista de valores flutuantes com magnitude e direção. Ele pode ser usado para representar qualquer tipo de dados, como números, pontos no espaço e direções.
Embedding: um embedding é um tipo de vetor usado para representar dados de uma forma que captura o significado semântico deles. Geralmente, os embeddings são criados com técnicas de machine learning e costumam ser usados no processamento de linguagem natural (PLN) e em outros aplicativos de machine learning.
Embeddings densos: representam o significado semântico do texto, usando matrizes que contêm principalmente valores diferentes de zero. Com embeddings densos, resultados de pesquisa semelhantes podem ser retornados com base na semelhança semântica.
Embeddings esparsos: representam a sintaxe de texto, usando matrizes de alta dimensão que contêm pouquíssimos valores diferentes de zero em comparação a embeddings densos. Os embeddings esparsos são frequentemente usados para pesquisas de palavras-chave.
Pesquisa híbrida: usam embeddings densos e esparsos, permitindo pesquisar com base em uma combinação de pesquisa por palavra-chave e pesquisa semântica. A pesquisa de vetor permite pesquisa baseada em embeddings densos, embeddings esparsos e pesquisa híbrida.
Índice: um conjunto de vetores implantados juntos para a pesquisa por similaridade. Os vetores podem ser adicionados ou removidos de um índice. As consultas de pesquisa por similaridade são emitidas para um índice específico e pesquisam os vetores dele.
Informações empíricas: termo que se refere à verificação da precisão do aprendizado de máquina em relação ao mundo real, como um conjunto de dados de informações empíricas.
Recall: a porcentagem de vizinhos mais próximos retornados pelo índice que são vizinhos mais próximos reais. Por exemplo, se uma consulta de vizinho mais próxima de 20 vizinhos mais próximos retornou 19 dos vizinhos mais próximos, o recall será de 19/20x100 = 95%.
Restringir: recurso que limita as pesquisas a um subconjunto do índice usando regras booleanas. A restrição também é chamada de "filtro". Com a Pesquisa de vetor, você pode usar a filtragem numérica e de atributos de texto.