Os embeddings são representações numéricas de textos, imagens ou vídeos que capturam as relações entre as entradas. Os modelos de machine learning, especialmente os de IA generativa, são adequados para criar embeddings identificando padrões em grandes conjuntos de dados. Os aplicativos podem usar embeddings para processar e produzir linguagem, reconhecendo significados complexos e relações semânticas específicas do conteúdo.
A Vertex AI no Google Distributed Cloud (GDC) isolado oferece suporte a APIs Text Embedding para entrada textual em inglês e multilíngue. O Text Embedding funciona convertendo texto em matrizes de números de ponto flutuante, chamadas de vetores. Esses vetores são projetados para capturar o significado do texto. O comprimento da matriz de embedding é chamado de dimensionalidade do vetor. Por exemplo, uma passagem de texto pode ser representada por um vetor que contém centenas de dimensões. Em seguida, ao calcular a distância numérica entre as representações vetoriais de dois textos, um aplicativo pode determinar a semelhança entre os objetos.
Para uma lista de modelos com suporte, consulte Modelos de embeddings.
Para uma lista de idiomas multilíngues com suporte, consulte Idiomas de embeddings de texto com suporte.
Casos de uso de embeddings de texto
Alguns casos de uso comuns para incorporações de texto incluem:
- Pesquisa semântica: texto de pesquisa classificado por semelhança semântica.
- Classificação: retorna a classe de itens com atributos semelhantes ao texto fornecido.
- Clustering: itens de cluster com atributos de texto semelhantes ao texto fornecido.
- Detecção de outlier: retorna itens em que os atributos de texto estão menos relacionados ao texto fornecido.
- Interface de conversa: agrupa grupos de frases que podem levar a respostas semelhantes, como em um espaço de embedding no nível da conversa.
Exemplo de caso de uso: desenvolver um chatbot de recomendação de livros
Se você quiser desenvolver um chatbot de recomendação de livros, a primeira coisa a fazer é usar uma rede neural profunda (DNN) para converter cada livro em um vetor de embedding, em que um vetor de embedding representa um livro. É possível inserir o título ou o conteúdo do livro como entrada na DNN. Como alternativa, você pode usar essas duas entradas juntas, além de outros metadados que descrevem o livro, como o gênero.
Os embeddings neste exemplo podem incluir milhares de títulos de livros com resumos e gênero. Eles podem ter representações de livros como Wuthering Heights de Emily Brontë e Persuasion de Jane Austen que são semelhantes entre si (pequena distância entre a representação numérica). Em contraste, a representação numérica do livro The Great Gatsby de F. Scott Fitzgerald seria mais distante, já que o período, o gênero e o resumo são menos semelhantes.
As entradas são a principal influência na orientação do espaço de embedding. Por exemplo, se tivéssemos apenas entradas de título do livro, dois livros com títulos semelhantes, mas resumos muito diferentes, poderiam estar próximos. No entanto, se incluirmos o título e o resumo, esses mesmos livros serão menos semelhantes (mais distantes) no espaço de embedding.
Trabalhando com a IA generativa, esse bot de sugestão de livros pode resumir, sugerir e mostrar livros de que você pode gostar (ou não gostar), com base na sua consulta.
A seguir
- Saiba como usar embeddings de texto.