Nesta página, descrevemos alguns casos de uso para criar aplicativos com tecnologia de LLM usando o LlamaIndex integrado ao AlloyDB Omni. Os links para notebooks no GitHub são fornecidos para ajudar você a explorar abordagens ou desenvolver seu aplicativo.
O LlamaIndex é um framework de orquestração de IA generativa que permite conectar e integrar fontes de dados com modelos de linguagem grandes (LLMs). É possível usar o LlamaIndex para criar aplicativos que acessam e consultam informações de dados particulares ou específicos do domínio usando consultas de linguagem natural.
O LlamaIndex atua como uma ponte entre dados personalizados e LLMs, facilitando o desenvolvimento de aplicativos de assistente de conhecimento com recursos de geração aumentada de recuperação (RAG).
O LlamaIndex é adequado para aplicativos centrados em documentos porque enfatiza o gerenciamento estruturado de documentos, o que simplifica a indexação e a recuperação. Esse framework conta com mecanismos de consulta otimizados que melhoram a velocidade e a relevância do acesso às informações, além de um processamento robusto de metadados para filtragem detalhada.
Para mais informações sobre o framework LlamaIndex, consulte a documentação do produto LlamaIndex.
Componentes do LlamaIndex
O AlloyDB Omni oferece as seguintes interfaces do LlamaIndex:
- Repositório de vetores
- Repositório de documentos
- Repositórios de índice
- Lojas de chat
- Leitor de documentos
Saiba como usar o LlamaIndex com o Guia de início rápido do AlloyDB Omni.
Repositório de vetores
Essa integração do LlamaIndex permite usar a natureza robusta e escalonável do AlloyDB Omni para armazenar e gerenciar seus dados do LlamaIndex. Ao combinar os recursos de indexação e consulta do LlamaIndex com o alto desempenho e a confiabilidade do AlloyDB Omni, é possível criar aplicativos mais eficientes e escalonáveis com tecnologia de LLM.
O LlamaIndex divide um documento (doc, texto e PDFs) em componentes chamados nós. O VectorStore pode conter apenas os vetores de embedding de conteúdos de nós ingeridos e o texto de nós. Um nó contém conteúdo de texto, embeddings de vetor e metadados. É possível aplicar filtros nesses campos de metadados para restringir a recuperação de nós àqueles que correspondem aos critérios de metadados especificados.
Para trabalhar com armazenamentos de vetores no AlloyDB Omni, use a
classe AlloyDBVectorStore. Para mais informações, consulte
Armazenamentos de vetores do LlamaIndex.
Armazenar embeddings de vetor com a classe AlloyDBVectorStore
O notebook do AlloyDB Omni para armazenamento de vetores mostra como fazer o seguinte:
- Crie um
AlloyDBEnginepara se conectar à instância do AlloyDB Omni usando oAlloyDBEngine.from_connection_string(). - Inicialize uma tabela para armazenar embeddings de vetor.
- Crie uma instância de classe de embedding usando qualquer modelo de embeddings do LlamaIndex.
- Inicialize um repositório de vetores
AlloyDBVectorStorepadrão. - Crie e consulte um índice do repositório de vetores usando VectorStoreIndex.
- Criar um repositório de vetores personalizado para armazenar e filtrar metadados.
- Adicione um índice de ANN para melhorar a latência da pesquisa.
Repositórios de documentos e índices
A integração do LlamaIndex Document Stores gerencia o armazenamento e a recuperação de documentos estruturados, otimizando os recursos centrados em documentos do LlamaIndex. O Document Store armazena o conteúdo relacionado aos vetores no repositório de vetores.
Para mais informações, consulte a documentação do produto LlamaIndex Document Stores.
Os repositórios de índices facilitam o gerenciamento de índices para permitir consultas e recuperação de dados rápidas, por exemplo, resumo, palavra-chave e índice de árvore. Index no
LlamaIndex é um armazenamento leve apenas para os metadados do nó. As atualizações nos metadados
do nó não exigem a reindexação (leia a geração de embeddings) do nó completo
ou de todos os nós em um documento.
Para mais informações, consulte Armazenamentos de índice do LlamaIndex.
Armazenar documentos e índices
O notebook do AlloyDB Omni
para repositórios de documentos mostra como usar o AlloyDB Omni para armazenar
documentos e índices usando as classes AlloyDBDocumentStore e AlloyDBIndexStore. Você vai aprender a:
- Crie um
AlloyDBEnginepara se conectar à instância do AlloyDB Omni usando oAlloyDBEngine.from_connection_string(). - Crie tabelas para o DocumentStore e o IndexStore.
- Inicializar um
AlloyDBDocumentStorepadrão. - Configure um
AlloyDBIndexStore. - Adicione documentos ao
Docstore. - Usar repositórios de documentos com vários índices.
- Carregar índices atuais.
Lojas de chat
Os armazenamentos de chat mantêm o histórico e o contexto de conversas para aplicativos baseados em chat, permitindo interações personalizadas. Os repositórios de chat fornecem um repositório central que armazena e recupera mensagens de chat em uma conversa, permitindo que o LLM mantenha o contexto e forneça respostas mais relevantes com base no diálogo em andamento.
Os modelos de linguagem grandes são sem estado por padrão, o que significa que eles não retêm entradas anteriores, a menos que elas sejam fornecidas explicitamente todas as vezes. Ao usar um armazenamento de chat, é possível preservar o contexto da conversa, o que permite que o modelo gere respostas mais relevantes e coerentes ao longo do tempo.
O módulo de memória no LlamaIndex permite o armazenamento e a recuperação eficientes do contexto de conversação, permitindo interações mais personalizadas e contextuais em aplicativos de chat. É possível integrar o módulo de memória no LlamaIndex com um ChatStore e um ChatMemoryBuffer. Para mais informações, consulte LlamaIndex Chat Stores.
Armazenar o histórico de chat
O notebook do AlloyDB Omni
para armazenamentos de chat mostra como usar o AlloyDB Omni para armazenar o histórico de conversas
usando a classe AlloyDBChatStore. Você vai aprender a:
- Crie um
AlloyDBEnginepara se conectar à instância do AlloyDB Omni usando oAlloyDBEngine.from_connection_string(). - Inicializar um
AlloyDBChatStorepadrão. - Crie um
ChatMemoryBuffer. - Crie uma instância de classe de LLM.
- Use o
AlloyDBChatStoresem um contexto de armazenamento. - Use o
AlloyDBChatStorecom um contexto de armazenamento. - Criar e usar o Chat Engine.
Leitor de documentos
O leitor de documentos recupera e transforma dados do AlloyDB Omni de forma eficiente em formatos compatíveis com o LlamaIndex para indexação. A
interface do leitor de documentos fornece métodos para carregar dados de uma fonte como
Documents.
Document é uma classe que armazena um trecho de texto e os metadados associados. É possível usar leitores de documentos para carregar documentos que você quer armazenar em repositórios de documentos ou usar para criar índices.
Recuperar dados como documentos
O notebook do AlloyDB Omni
para o leitor de documentos mostra como usar o AlloyDB Omni para recuperar
dados como documentos usando a classe AlloyDBReader. Você vai aprender como
fazer o seguinte:
- Crie um
AlloyDBEnginepara se conectar à instância do AlloyDB Omni usando oAlloyDBEngine.from_connection_string(). - Criar
AlloyDBReader. - Carregue documentos usando o argumento
table_name. - Carregar documentos usando uma consulta SQL.
- Defina o formato do conteúdo da página.
- Carregar os documentos.