Ajuste as transformações de RAG

Os controlos de segurança do VPC-SC e a CMEK são suportados pelo Vertex AI RAG Engine. A residência dos dados e os controlos de segurança AXT não são suportados.

Depois de um documento ser carregado, o Vertex AI RAG Engine executa um conjunto de transformações para preparar os dados para indexação. Pode controlar os seus exemplos de utilização através dos seguintes parâmetros:

Parâmetro	Descrição
chunk_size	Quando os documentos são carregados para um índice, são divididos em blocos. O parâmetro chunk_size (em tokens) especifica o tamanho do fragmento. O tamanho do fragmento predefinido é de 1024 tokens.
chunk_overlap	Por predefinição, os documentos são divididos em blocos com uma determinada quantidade de sobreposição para melhorar a relevância e a qualidade da obtenção. A sobreposição de fragmentos predefinida é de 256 tokens.

Um tamanho do fragmento mais pequeno significa que as incorporações são mais precisas. Um tamanho de fragmento maior significa que as incorporações podem ser mais gerais, mas podem perder detalhes específicos.

Por exemplo, se converter 1000 palavras num conjunto de incorporações destinado a 200 palavras, pode perder detalhes. A capacidade de incorporação é fixa para cada fragmento. Um grande bloco de texto pode não caber num modelo de janela pequena.

O que se segue?

• Use o analisador de esquemas do Document AI com o Vertex AI RAG Engine.