RAG-Transformationen optimieren

Nachdem ein Dokument aufgenommen wurde, führt die RAG Engine auf der Gemini Enterprise Agent Platform eine Reihe von Transformationen aus, um die Daten für die Indexierung vorzubereiten. Sie können Ihre Anwendungsfälle mit den folgenden Parametern steuern:

Parameter Beschreibung
chunk_size Wenn Dokumente in einen Index aufgenommen werden, werden sie in Blöcke unterteilt. Der Parameter chunk_size (in Tokens) gibt die Größe des Blocks an. Die standardmäßige Blockgröße beträgt 1.024 Tokens.
chunk_overlap Standardmäßig werden Dokumente in Blöcke unterteilt, mit einem gewissen Grad an Überschneidungen, um die Relevanz und die Abrufqualität zu verbessern. Die standardmäßige Blocküberschneidung beträgt 256 Tokens.

Eine kleinere Blockgröße bedeutet, dass die Einbettungen genauer sind. Ein größerer Block bedeutet, dass die Einbettungen allgemeiner sein können, aber bestimmte Details nicht erfasst werden.

Wenn Sie beispielsweise 1.000 Wörter in ein Einbettungsarray umwandeln, das für 200 Wörter vorgesehen war, gehen möglicherweise Details verloren. Die Einbettungskapazität ist für jeden Chunk festgelegt. Ein großer Textblock passt möglicherweise nicht in ein Modell mit kleinen Fenstern.

Nächste Schritte