Recurso: DataStore
Es el mensaje que describe un objeto DataStore. Un DataStore, que pertenece directamente a un proyecto, contiene un conjunto de documentos relacionados que comparten un solo DocumentType inmutable, junto con la configuración que se usa para procesarlos. Los documentos importados se dividen en segmentos, se incorporan y se almacenan en la colección de respaldo del DataStore (consulta collectionName).
| Representación JSON |
|---|
{ "name": string, "displayName": string, "description": string, "createTime": string, "updateTime": string, "labels": { string: string, ... }, "documentType": enum ( |
| Campos | |
|---|---|
name |
Es el identificador. Es el nombre de recurso completamente calificado del DataStore. Formato: |
displayName |
Es opcional. Es el nombre visible del DataStore que especifica el usuario. |
description |
Es opcional. Descripción del DataStore especificada por el usuario. |
createTime |
Solo salida. Marca de tiempo de la fecha de creación Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
updateTime |
Solo salida. Marca de tiempo de la fecha de actualización Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
labels |
Es opcional. Etiquetas como pares clave-valor. Un objeto que contiene una lista de pares |
documentType |
Obligatorio. Inmutable. Es el tipo de contenido inmutable de todos los documentos de este DataStore. |
processingConfig |
Es opcional. Es la configuración que controla cómo se transfieren (analizan, segmentan y, luego, incorporan) los documentos de este DataStore. Se puede cambiar con dataStores.patch. Un cambio se aplica solo a los documentos procesados después de él: los documentos que ya están en el DataStore conservan sus segmentos existentes, y volver a importar un archivo que no cambió no lo vuelve a procesar. |
state |
Solo salida. Es el estado del DataStore. |
collectionName |
Solo salida. Es el nombre del recurso de la colección que respalda este DataStore, con el formato |
documentMetadataSchema |
Es opcional. Esquema para los metadatos definidos por el usuario en los documentos de este DataStore. El esquema se validará con el borrador 7 del esquema JSON. El esquema se puede extender más adelante con dataStores.patch agregando propiedades; las propiedades existentes no se pueden quitar ni cambiar. |
DocumentType
Es el tipo de contenido de los documentos en un DataStore. Todos los documentos de un DataStore comparten un único DocumentType inmutable.
| Enums | |
|---|---|
DOCUMENT_TYPE_UNSPECIFIED |
Valor predeterminado, no se especifica el tipo de documento. |
UNSTRUCTURED |
Documentos de texto: archivos PDF, HTML, de texto sin formato, Markdown, JSON, XML, Word, PowerPoint y Excel, opcionalmente con metadatos. |
VIDEO |
Documentos de video, opcionalmente con metadatos. |
ProcessingConfig
ProcessingConfig controla cómo se analizan, segmentan y, además, incorporan los documentos en un DataStore.
| Representación JSON |
|---|
{ "videoProcessingConfig": { object ( |
| Campos | |
|---|---|
videoProcessingConfig |
Es opcional. Es la configuración de la canalización de transferencia de videos. Se aplica cuando el Si no se establece para un DataStore |
unstructuredProcessingConfig |
Es opcional. Es la configuración de la canalización de transferencia de documentos no estructurados. Se aplica cuando el Si no se establece para un DataStore |
VideoProcessingConfig
Configura la canalización de transferencia de video que se aplica a los documentos transferidos a este DataStore. La configuración de segmentación y de incorporación puede evolucionar de forma independiente, pero se mantiene agrupada en este mensaje.
Todos los parámetros de configuración secundarios son opcionales. Cualquier configuración secundaria omitida recurre a la configuración predeterminada de la plataforma documentada en ese campo.
| Representación JSON |
|---|
{ "segmentationConfig": { object ( |
| Campos | |
|---|---|
segmentationConfig |
Es opcional. Controla cómo se dividen los videos en segmentos antes de incorporarlos. Si no se configura, se establece de forma predeterminada en la segmentación de ventana fija con una ventana de 30 s. Si se establece, se debe configurar un modo de segmentación, como |
embeddingConfig |
Es opcional. Controla cómo se genera el embedding multimodal por segmento. |
VideoSegmentationConfig
Configura cómo se dividen los videos en segmentos antes de incorporarlos.
| Representación JSON |
|---|
{
// The following is a list of mutually exclusive fields. At most one of the
// fields will be set in a response:
"fixedWindowConfig": {
object ( |
| Campos | |
|---|---|
| Obligatorio. Se debe elegir exactamente un modo de segmentación. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
fixedWindowConfig |
Segmentación de ventana fija (determinística) |
| Fin de los campos mutuamente excluyentes. | |
FixedWindowConfig
Configura la segmentación de ventana fija. Los segmentos se producen como ventanas determinísticas que no se superponen de segmentDuration cada una.
| Representación JSON |
|---|
{ "segmentDuration": string } |
| Campos | |
|---|---|
segmentDuration |
Es opcional. Especifica el tamaño de ventana fijo para cada segmento emitido. Si no se establece, el valor predeterminado es 30 s. Cuando se establece de forma explícita, debe ser mayor que 5 s y menor o igual que 80 s. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “ |
VideoEmbeddingGenerationConfig
Configura cómo se generan las incorporaciones multimodales por segmento para la modalidad de video.
| Representación JSON |
|---|
{
"audioMode": enum ( |
| Campos | |
|---|---|
audioMode |
Es opcional. Controla si la pista de audio contribuye a la incorporación. La configuración predeterminada es DISABLED. |
AudioMode
Especifica cómo se debe tratar la pista de audio del video de origen cuando se generan incorporaciones por segmento.
Esta enumeración está congelada; no se esperan valores nuevos.
| Enums | |
|---|---|
AUDIO_MODE_UNSPECIFIED |
Sin especificar. Se trata como DISABLED. |
ENABLED |
Multiplexa la pista de audio en la incorporación multimodal junto con los fotogramas de video. Mejora la recuperación de las consultas que dependen del contenido hablado o del sonido ambiental (p.ej., noticias basadas en diálogos, comentarios deportivos), a costa de un tamaño de token de solicitud de incorporación más grande. |
DISABLED |
Descarta la pista de audio y genera incorporaciones solo a partir de fotogramas visuales. Predeterminado. |
UnstructuredProcessingConfig
Es la configuración de la canalización de transferencia de documentos no estructurados que se aplica a los documentos transferidos a este DataStore. La configuración de segmentación y análisis puede evolucionar de forma independiente mientras permanece agrupada en este mensaje.
Todos los parámetros de configuración secundarios son opcionales. Cualquier parámetro de configuración secundario que se omita recurre al valor predeterminado de la plataforma documentado en ese campo.
| Representación JSON |
|---|
{ "segmentationConfig": { object ( |
| Campos | |
|---|---|
segmentationConfig |
Es opcional. Controla cómo se dividen los documentos no estructurados en segmentos antes de la incorporación. Si no se establece, el valor predeterminado es la segmentación por fragmentos con un |
parsingConfig |
Es opcional. Es la configuración de análisis, que se aplica a todos los tipos de archivos para el análisis de documentos no estructurados. Los archivos de texto sin formato ( Si no se establece, se usa de forma predeterminada el análisis digital (extracción de texto nativo). Si se establece, se debe establecer exactamente uno de los valores |
embeddingConfig |
Es opcional. Controla cómo se genera la incorporación por segmento. |
UnstructuredSegmentationConfig
Configura cómo se dividen los documentos no estructurados en segmentos antes de incorporarlos.
| Representación JSON |
|---|
{ // The following is a list of mutually exclusive fields. At most one of the // fields will be set in a response: "chunkSegmentationConfig": { object ( |
| Campos | |
|---|---|
| Obligatorio. Se debe elegir exactamente un modo de segmentación. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
chunkSegmentationConfig |
Segmentación a nivel de fragmento. |
pageSegmentationConfig |
Segmentación a nivel de la página |
| Fin de los campos mutuamente excluyentes. | |
ChunkSegmentationConfig
Son los parámetros de configuración de la segmentación de fragmentos para documentos no estructurados. Los segmentos se producen como fragmentos semánticos (p.ej., por párrafo).
| Representación JSON |
|---|
{ "chunkSize": integer, "includeAncestorHeadings": boolean } |
| Campos | |
|---|---|
chunkSize |
Es opcional. Es el límite de tamaño de tokens para cada fragmento. Valores admitidos: Del 100 al 500 (inclusive). Si no se establece, el valor predeterminado es 500. |
includeAncestorHeadings |
Es opcional. Si cada fragmento también incluye los encabezados de las secciones a las que pertenece, de modo que un fragmento tomado de la mitad de una sección mantenga su contexto. Los encabezados solo se detectan con el análisis de diseño ( Si no se configura, el valor predeterminado es falso. |
PageSegmentationConfig
Este tipo no tiene campos.
Es la configuración de segmentación de páginas para documentos no estructurados. Los segmentos se producen a nivel de la página.
Se usa con el análisis digital. Con layoutParsingConfig, no se importan los archivos. En su lugar, usa chunkSegmentationConfig.
UnstructuredParsingConfig
Son los parámetros de configuración relacionados que se aplican a un tipo específico de analizador de documentos no estructurados.
| Representación JSON |
|---|
{ // The following is a list of mutually exclusive fields. At most one of the // fields will be set in a response: "digitalParsingConfig": { object ( |
| Campos | |
|---|---|
| Obligatorio. Se debe elegir exactamente un modo de análisis. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
digitalParsingConfig |
Análisis digital (extracción de texto nativo) |
layoutParsingConfig |
Análisis consciente del diseño |
| Fin de los campos mutuamente excluyentes. | |
DigitalParsingConfig
Este tipo no tiene campos.
Son los parámetros de configuración de análisis digital para documentos no estructurados. Extrae el texto almacenado en el archivo, sin OCR ni detección de diseño: no se extrae el texto que aparece solo en las imágenes y no se detectan los encabezados ni las tablas.
LayoutParsingConfig
Este tipo no tiene campos.
Son los parámetros de configuración de análisis de diseño para documentos no estructurados. Detecta la estructura del documento, como encabezados y tablas, y ejecuta el OCR en archivos PDF. Es obligatorio para que includeAncestorHeadings tenga efecto.
UnstructuredEmbeddingConfig
Configura cómo se generan las incorporaciones por segmento para la modalidad de documentos no estructurados.
| Representación JSON |
|---|
{
"mode": enum ( |
| Campos | |
|---|---|
mode |
Es opcional. Controla a partir de qué se calcula la incorporación de un segmento. La configuración predeterminada es |
EmbeddingMode
Es el elemento a partir del cual se calcula la incorporación de un segmento.
| Enums | |
|---|---|
EMBEDDING_MODE_UNSPECIFIED |
Sin especificar. Se trata como TEXT. |
TEXT |
Solo texto. Las imágenes extraídas del documento no contribuyen a la incorporación. Predeterminado. |
Estado
Es el estado del DataStore.
| Enums | |
|---|---|
STATE_UNSPECIFIED |
Es el valor predeterminado. Este valor se usa si se omite el estado. |
CREATING |
Se está creando el almacén de datos. |
ACTIVE |
El DataStore está listo para usarse. |
DELETING |
Se está borrando el almacén de datos. |
DocumentMetadataSchema
Esquema para los metadatos definidos por el usuario en los documentos de un DataStore.
| Representación JSON |
|---|
{ "schema": { object } } |
| Campos | |
|---|---|
schema |
Es opcional. Es el esquema JSON para los metadatos del documento. El esquema se validará con el borrador 7 del esquema JSON. Los nombres de las propiedades solo pueden contener letras, dígitos, |
Métodos |
|
|---|---|
|
Crea un nuevo DataStore en un proyecto y una ubicación determinados. |
|
Borra un solo DataStore. |
|
Obtiene detalles de un solo DataStore. |
|
Inicia una operación de larga duración para importar documentos a un DataStore. |
|
Enumera los almacenes de datos en una ubicación y un proyecto determinados. |
|
Actualiza los parámetros de un solo DataStore. |
|
Inicia una operación de larga duración para borrar documentos de un DataStore. |