REST Resource: projects.locations.dataStores

Recurso: DataStore

Es el mensaje que describe un objeto DataStore. Un DataStore, que pertenece directamente a un proyecto, contiene un conjunto de documentos relacionados que comparten un solo DocumentType inmutable, junto con la configuración que se usa para procesarlos. Los documentos importados se dividen en segmentos, se incorporan y se almacenan en la colección de respaldo del DataStore (consulta collectionName).

Representación JSON
{
  "name": string,
  "displayName": string,
  "description": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "documentType": enum (DocumentType),
  "processingConfig": {
    object (ProcessingConfig)
  },
  "state": enum (State),
  "collectionName": string,
  "documentMetadataSchema": {
    object (DocumentMetadataSchema)
  }
}
Campos
name

string

Es el identificador. Es el nombre de recurso completamente calificado del DataStore.

Formato: projects/{project}/locations/{location}/dataStores/{dataStoreId}

displayName

string

Es opcional. Es el nombre visible del DataStore que especifica el usuario.

description

string

Es opcional. Descripción del DataStore especificada por el usuario.

createTime

string (Timestamp format)

Solo salida. Marca de tiempo de la fecha de creación

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

updateTime

string (Timestamp format)

Solo salida. Marca de tiempo de la fecha de actualización

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

labels

map (key: string, value: string)

Es opcional. Etiquetas como pares clave-valor.

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

documentType

enum (DocumentType)

Obligatorio. Inmutable. Es el tipo de contenido inmutable de todos los documentos de este DataStore.

processingConfig

object (ProcessingConfig)

Es opcional. Es la configuración que controla cómo se transfieren (analizan, segmentan y, luego, incorporan) los documentos de este DataStore.

Se puede cambiar con dataStores.patch. Un cambio se aplica solo a los documentos procesados después de él: los documentos que ya están en el DataStore conservan sus segmentos existentes, y volver a importar un archivo que no cambió no lo vuelve a procesar.

state

enum (State)

Solo salida. Es el estado del DataStore.

collectionName

string

Solo salida. Es el nombre del recurso de la colección que respalda este DataStore, con el formato projects/{project}/locations/{location}/collections/{collectionId}. collectionId es google-{dataStoreId} o google- seguido de un hash del ID del almacén de datos cuando este tiene más de 63 caracteres. Se propaga una vez que se crea la colección de respaldo.

documentMetadataSchema

object (DocumentMetadataSchema)

Es opcional. Esquema para los metadatos definidos por el usuario en los documentos de este DataStore. El esquema se validará con el borrador 7 del esquema JSON.

El esquema se puede extender más adelante con dataStores.patch agregando propiedades; las propiedades existentes no se pueden quitar ni cambiar.

DocumentType

Es el tipo de contenido de los documentos en un DataStore. Todos los documentos de un DataStore comparten un único DocumentType inmutable.

Enums
DOCUMENT_TYPE_UNSPECIFIED Valor predeterminado, no se especifica el tipo de documento.
UNSTRUCTURED Documentos de texto: archivos PDF, HTML, de texto sin formato, Markdown, JSON, XML, Word, PowerPoint y Excel, opcionalmente con metadatos.
VIDEO Documentos de video, opcionalmente con metadatos.

ProcessingConfig

ProcessingConfig controla cómo se analizan, segmentan y, además, incorporan los documentos en un DataStore.

Representación JSON
{
  "videoProcessingConfig": {
    object (VideoProcessingConfig)
  },
  "unstructuredProcessingConfig": {
    object (UnstructuredProcessingConfig)
  }
}
Campos
videoProcessingConfig

object (VideoProcessingConfig)

Es opcional. Es la configuración de la canalización de transferencia de videos. Se aplica cuando el documentType de DataStore es VIDEO.

Si no se establece para un DataStore VIDEO, la canalización se establece de forma predeterminada en la segmentación de ventana fija con un tamaño de ventana de 30 s y el audio inhabilitado durante la generación de incorporaciones por segmento.

unstructuredProcessingConfig

object (UnstructuredProcessingConfig)

Es opcional. Es la configuración de la canalización de transferencia de documentos no estructurados. Se aplica cuando el documentType de DataStore es UNSTRUCTURED.

Si no se establece para un DataStore UNSTRUCTURED, la canalización se establece de forma predeterminada en la segmentación de fragmentos con un chunkSize de 500, análisis digital y generación de incorporaciones por segmento solo de texto.

VideoProcessingConfig

Configura la canalización de transferencia de video que se aplica a los documentos transferidos a este DataStore. La configuración de segmentación y de incorporación puede evolucionar de forma independiente, pero se mantiene agrupada en este mensaje.

Todos los parámetros de configuración secundarios son opcionales. Cualquier configuración secundaria omitida recurre a la configuración predeterminada de la plataforma documentada en ese campo.

Representación JSON
{
  "segmentationConfig": {
    object (VideoSegmentationConfig)
  },
  "embeddingConfig": {
    object (VideoEmbeddingGenerationConfig)
  }
}
Campos
segmentationConfig

object (VideoSegmentationConfig)

Es opcional. Controla cómo se dividen los videos en segmentos antes de incorporarlos.

Si no se configura, se establece de forma predeterminada en la segmentación de ventana fija con una ventana de 30 s. Si se establece, se debe configurar un modo de segmentación, como fixedWindowConfig. Se rechaza una configuración vacía.

embeddingConfig

object (VideoEmbeddingGenerationConfig)

Es opcional. Controla cómo se genera el embedding multimodal por segmento.

VideoSegmentationConfig

Configura cómo se dividen los videos en segmentos antes de incorporarlos.

Representación JSON
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "fixedWindowConfig": {
    object (FixedWindowConfig)
  }
  // End of mutually exclusive fields.
}
Campos
Obligatorio. Se debe elegir exactamente un modo de segmentación. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
fixedWindowConfig

object (FixedWindowConfig)

Segmentación de ventana fija (determinística)

Fin de los campos mutuamente excluyentes.

FixedWindowConfig

Configura la segmentación de ventana fija. Los segmentos se producen como ventanas determinísticas que no se superponen de segmentDuration cada una.

Representación JSON
{
  "segmentDuration": string
}
Campos
segmentDuration

string (Duration format)

Es opcional. Especifica el tamaño de ventana fijo para cada segmento emitido.

Si no se establece, el valor predeterminado es 30 s. Cuando se establece de forma explícita, debe ser mayor que 5 s y menor o igual que 80 s.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

VideoEmbeddingGenerationConfig

Configura cómo se generan las incorporaciones multimodales por segmento para la modalidad de video.

Representación JSON
{
  "audioMode": enum (AudioMode)
}
Campos
audioMode

enum (AudioMode)

Es opcional. Controla si la pista de audio contribuye a la incorporación. La configuración predeterminada es DISABLED.

AudioMode

Especifica cómo se debe tratar la pista de audio del video de origen cuando se generan incorporaciones por segmento.

Esta enumeración está congelada; no se esperan valores nuevos.

Enums
AUDIO_MODE_UNSPECIFIED Sin especificar. Se trata como DISABLED.
ENABLED Multiplexa la pista de audio en la incorporación multimodal junto con los fotogramas de video. Mejora la recuperación de las consultas que dependen del contenido hablado o del sonido ambiental (p.ej., noticias basadas en diálogos, comentarios deportivos), a costa de un tamaño de token de solicitud de incorporación más grande.
DISABLED Descarta la pista de audio y genera incorporaciones solo a partir de fotogramas visuales. Predeterminado.

UnstructuredProcessingConfig

Es la configuración de la canalización de transferencia de documentos no estructurados que se aplica a los documentos transferidos a este DataStore. La configuración de segmentación y análisis puede evolucionar de forma independiente mientras permanece agrupada en este mensaje.

Todos los parámetros de configuración secundarios son opcionales. Cualquier parámetro de configuración secundario que se omita recurre al valor predeterminado de la plataforma documentado en ese campo.

Representación JSON
{
  "segmentationConfig": {
    object (UnstructuredSegmentationConfig)
  },
  "parsingConfig": {
    object (UnstructuredParsingConfig)
  },
  "embeddingConfig": {
    object (UnstructuredEmbeddingConfig)
  }
}
Campos
segmentationConfig

object (UnstructuredSegmentationConfig)

Es opcional. Controla cómo se dividen los documentos no estructurados en segmentos antes de la incorporación.

Si no se establece, el valor predeterminado es la segmentación por fragmentos con un chunkSize de 500. Si se establece, se debe establecer exactamente uno de los valores chunkSegmentationConfig o pageSegmentationConfig. Se rechaza una configuración vacía.

parsingConfig

object (UnstructuredParsingConfig)

Es opcional. Es la configuración de análisis, que se aplica a todos los tipos de archivos para el análisis de documentos no estructurados. Los archivos de texto sin formato (.txt), JSON (.json) y XML (.xml) siempre se analizan de forma digital. Los archivos Markdown (.md) solo admiten el análisis digital: con layoutParsingConfig, no se importan.

Si no se establece, se usa de forma predeterminada el análisis digital (extracción de texto nativo). Si se establece, se debe establecer exactamente uno de los valores digitalParsingConfig o layoutParsingConfig. Se rechaza una configuración vacía.

embeddingConfig

object (UnstructuredEmbeddingConfig)

Es opcional. Controla cómo se genera la incorporación por segmento.

UnstructuredSegmentationConfig

Configura cómo se dividen los documentos no estructurados en segmentos antes de incorporarlos.

Representación JSON
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "chunkSegmentationConfig": {
    object (ChunkSegmentationConfig)
  },
  "pageSegmentationConfig": {
    object (PageSegmentationConfig)
  }
  // End of mutually exclusive fields.
}
Campos
Obligatorio. Se debe elegir exactamente un modo de segmentación. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
chunkSegmentationConfig

object (ChunkSegmentationConfig)

Segmentación a nivel de fragmento.

pageSegmentationConfig

object (PageSegmentationConfig)

Segmentación a nivel de la página

Fin de los campos mutuamente excluyentes.

ChunkSegmentationConfig

Son los parámetros de configuración de la segmentación de fragmentos para documentos no estructurados. Los segmentos se producen como fragmentos semánticos (p.ej., por párrafo).

Representación JSON
{
  "chunkSize": integer,
  "includeAncestorHeadings": boolean
}
Campos
chunkSize

integer

Es opcional. Es el límite de tamaño de tokens para cada fragmento.

Valores admitidos: Del 100 al 500 (inclusive). Si no se establece, el valor predeterminado es 500.

includeAncestorHeadings

boolean

Es opcional. Si cada fragmento también incluye los encabezados de las secciones a las que pertenece, de modo que un fragmento tomado de la mitad de una sección mantenga su contexto.

Los encabezados solo se detectan con el análisis de diseño (layoutParsingConfig). Con el análisis digital y para los archivos de texto sin formato, JSON y archivos en formato XML, este parámetro de configuración no tiene efecto.

Si no se configura, el valor predeterminado es falso.

PageSegmentationConfig

Este tipo no tiene campos.

Es la configuración de segmentación de páginas para documentos no estructurados. Los segmentos se producen a nivel de la página.

Se usa con el análisis digital. Con layoutParsingConfig, no se importan los archivos. En su lugar, usa chunkSegmentationConfig.

UnstructuredParsingConfig

Son los parámetros de configuración relacionados que se aplican a un tipo específico de analizador de documentos no estructurados.

Representación JSON
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "digitalParsingConfig": {
    object (DigitalParsingConfig)
  },
  "layoutParsingConfig": {
    object (LayoutParsingConfig)
  }
  // End of mutually exclusive fields.
}
Campos
Obligatorio. Se debe elegir exactamente un modo de análisis. Esto aísla la configuración para que los usuarios no puedan establecer campos que no se apliquen al modo seleccionado. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
digitalParsingConfig

object (DigitalParsingConfig)

Análisis digital (extracción de texto nativo)

layoutParsingConfig

object (LayoutParsingConfig)

Análisis consciente del diseño

Fin de los campos mutuamente excluyentes.

DigitalParsingConfig

Este tipo no tiene campos.

Son los parámetros de configuración de análisis digital para documentos no estructurados. Extrae el texto almacenado en el archivo, sin OCR ni detección de diseño: no se extrae el texto que aparece solo en las imágenes y no se detectan los encabezados ni las tablas.

LayoutParsingConfig

Este tipo no tiene campos.

Son los parámetros de configuración de análisis de diseño para documentos no estructurados. Detecta la estructura del documento, como encabezados y tablas, y ejecuta el OCR en archivos PDF. Es obligatorio para que includeAncestorHeadings tenga efecto.

UnstructuredEmbeddingConfig

Configura cómo se generan las incorporaciones por segmento para la modalidad de documentos no estructurados.

Representación JSON
{
  "mode": enum (EmbeddingMode)
}
Campos
mode

enum (EmbeddingMode)

Es opcional. Controla a partir de qué se calcula la incorporación de un segmento. La configuración predeterminada es TEXT.

EmbeddingMode

Es el elemento a partir del cual se calcula la incorporación de un segmento.

Enums
EMBEDDING_MODE_UNSPECIFIED Sin especificar. Se trata como TEXT.
TEXT Solo texto. Las imágenes extraídas del documento no contribuyen a la incorporación. Predeterminado.

Estado

Es el estado del DataStore.

Enums
STATE_UNSPECIFIED Es el valor predeterminado. Este valor se usa si se omite el estado.
CREATING Se está creando el almacén de datos.
ACTIVE El DataStore está listo para usarse.
DELETING Se está borrando el almacén de datos.

DocumentMetadataSchema

Esquema para los metadatos definidos por el usuario en los documentos de un DataStore.

Representación JSON
{
  "schema": {
    object
  }
}
Campos
schema

object (Struct format)

Es opcional. Es el esquema JSON para los metadatos del documento. El esquema se validará con el borrador 7 del esquema JSON.

Los nombres de las propiedades solo pueden contener letras, dígitos, _ y -, y no deben comenzar con google en mayúsculas ni minúsculas, ya que ese prefijo está reservado. La palabra clave additionalProperties no se admite en properties.

Métodos

create

Crea un nuevo DataStore en un proyecto y una ubicación determinados.

delete

Borra un solo DataStore.

get

Obtiene detalles de un solo DataStore.

importDocuments

Inicia una operación de larga duración para importar documentos a un DataStore.

list

Enumera los almacenes de datos en una ubicación y un proyecto determinados.

patch

Actualiza los parámetros de un solo DataStore.

purgeDocuments

Inicia una operación de larga duración para borrar documentos de un DataStore.