REST Resource: projects.locations.dataStores

Risorsa: DataStore

Messaggio che descrive un oggetto DataStore. Un DataStore, di proprietà diretta di un progetto, contiene un insieme di documenti correlati che condividono un unico DocumentType immutabile, insieme alla configurazione utilizzata per elaborarli. I documenti importati vengono suddivisi in segmenti, incorporati e archiviati nella raccolta di backup del datastore (vedi collectionName).

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "documentType": enum (DocumentType),
  "processingConfig": {
    object (ProcessingConfig)
  },
  "state": enum (State),
  "collectionName": string,
  "documentMetadataSchema": {
    object (DocumentMetadataSchema)
  }
}
Campi
name

string

Identificatore. Il nome completo della risorsa del datastore.

Formato: projects/{project}/locations/{location}/dataStores/{dataStoreId}
displayName

string

Facoltativo. Nome visualizzato del datastore specificato dall'utente.
description

string

Facoltativo. Descrizione del datastore specificata dall'utente.
createTime

string (Timestamp format)

Solo output. Timestamp creazione

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

Solo output. Timestamp aggiornamento

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
labels

map (key: string, value: string)

Facoltativo. Etichette come coppie chiave-valore.

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
documentType

enum (DocumentType)

Obbligatorio. Immutabile. Il tipo di contenuti immutabile di tutti i documenti in questo datastore.
processingConfig

object (ProcessingConfig)

Facoltativo. Configurazione che controlla il modo in cui i documenti in questo datastore vengono importati (analizzati, segmentati e incorporati).

Può essere modificato con dataStores.patch. Una modifica si applica solo ai documenti elaborati dopo la modifica: i documenti già presenti nel datastore mantengono i segmenti esistenti e la nuova importazione di un file che non è stato modificato non ne comporta la nuova elaborazione.
state

enum (State)

Solo output. Lo stato del datastore.
collectionName

string

Solo output. Il nome della risorsa della raccolta che supporta questo datastore, nel formato projects/{project}/locations/{location}/collections/{collectionId}. collectionId è google-{dataStoreId} o google- seguito da un hash dell'ID datastore se questo supera i 63 caratteri. Compilato una volta creata la raccolta di supporto.
documentMetadataSchema

object (DocumentMetadataSchema)

Facoltativo. Schema per i metadati definiti dall'utente sui documenti in questo datastore. Lo schema verrà convalidato rispetto alla bozza 7 dello schema JSON.

Lo schema può essere esteso in un secondo momento con dataStores.patch aggiungendo proprietà; le proprietà esistenti non possono essere rimosse o modificate.

DocumentType

Il tipo di contenuti dei documenti in un datastore. Tutti i documenti di un datastore condividono un unico DocumentType immutabile.

Enum
DOCUMENT_TYPE_UNSPECIFIED Valore predefinito, il tipo di documento non è specificato.
UNSTRUCTURED Documenti di testo: file PDF, testo normale, Word, PowerPoint ed Excel, facoltativamente con metadati.
VIDEO Documenti video, facoltativamente con metadati.

ProcessingConfig

ProcessingConfig controlla il modo in cui i documenti in un datastore vengono analizzati, segmentati e incorporati.

Rappresentazione JSON 
{
  "videoProcessingConfig": {
    object (VideoProcessingConfig)
  },
  "unstructuredProcessingConfig": {
    object (UnstructuredProcessingConfig)
  }
}
Campi
videoProcessingConfig

object (VideoProcessingConfig)

Facoltativo. Configurazione per la pipeline di importazione video. Si applica quando il valore documentType del datastore è VIDEO.

Se non viene impostato per un datastore VIDEO, la pipeline utilizza per impostazione predefinita la segmentazione a finestra fissa con una dimensione della finestra di 30 secondi e l'audio disattivato durante la generazione degli embedding per segmento.
unstructuredProcessingConfig

object (UnstructuredProcessingConfig)

Facoltativo. Configurazione per la pipeline di importazione di documenti non strutturati. Si applica quando il valore documentType del datastore è UNSTRUCTURED.

Se non viene impostato per un datastore UNSTRUCTURED, la pipeline utilizza per impostazione predefinita la segmentazione in chunk con un chunkSize di 500, l'analisi digitale e la generazione di embedding per segmento solo di testo.

VideoProcessingConfig

Configura la pipeline di importazione video applicata ai documenti importati in questo datastore. Le impostazioni di segmentazione e incorporamento possono evolvere in modo indipendente, pur rimanendo raggruppate in questo messaggio.

Tutte le configurazioni secondarie sono facoltative. Qualsiasi configurazione secondaria omessa viene sostituita dal valore predefinito della piattaforma documentato in quel campo.

Rappresentazione JSON 
{
  "segmentationConfig": {
    object (VideoSegmentationConfig)
  },
  "embeddingConfig": {
    object (VideoEmbeddingGenerationConfig)
  }
}
Campi
segmentationConfig

object (VideoSegmentationConfig)

Facoltativo. Controlla il modo in cui i video vengono suddivisi in segmenti prima dell'incorporamento.

Se non viene impostato, il valore predefinito è la segmentazione a finestra fissa con una finestra di 30 secondi. Se impostata, deve essere impostata una modalità di segmentazione come fixedWindowConfig; una configurazione vuota viene rifiutata.
embeddingConfig

object (VideoEmbeddingGenerationConfig)

Facoltativo. Controlla il modo in cui viene generato l'embedding multimodale per segmento.

VideoSegmentationConfig

Configura il modo in cui i video vengono suddivisi in segmenti prima dell'incorporamento.

Rappresentazione JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "fixedWindowConfig": {
    object (FixedWindowConfig)
  }
  // End of mutually exclusive fields.
}
Campi
Obbligatorio. Deve essere scelta esattamente una modalità di segmentazione. In questo modo, la configurazione viene isolata, in modo che gli utenti non possano impostare campi non applicabili alla modalità selezionata. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
fixedWindowConfig

object (FixedWindowConfig)

Segmentazione a finestra fissa (deterministica).
Fine dei campi che si escludono a vicenda.

FixedWindowConfig

Configura la segmentazione a finestra fissa. I segmenti vengono prodotti come finestre deterministiche e non sovrapposte di segmentDuration ciascuna.

Rappresentazione JSON 
{
  "segmentDuration": string
}
Campi
segmentDuration

string (Duration format)

Facoltativo. Specifica le dimensioni della finestra fissa per ogni segmento emesso.

Se non viene impostato, il valore predefinito è 30s. Se impostato esplicitamente, deve essere maggiore di 5 secondi e minore o uguale a 80 secondi.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".

VideoEmbeddingGenerationConfig

Configura il modo in cui vengono generati gli embedding multimodali per segmento per la modalità video.

Rappresentazione JSON 
{
  "audioMode": enum (AudioMode)
}
Campi
audioMode

enum (AudioMode)

Facoltativo. Controlla se la traccia audio contribuisce all'embedding. Il valore predefinito è DISABLED.

AudioMode

Specifica come deve essere trattata la traccia audio del video di origine durante la generazione degli embedding per segmento.

Questo enum è bloccato; non sono previsti nuovi valori.

Enum
AUDIO_MODE_UNSPECIFIED Non specificato. Considerato come DISABLED.
ENABLED Multiplexa la traccia audio nell'embedding multimodale insieme ai frame video. Migliora il richiamo per le query che dipendono da contenuti parlati o suoni ambientali (ad es. notizie basate su dialoghi, commenti sportivi), al costo di una dimensione del token di richiesta di embedding maggiore.
DISABLED Elimina la traccia audio e genera embedding solo dai frame visivi. Predefinito.

UnstructuredProcessingConfig

Configurazione della pipeline di importazione dei documenti non strutturati applicata ai documenti importati in questo datastore. Le impostazioni di segmentazione e analisi possono evolvere in modo indipendente, pur rimanendo raggruppate in questo messaggio.

Tutte le configurazioni secondarie sono facoltative. Qualsiasi configurazione secondaria omessa viene sostituita con l'impostazione predefinita della piattaforma documentata in quel campo.

Rappresentazione JSON 
{
  "segmentationConfig": {
    object (UnstructuredSegmentationConfig)
  },
  "parsingConfig": {
    object (UnstructuredParsingConfig)
  },
  "embeddingConfig": {
    object (UnstructuredEmbeddingConfig)
  }
}
Campi
segmentationConfig

object (UnstructuredSegmentationConfig)

Facoltativo. Controlla il modo in cui i documenti non strutturati vengono suddivisi in segmenti prima dell'incorporamento.

Se non viene impostato, il valore predefinito è la segmentazione in blocchi con un chunkSize di 500. Se impostato, deve essere impostato esattamente uno tra chunkSegmentationConfig o pageSegmentationConfig; una configurazione vuota viene rifiutata.
parsingConfig

object (UnstructuredParsingConfig)

Facoltativo. La configurazione di analisi, applicata a tutti i tipi di file per l'analisi di documenti non strutturati. I file di testo normale (.txt) vengono sempre analizzati digitalmente.

Se non viene impostato, il valore predefinito è l'analisi digitale (estrazione del testo nativo) o l'analisi basata sul layout quando embeddingConfig.mode è MULTIMODAL. Se impostato, deve essere impostato esattamente uno tra digitalParsingConfig o layoutParsingConfig; una configurazione vuota viene rifiutata.
embeddingConfig

object (UnstructuredEmbeddingConfig)

Facoltativo. Controlla il modo in cui viene generato l'embedding per segmento.

UnstructuredSegmentationConfig

Configura il modo in cui i documenti non strutturati vengono suddivisi in segmenti prima dell'incorporamento.

Rappresentazione JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "chunkSegmentationConfig": {
    object (ChunkSegmentationConfig)
  },
  "pageSegmentationConfig": {
    object (PageSegmentationConfig)
  }
  // End of mutually exclusive fields.
}
Campi
Obbligatorio. Deve essere scelta esattamente una modalità di segmentazione. In questo modo, la configurazione viene isolata, in modo che gli utenti non possano impostare campi non applicabili alla modalità selezionata. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
chunkSegmentationConfig

object (ChunkSegmentationConfig)

Segmentazione a livello di chunk.
pageSegmentationConfig

object (PageSegmentationConfig)

Segmentazione a livello di pagina.
Fine dei campi che si escludono a vicenda.

ChunkSegmentationConfig

Le configurazioni di segmentazione dei chunk per i documenti non strutturati. I segmenti vengono prodotti come blocchi semantici (ad es. per paragrafo).

Rappresentazione JSON 
{
  "chunkSize": integer,
  "includeAncestorHeadings": boolean
}
Campi
chunkSize

integer

Facoltativo. Il limite di dimensioni dei token per ogni chunk.

Valori supportati: 100-500 (inclusi). Se non viene impostato, il valore predefinito è 500.
includeAncestorHeadings

boolean

Facoltativo. Se ogni chunk include anche le intestazioni delle sezioni a cui appartiene, in modo che un chunk preso dal centro di una sezione mantenga il suo contesto.

Le intestazioni vengono rilevate solo dall'analisi del layout (layoutParsingConfig). Con l'analisi digitale e per i file di testo normale, questa impostazione non ha alcun effetto.

Se non viene impostato, il valore predefinito è false.

PageSegmentationConfig

Questo tipo non ha campi.

Le configurazioni di segmentazione delle pagine per i documenti non strutturati. I segmenti vengono generati a livello di pagina.

Utilizzalo con l'analisi digitale. Con layoutParsingConfig, l'importazione dei file PDF non va a buon fine e i file Word, PowerPoint ed Excel vengono suddivisi in blocchi.

UnstructuredParsingConfig

Configurazioni correlate applicate a un tipo specifico di parser di documenti non strutturati.

Rappresentazione JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "digitalParsingConfig": {
    object (DigitalParsingConfig)
  },
  "layoutParsingConfig": {
    object (LayoutParsingConfig)
  }
  // End of mutually exclusive fields.
}
Campi
Obbligatorio. È necessario scegliere esattamente una modalità di analisi. In questo modo, la configurazione viene isolata, in modo che gli utenti non possano impostare campi non applicabili alla modalità selezionata. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
digitalParsingConfig

object (DigitalParsingConfig)

Analisi digitale (estrazione di testo nativo).
layoutParsingConfig

object (LayoutParsingConfig)

Analisi sensibile al layout.
Fine dei campi che si escludono a vicenda.

DigitalParsingConfig

Questo tipo non ha campi.

Le configurazioni di analisi digitale per i documenti non strutturati. Estrae il testo archiviato nel file, senza OCR o rilevamento del layout: il testo che appare solo nelle immagini non viene estratto e le intestazioni e le tabelle non vengono rilevate.

LayoutParsingConfig

Questo tipo non ha campi.

Le configurazioni di analisi del layout per i documenti non strutturati. Rileva la struttura del documento, ad esempio intestazioni e tabelle, ed esegue l'OCR sui file PDF. Obbligatorio per rendere effettiva l'impostazione includeAncestorHeadings e per l'incorporamento di MULTIMODAL.

UnstructuredEmbeddingConfig

Configura il modo in cui vengono generati gli embedding per segmento per la modalità dei documenti non strutturati.

Rappresentazione JSON 
{
  "mode": enum (EmbeddingMode)
}
Campi
mode

enum (EmbeddingMode)

Facoltativo. Controlla gli elementi in base ai quali viene calcolato l'embedding di un segmento. Il valore predefinito è TEXT.

EmbeddingMode

Gli elementi da cui viene calcolato l'embedding di un segmento.

Enum
EMBEDDING_MODE_UNSPECIFIED Non specificato. Trattato come TEXT.
TEXT Solo testo. Le immagini estratte dal documento non contribuiscono all'embedding. Predefinito.

Stato

Lo stato del datastore.

Enum
STATE_UNSPECIFIED Il valore predefinito. Questo valore viene utilizzato se lo stato viene omesso.
CREATING È in corso la creazione del datastore.
ACTIVE Il datastore è pronto per l'uso.
DELETING Il datastore è in fase di eliminazione.

DocumentMetadataSchema

Schema per i metadati definiti dall'utente sui documenti in un datastore.

Rappresentazione JSON 
{
  "schema": {
    object
  }
}
Campi
schema

object (Struct format)

Facoltativo. Lo schema JSON per i metadati del documento. Lo schema verrà convalidato rispetto alla bozza 7 dello schema JSON.

I nomi delle proprietà possono contenere solo lettere, cifre, _ e - e non devono iniziare con google in nessuna combinazione di lettere maiuscole e minuscole; questo prefisso è riservato. La parola chiave additionalProperties non è supportata in properties.

Metodi

create

 Crea un nuovo datastore in un progetto e una località specifici.

delete

 Elimina un singolo datastore.

get

 Recupera i dettagli di un singolo datastore.

importDocuments

 Avvia un'operazione a lunga esecuzione per importare i documenti in un datastore.

list

 Elenca i datastore in un progetto e una località specifici.

patch

 Aggiorna i parametri di un singolo datastore.

purgeDocuments

 Avvia un'operazione a lunga esecuzione per eliminare i documenti da un datastore.