REST Resource: projects.locations.dataStores

Resource: DataStore

Pesan yang menjelaskan objek DataStore. DataStore, yang dimiliki langsung oleh Project, menyimpan sekumpulan Dokumen terkait yang memiliki DocumentType tunggal yang tidak dapat diubah, bersama dengan konfigurasi yang digunakan untuk memprosesnya. Dokumen yang diimpor dibagi menjadi beberapa segmen, disematkan, dan disimpan dalam Koleksi pendukung DataStore (lihat collectionName).

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "documentType": enum (DocumentType),
  "processingConfig": {
    object (ProcessingConfig)
  },
  "state": enum (State),
  "collectionName": string,
  "documentMetadataSchema": {
    object (DocumentMetadataSchema)
  }
}
Kolom
name

string

ID. Nama resource yang sepenuhnya memenuhi syarat dari DataStore.

Format: projects/{project}/locations/{location}/dataStores/{dataStoreId}
displayName

string

Opsional. Nama tampilan DataStore yang ditentukan pengguna.
description

string

Opsional. Deskripsi DataStore yang ditentukan pengguna.
createTime

string (Timestamp format)

Hanya output. Membuat stempel waktu

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

Hanya output. Memperbarui stempel waktu

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
labels

map (key: string, value: string)

Opsional. Label sebagai key-value pair.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
documentType

enum (DocumentType)

Wajib. Tidak dapat diubah. Jenis konten yang tidak dapat diubah dari semua Dokumen di DataStore ini.
processingConfig

object (ProcessingConfig)

Opsional. Konfigurasi yang mengontrol cara Dokumen dalam DataStore ini diserap (diurai, disegmentasi, dan disematkan).

Dapat diubah dengan dataStores.patch. Perubahan hanya berlaku untuk Dokumen yang diproses setelahnya: Dokumen yang sudah ada di Penyimpanan Data akan mempertahankan segmen yang ada, dan mengimpor ulang file yang tidak berubah tidak akan memprosesnya ulang.
state

enum (State)

Hanya output. Status DataStore.
collectionName

string

Hanya output. Nama resource Koleksi yang mendukung DataStore ini, dalam bentuk projects/{project}/locations/{location}/collections/{collectionId}. collectionId adalah google-{dataStoreId}, atau google- diikuti dengan hash ID DataStore jika panjangnya lebih dari 63 karakter. Diisi setelah Koleksi pendukung dibuat.
documentMetadataSchema

object (DocumentMetadataSchema)

Opsional. Skema untuk metadata yang ditentukan pengguna pada Dokumen di DataStore ini. Skema akan divalidasi terhadap JSON Schema Draft 7.

Skema dapat diperluas nanti dengan dataStores.patch dengan menambahkan properti; properti yang ada tidak dapat dihapus atau diubah.

DocumentType

Jenis konten Dokumen di DataStore. Semua Dokumen dalam DataStore menggunakan satu DocumentType yang tidak dapat diubah.

Enum
DOCUMENT_TYPE_UNSPECIFIED Nilai default, jenis dokumen tidak ditentukan.
UNSTRUCTURED Dokumen teks: File PDF, teks biasa, Word, PowerPoint, dan Excel, secara opsional dengan metadata.
VIDEO Dokumen video, secara opsional dengan metadata.

ProcessingConfig

ProcessingConfig mengontrol cara Dokumen dalam DataStore diurai, disegmentasi, dan disematkan.

Representasi JSON 
{
  "videoProcessingConfig": {
    object (VideoProcessingConfig)
  },
  "unstructuredProcessingConfig": {
    object (UnstructuredProcessingConfig)
  }
}
Kolom
videoProcessingConfig

object (VideoProcessingConfig)

Opsional. Konfigurasi untuk pipeline penyerapan video. Berlaku jika documentType DataStore adalah VIDEO.

Jika tidak ditetapkan untuk DataStore VIDEO, pipeline akan ditetapkan secara default ke segmentasi jendela tetap dengan ukuran jendela 30 detik, dan audio dinonaktifkan selama pembuatan embedding per segmen.
unstructuredProcessingConfig

object (UnstructuredProcessingConfig)

Opsional. Konfigurasi untuk pipeline penyerapan dokumen tidak terstruktur. Berlaku jika documentType DataStore adalah UNSTRUCTURED.

Jika tidak ditetapkan untuk UNSTRUCTURED DataStore, pipeline akan ditetapkan secara default ke segmentasi potongan dengan chunkSize 500, penguraian digital, dan pembuatan embedding per segmen khusus teks.

VideoProcessingConfig

Mengonfigurasi pipeline penyerapan video yang diterapkan ke Dokumen yang diserap ke dalam DataStore ini. Setelan segmentasi dan penyematan dapat berkembang secara independen, tetapi tetap dikelompokkan dalam pesan ini.

Semua subkonfigurasi bersifat opsional. Subkonfigurasi yang dihilangkan akan kembali ke default platform yang didokumentasikan di kolom tersebut.

Representasi JSON 
{
  "segmentationConfig": {
    object (VideoSegmentationConfig)
  },
  "embeddingConfig": {
    object (VideoEmbeddingGenerationConfig)
  }
}
Kolom
segmentationConfig

object (VideoSegmentationConfig)

Opsional. Mengontrol cara video dibagi menjadi beberapa segmen sebelum disematkan.

Jika tidak disetel, setelan defaultnya adalah segmentasi jendela tetap dengan jendela 30 detik. Jika ditetapkan, mode segmentasi seperti fixedWindowConfig harus ditetapkan; konfigurasi kosong akan ditolak.
embeddingConfig

object (VideoEmbeddingGenerationConfig)

Opsional. Mengontrol cara pembuatan embedding multimodal per segmen.

VideoSegmentationConfig

Mengonfigurasi cara video dipecah menjadi beberapa segmen sebelum disematkan.

Representasi JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "fixedWindowConfig": {
    object (FixedWindowConfig)
  }
  // End of mutually exclusive fields.
}
Kolom
Wajib. Tepat satu mode segmentasi yang harus dipilih. Tindakan ini mengisolasi konfigurasi sehingga pengguna tidak dapat menetapkan kolom yang tidak berlaku untuk mode yang dipilih. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
fixedWindowConfig

object (FixedWindowConfig)

Segmentasi periode tetap (deterministik).
Akhir kolom yang saling eksklusif.

FixedWindowConfig

Mengonfigurasi segmentasi jendela tetap. Segmen dihasilkan sebagai periode deterministik yang tidak tumpang-tindih, masing-masing berdurasi segmentDuration.

Representasi JSON 
{
  "segmentDuration": string
}
Kolom
segmentDuration

string (Duration format)

Opsional. Menentukan ukuran jendela tetap untuk setiap segmen yang ditampilkan.

Jika tidak disetel, defaultnya adalah 30 detik. Jika ditetapkan secara eksplisit, harus lebih besar dari 5 detik dan kurang dari atau sama dengan 80 detik.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

VideoEmbeddingGenerationConfig

Mengonfigurasi cara embedding multimodal per segmen dibuat untuk modalitas video.

Representasi JSON 
{
  "audioMode": enum (AudioMode)
}
Kolom
audioMode

enum (AudioMode)

Opsional. Mengontrol apakah trek audio berkontribusi pada embedding. Setelan default-nya adalah DISABLED.

AudioMode

Menentukan cara memperlakukan trek audio video sumber saat membuat embedding per segmen.

Enum ini dibekukan; nilai baru tidak diharapkan.

Enum
AUDIO_MODE_UNSPECIFIED Tidak ditentukan. Diperlakukan sebagai DISABLED.
ENABLED Melakukan multipleks trek audio ke dalam embedding multimodal bersama dengan frame video. Meningkatkan perolehan untuk kueri yang bergantung pada konten lisan atau suara sekitar (misalnya, berita berbasis dialog, komentar olahraga), dengan mengorbankan ukuran token permintaan embedding yang lebih besar.
DISABLED Menghapus trek audio dan membuat embedding hanya dari frame visual. Default.

UnstructuredProcessingConfig

Konfigurasi untuk pipeline penyerapan dokumen tidak terstruktur yang diterapkan ke Dokumen yang diserap ke dalam DataStore ini. Setelan segmentasi dan penguraian dapat berkembang secara independen, tetapi tetap dikelompokkan dalam pesan ini.

Semua sub-konfigurasi bersifat opsional; sub-konfigurasi yang dihilangkan akan kembali ke default platform yang didokumentasikan di kolom tersebut.

Representasi JSON 
{
  "segmentationConfig": {
    object (UnstructuredSegmentationConfig)
  },
  "parsingConfig": {
    object (UnstructuredParsingConfig)
  },
  "embeddingConfig": {
    object (UnstructuredEmbeddingConfig)
  }
}
Kolom
segmentationConfig

object (UnstructuredSegmentationConfig)

Opsional. Mengontrol cara dokumen tidak terstruktur dibagi menjadi beberapa segmen sebelum penyematan.

Jika tidak ditetapkan, setelan defaultnya adalah segmentasi potongan dengan chunkSize 500. Jika ditetapkan, tepatnya salah satu dari chunkSegmentationConfig atau pageSegmentationConfig harus ditetapkan; konfigurasi kosong akan ditolak.
parsingConfig

object (UnstructuredParsingConfig)

Opsional. Konfigurasi penguraian, yang diterapkan ke semua jenis file untuk penguraian dokumen tidak terstruktur. File teks biasa (.txt) selalu diuraikan secara digital.

Jika tidak ditetapkan, setelan defaultnya adalah penguraian digital (ekstraksi teks native), atau penguraian berbasis tata letak jika embeddingConfig.mode adalah MULTIMODAL. Jika ditetapkan, tepatnya salah satu dari digitalParsingConfig atau layoutParsingConfig harus ditetapkan; konfigurasi kosong akan ditolak.
embeddingConfig

object (UnstructuredEmbeddingConfig)

Opsional. Mengontrol cara pembuatan embedding per segmen.

UnstructuredSegmentationConfig

Mengonfigurasi cara dokumen tidak terstruktur dipecah menjadi beberapa segmen sebelum penyematan.

Representasi JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "chunkSegmentationConfig": {
    object (ChunkSegmentationConfig)
  },
  "pageSegmentationConfig": {
    object (PageSegmentationConfig)
  }
  // End of mutually exclusive fields.
}
Kolom
Wajib. Tepat satu mode segmentasi yang harus dipilih. Tindakan ini mengisolasi konfigurasi sehingga pengguna tidak dapat menetapkan kolom yang tidak berlaku untuk mode yang dipilih. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
chunkSegmentationConfig

object (ChunkSegmentationConfig)

Segmentasi tingkat potongan.
pageSegmentationConfig

object (PageSegmentationConfig)

Segmentasi tingkat halaman.
Akhir kolom yang saling eksklusif.

ChunkSegmentationConfig

Konfigurasi segmentasi potongan untuk dokumen tidak terstruktur. Segmen dibuat sebagai potongan semantik (misalnya, per paragraf).

Representasi JSON 
{
  "chunkSize": integer,
  "includeAncestorHeadings": boolean
}
Kolom
chunkSize

integer

Opsional. Batas ukuran token untuk setiap potongan.

Nilai yang didukung: 100-500 (inklusif). Jika tidak disetel, nilai defaultnya adalah 500.
includeAncestorHeadings

boolean

Opsional. Apakah setiap potongan juga menyertakan judul bagian tempatnya berada, sehingga potongan yang diambil dari tengah bagian tetap mempertahankan konteksnya.

Judul hanya dideteksi oleh penguraian tata letak (layoutParsingConfig). Dengan penguraian digital, dan untuk file teks biasa, setelan ini tidak berpengaruh.

Jika tidak ditetapkan, setelan defaultnya adalah false.

PageSegmentationConfig

Jenis ini tidak memiliki kolom.

Konfigurasi segmentasi halaman untuk dokumen tidak terstruktur. Segmen dibuat di tingkat halaman.

Gunakan dengan penguraian digital. Dengan layoutParsingConfig, file PDF gagal diimpor, dan file Word, PowerPoint, serta Excel akan dibagi menjadi beberapa bagian.

UnstructuredParsingConfig

Konfigurasi terkait yang diterapkan ke jenis parser dokumen tidak terstruktur tertentu.

Representasi JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "digitalParsingConfig": {
    object (DigitalParsingConfig)
  },
  "layoutParsingConfig": {
    object (LayoutParsingConfig)
  }
  // End of mutually exclusive fields.
}
Kolom
Wajib. Tepat satu mode penguraian yang harus dipilih. Tindakan ini mengisolasi konfigurasi sehingga pengguna tidak dapat menetapkan kolom yang tidak berlaku untuk mode yang dipilih. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
digitalParsingConfig

object (DigitalParsingConfig)

Penguraian digital (ekstraksi teks native).
layoutParsingConfig

object (LayoutParsingConfig)

Penguraian berbasis tata letak.
Akhir kolom yang saling eksklusif.

DigitalParsingConfig

Jenis ini tidak memiliki kolom.

Konfigurasi penguraian digital untuk dokumen tidak terstruktur. Mengekstrak teks yang disimpan dalam file, tanpa OCR atau deteksi tata letak: teks yang hanya muncul dalam gambar tidak akan diekstrak, dan judul serta tabel tidak akan terdeteksi.

LayoutParsingConfig

Jenis ini tidak memiliki kolom.

Konfigurasi penguraian tata letak untuk dokumen tidak terstruktur. Mendeteksi struktur dokumen, seperti judul dan tabel, serta menjalankan OCR pada file PDF. Diperlukan agar includeAncestorHeadings dapat diterapkan, dan untuk embedding MULTIMODAL.

UnstructuredEmbeddingConfig

Mengonfigurasi cara embedding per segmen dibuat untuk modalitas dokumen tidak terstruktur.

Representasi JSON 
{
  "mode": enum (EmbeddingMode)
}
Kolom
mode

enum (EmbeddingMode)

Opsional. Mengontrol dari mana embedding segmen dihitung. Nilai defaultnya adalah TEXT.

EmbeddingMode

Embedding segmen dihitung dari apa.

Enum
EMBEDDING_MODE_UNSPECIFIED Tidak ditentukan. Diperlakukan sebagai TEXT.
TEXT Hanya teks. Gambar yang diekstrak dari dokumen tidak berkontribusi pada embedding. Default.

Negara bagian/Provinsi

Status DataStore.

Enum
STATE_UNSPECIFIED Nilai default. Nilai ini digunakan jika status dihilangkan.
CREATING DataStore sedang dibuat.
ACTIVE DataStore siap digunakan.
DELETING DataStore sedang dihapus.

DocumentMetadataSchema

Skema untuk metadata yang ditentukan pengguna pada Dokumen di DataStore.

Representasi JSON 
{
  "schema": {
    object
  }
}
Kolom
schema

object (Struct format)

Opsional. Skema JSON untuk metadata Dokumen. Skema akan divalidasi terhadap JSON Schema Draft 7.

Nama properti hanya boleh berisi huruf, angka, _, dan -, serta tidak boleh diawali dengan google dalam huruf apa pun; awalan tersebut dicadangkan. Kata kunci additionalProperties tidak didukung dalam properties.

Metode

create

 Membuat DataStore baru di project dan lokasi tertentu.

delete

 Menghapus satu DataStore.

get

 Mendapatkan detail satu DataStore.

importDocuments

 Memulai Operasi yang Berjalan Lama untuk mengimpor Dokumen ke DataStore.

list

 Mencantumkan DataStore di project dan lokasi tertentu.

patch

 Memperbarui parameter satu DataStore.

purgeDocuments

 Memulai Operasi yang Berjalan Lama untuk menghapus Dokumen dari DataStore.