Menelusuri dokumen di penyimpanan data

Pipeline penyerapan terkelola mengimpor dokumen dari penyimpanan data ke Agent Retrieval ke dalam Objek Data dan Koleksi yang dapat Anda telusuri dengan kueri teks, dan secara otomatis menangani penguraian, segmentasi, embedding, dan pengindeksan untuk Anda.

Format dokumen yang didukung

Tabel berikut mencantumkan format file dokumen dan ekstensi file yang didukung.

Jenis dokumen Ekstensi file
PDF .pdf
Teks Biasa .txt
Microsoft Word .docx
Microsoft Excel .xlsx
Microsoft Excel Berkemampuan Makro .xlsm (skrip dan makro diabaikan)
Microsoft PowerPoint .pptx

Prasyarat

Sebelum memulai, Anda memerlukan:

Contoh

Contoh di halaman ini dibuat berdasarkan file contoh berikut.

curl

PROJECT=acme-prod
LOCATION=us-east4
BASE=https://vectorsearch.googleapis.com/v1alpha
INGEST=${BASE}/projects/${PROJECT}/locations/${LOCATION}
AUTH="Authorization: Bearer $(gcloud auth print-access-token)"

Python

import time
import google.auth
from google.auth.transport.requests import AuthorizedSession

PROJECT = "acme-prod"          # Replace with your project ID
LOCATION = "us-east4"          # Replace with your region

credentials, _ = google.auth.default(
    scopes=["https://www.googleapis.com/auth/cloud-platform"]
)
session = AuthorizedSession(credentials)

BASE = "https://vectorsearch.googleapis.com/v1alpha"
INGEST = BASE + "/projects/" + PROJECT + "/locations/" + LOCATION

def wait(operation, poll_seconds=10):
    """Poll a long-running operation until it finishes, then return it."""
    name = operation["name"]
    while True:
        op = session.get(BASE + "/" + name).json()
        if op.get("done"):
            if "error" in op:
                raise RuntimeError(op["error"])
            return op
        meta = op.get("metadata", {})
        print("in progress:", meta)
        time.sleep(poll_seconds)

Pipeline penyerapan terkelola

Pipeline penyerapan terkelola mengimpor dokumen dari penyimpanan data Anda ke Agent Retrieval dan melakukan sebagian besar pekerjaan menyiapkan Objek Data dan Koleksi untuk Anda.

Anda hanya perlu:

  1. Tempatkan file Anda.

  2. Membuat penyimpanan data.

  3. Impor file Anda.

  4. Telusuri file Anda dengan kueri teks.

1. Menyiapkan file Anda

Buat bucket dan tambahkan file yang ingin Anda telusuri. Anda tidak perlu membuat manifes.

Penyerapan terkelola dokumen:

  • Melewati dokumen yang berukuran lebih dari 200 MB.

  • Mengabaikan makro dan skrip dalam dokumen Microsoft Excel dengan kemampuan makro (.xlsm).

  • Hanya mengimpor 100.000 dokumen sekaligus.

Anda juga dapat melakukan staging JSONL yang menentukan metadata untuk file Anda. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata untuk file Anda.

2. Membuat penyimpanan data

Setelah melakukan staging file yang ingin ditelusuri, Anda perlu membuat penyimpanan data. Penyimpanan data menyediakan sumber untuk pipeline penyerapan terkelola dan konfigurasi yang menentukan cara file Anda diserap.

Penyerapan terkelola hanya tersedia untuk penyimpanan data yang berada di region us-east4 atau europe-west4.

Untuk membuat penyimpanan data, buat permintaan POST ke dataStores API dan berikan parameter berikut:

  • data_store_id: ID untuk penyimpanan data yang sedang dibuat. Nama ini harus diawali dengan huruf kecil, diakhiri dengan huruf kecil atau angka, hanya berisi huruf kecil, angka, dan tanda hubung, serta memiliki panjang antara 1 hingga 63 karakter.

Payload JSON berisi setelan konfigurasi JSON yang digunakan penyerapan terkelola untuk membuat penyimpanan data dan memproses dokumen yang Anda siapkan.

Payload JSON harus menyertakan properti tingkat atas document_type. Ini menentukan jenis file yang akan diimpor dari penyimpanan data. Nilai yang valid adalah:

  • UNSTRUCTURED: Penyimpanan data berisi dokumen. Lihat Format dokumen yang didukung untuk mengetahui daftar format yang didukung.

  • VIDEO: Penyimpanan data berisi video.

Properti berikut bersifat opsional:

  • display_name: (STRING) Nama tampilan penyimpanan data. Ukuran maksimumnya adalah 1.024 byte. Nilai defaultnya adalah string kosong.

  • description: (STRING) Deskripsi penyimpanan data. Ukuran maksimumnya adalah 1.024 byte. Nilai defaultnya adalah string kosong.

  • labels: (array STRING) Array key-value pair. Untuk mengetahui informasi selengkapnya, buka Mengatur resource menggunakan label. Defaultnya adalah array kosong.

  • processing_config: (OBJECT): Konfigurasi untuk cara penyerapan terkelola memproses data di penyimpanan data. Hal ini dapat diperbarui dengan permintaan PATCH. Untuk setelan default jika dihilangkan, lihat Setelan opsional untuk penyimpanan data dokumen.

  • document_metadata_schema: (OBJECT): Skema metadata untuk metadata yang terkait dengan dokumen di penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan skema metadata. Nilai defaultnya adalah objek kosong (tanpa skema metadata).

Setelan opsional untuk file dokumen

Setelan opsional berikut tersedia untuk penyimpanan data dokumen:

  • processing_config.unstructured_processing_config.segmentation_config: (OBJECT) Konfigurasi penyerapan untuk cara menyegmentasikan dokumen (penelusuran dilakukan per segmen, bukan dokumen). Untuk mengetahui informasi selengkapnya, lihat Segmentasi dokumen. Objek kosong akan menyebabkan permintaan ditolak dengan status INVALID_ARGUMENT. Jika diberikan, parameter ini harus menyertakan salah satu dari hal berikut:
    • page_segmentation_config: (OBJECT) Objek ini tidak memiliki properti.
    • chunk_segmentation_config: (OBJECT) Memiliki properti berikut:
    • chunk_size: (INTEGER) Jumlah maksimum token dalam segmen. Nilai minimum adalah 300 dan nilai maksimum adalah 500. Jumlah default-nya adalah 500.
    • include_ancestor_headings: (BOOL) Menambahkan rangkaian judul bagian ke setiap potongan untuk konteks. Nilai defaultnya adalah false.
  • processing_config.unstructured_processing_config.parsing_config: (OBJECT) Konfigurasi penyerapan untuk cara mengurai dokumen. Untuk mengetahui informasi selengkapnya, lihat Penguraian dokumen. Objek kosong akan menyebabkan permintaan ditolak dengan status INVALID_ARGUMENT. Jika diberikan, parameter ini harus menyertakan salah satu dari hal berikut:
    • layout_parsing_config: (OBJECT) Penguraian tata letak akan digunakan. Objek ini tidak memiliki properti.
    • digital_parsing_config: (OBJECT) Penguraian digital akan digunakan. Objek ini tidak memiliki properti.
  • processing_config.unstructured_processing_config.embedding_config.mode: (STRING) Mode embedding yang akan digunakan. Dapat berupa:

    • TEXT: Hanya teks yang diekstrak yang disematkan. Gambar diabaikan. Nilai defaultnya adalah TEXT.

Anda juga dapat menambahkan metadata ke penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata untuk file Anda.

Contoh

Contoh berikut menunjukkan cara membuat penyimpanan data dokumen.

curl

  curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
  "${INGEST}/dataStores?data_store_id=acme-financials" \
  -d '{
    "display_name": "Acme financial reports",
    "document_type": "UNSTRUCTURED",
    "processing_config": {
      "unstructured_processing_config": {
        "segmentation_config": {
          "chunk_segmentation_config": {
            "chunk_size": 300,
            "include_ancestor_headings": true
          }
        },
        "parsing_config": {
          "layout_parsing_config": {}
        }
      }
    }
  }'

Python

  op = session.post(
    INGEST + "/dataStores",
    params={"data_store_id": "acme-financials"},
    json={
        "display_name": "Acme financial reports",
        "document_type": "UNSTRUCTURED",
        "processing_config": {
            "unstructured_processing_config": {
                "segmentation_config": {
                    "chunk_segmentation_config": {
                        "chunk_size": 300,
                        "include_ancestor_headings": True,
                    }
                },
                "parsing_config": {"layout_parsing_config": {}},
            }
        },
    },
).json()

wait(op)

Contoh respons

  "name": "projects/acme-prod/locations/us-east4/dataStores/acme-financials",
  "documentType": "UNSTRUCTURED",
  "state": "ACTIVE",
  "collectionName": "projects/acme-prod/locations/us-east4/collections/google-acme-financials"
}

Menambahkan metadata untuk file Anda

Anda dapat menentukan properti metadata untuk file yang ingin diimpor oleh penyerapan terkelola. Properti ini dapat diambil dari Objek Data terkait yang dibuat oleh pipeline dan berguna untuk memfilter hasil penelusuran.

Untuk menentukan metadata:

  1. Buat file JSONL. Ekstensi harus berupa json atau jsonl.

  2. Tambahkan objek JSON ke baris baru untuk setiap file yang ingin Anda impor dan sertakan properti berikut:

    • name: Nama file di penyimpanan data. Segmen terakhir dari nama tersebut digunakan sebagai ID untuk Objek Data yang dibuat untuk file.

    • content.gcsUri: URI dokumen di Cloud Storage.

    • metadata.value: Metadata dokumen. Properti metadata ditentukan dalam skema yang Anda tentukan saat membuat penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan skema metadata.

Contoh berikut menunjukkan JSONL metadata dengan properti metadata category, year, tags, dan issuer.

{"name":"projects/acme-prod/locations/us-east4/dataStores/acme-financials/documents/q3-earnings","content":{"gcsUri":"gs://acme-docs/reports/2025-q3-earnings.pdf"},"metadata":{"value":{"category":"earnings","year":2025,"tags":["revenue"],"issuer":{"country":"US"}}}}
{"name":"projects/acme-prod/locations/us-east4/dataStores/acme-financials/documents/covenants","content":{"gcsUri":"gs://acme-docs/reports/covenant-summary.docx"},"metadata":{"value":{"category":"covenant","year":2024,"tags":["credit","debt"]}}}

Properti harus cocok dengan skema yang Anda berikan saat membuat penyimpanan data.

Anda akan menggunakan file JSONL yang Anda buat sebagai URI input saat mengimpor file.

Menambahkan skema metadata

Anda dapat memberikan skema metadata di properti document_metadata_schema tingkat teratas dalam konfigurasi JSON penyimpanan data. Tindakan ini menentukan kontrak untuk metadata yang dapat Anda kaitkan dengan dokumen, yang dapat diambil per dokumen atau digunakan untuk memfilter hasil penelusuran.

Properti metadata harus cocok dengan skema yang Anda berikan saat membuat penyimpanan data. Skema ini sangat mirip dengan JSON Schema Draft 7. Jenis data berikut didukung:

  • string
  • number
  • integer
  • boolean
  • object (termasuk properti)
  • array

Nama properti hanya boleh menggunakan huruf, angka, garis bawah (_), dan tanda hubung (-), serta tidak boleh diawali dengan google (huruf besar/kecil). Awalan ini dicadangkan untuk kolom yang ditulis layanan.

Anda dapat menambahkan properti nanti dengan permintaan PATCH. Properti dalam skema tidak dapat dihapus atau jenis datanya diubah. Untuk mengetahui informasi selengkapnya, lihat Memperbarui konfigurasi pemrosesan.

Contoh berikut menentukan skema metadata dengan properti metadata category, year, tags, dan issuer.

"document_metadata_schema": {
  "schema": {
    "type": "object",
    "properties": {
      "category": {"type": "string"},
      "year":     {"type": "integer"},
      "tags":     {"type": "array", "items": {"type": "string"}},
      "issuer":   {"type": "object", "properties": {"country": {"type": "string"}}}
    }
  }
}

Memperbarui konfigurasi pemrosesan

Setelah penyimpanan data dibuat, Anda dapat memperbarui konfigurasi pemrosesan (processing_config) dengan permintaan PATCH.

Properti berikut dapat diupdate:

  • display_name
  • description
  • labels
  • document_metadata_schema (hanya properti tambahan yang dapat ditambahkan)

Properti yang sedang diperbarui harus disertakan dalam parameter kueri update_mask.

Contoh berikut menunjukkan cara memperbarui properti display_name dan document_metadata_schema dari konfigurasi pemrosesan.

curl

curl -X PATCH -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme-financials?update_mask=display_name,document_metadata_schema" \
-d '{"display_name": "Acme reports",
"document_metadata_schema": {"schema": {"type": "object", "properties": {
"category": {"type": "string"}, "year": {"type": "integer"},
"region": {"type": "string"}}}}}'

Segmentasi dokumen

Saat membuat penyimpanan data, Anda dapat menentukan cara pipeline penyerapan terkelola mencoba menyegmentasikan dokumen Anda:

  • Segmentasi halaman (processing_config.segmentation_config.page_segmentation_config): Penyerapan terkelola mencoba menyegmentasikan dokumen berdasarkan halaman.

  • Segmentasi potongan (processing_config.segmentation_config.chunk_segmentation_config): Penyerapan terkelola menyegmentasikan dokumen menjadi potongan-potongan terpisah.

Jika tidak ditentukan, defaultnya adalah segmentasi potongan. Jika keduanya ditentukan, permintaan akan gagal.

Segmentasi halaman

Menentukan segmentasi halaman (processing_config.segmentation_config.page_segmentation_config) akan menginstruksikan pipeline penyerapan terkelola untuk menyegmentasikan dokumen berdasarkan halaman atau rentang halaman. Jika dokumen tidak berisi informasi halaman, seperti file teks, dokumen tersebut akan disegmentasikan menjadi halaman dengan ukuran hingga 2,5 MB.

Segmentasi halaman dioptimalkan untuk pengambilan dokumen, seperti aplikasi yang menampilkan PDF atau dokumen Word dengan setiap hasil penelusuran. Untuk mengetahui informasi selengkapnya, lihat Membuat potongan dokumen untuk RAG.

Segmentasi potongan

Menentukan segmentasi potongan (processing_config.segmentation_config.chunk_segmentation_config) akan menginstruksikan pipeline penyerapan terkelola untuk menyegmentasikan dokumen menjadi potongan-potongan yang berisi hingga processing_config.segmentation_config.chunk_segmentation_config.chunk_size token. Secara default, ukuran potongan adalah 500 token (ukuran potongan maksimum). Ukuran potongan minimum adalah 300.

Potongan besar:

  • Membawa lebih banyak konteks.
  • Buat lebih sedikit segmen.
  • Dapat mencakup beberapa topik yang tidak cocok dengan kueri, sehingga berpotensi menyembunyikan informasi yang relevan.

Bagian kecil:

  • Menyampaikan teks yang lebih pendek.
  • Lebih cenderung hanya berisi informasi yang cocok dengan kueri.
  • Memiliki lebih sedikit konteks, sehingga berpotensi membagi informasi yang relevan menjadi beberapa segmen.

Untuk sebagian besar konten panjang, ukuran potongan 500 token berfungsi dengan baik. Ukuran potongan yang lebih kecil lebih baik untuk konten singkat berbasis fakta atau mengambil bagian teks yang ringkas dan tepat.

URI input

Properti JSON gcs_source.input_uris adalah array string yang menentukan input untuk permintaan penyerapan terkelola, seperti file yang akan diimpor dari penyimpanan data Anda atau yang akan dihapus permanen dari Agent Retrieval.

Jika gcs_source.source_format tidak ditentukan atau ditetapkan ke SOURCE_FORMAT_UNSPECIFIED (default), URI input dapat berupa:

  • Satu atau beberapa URI tertentu.
  • Satu atau beberapa pola karakter pengganti.
  • Satu atau beberapa file teks.
    • ID dokumen ditentukan satu per baris. Baris kosong akan diabaikan dan spasi kosong akan dipangkas dari setiap baris.

Jika gcs_source.source_format ditetapkan ke SOURCE_FORMAT_DOCUMENT_JSON, URI input ditentukan dalam format JSONL. Lihat Menambahkan metadata ke dokumen untuk mengetahui detail selengkapnya.

Karakter pengganti

Pola Mencocokkan dengan
gs://acme/files/hello_world.xyz File yang ditentukan.
gs://acme/files/* Setiap file yang cocok dengan document_type yang ditentukan langsung di gs://acme/files/.
gs://acme/files/*.xyz Setiap file dengan ekstensi .xyz.

Karakter pengganti tidak bersifat rekursif. Misalnya, menentukan gs://acme/files/* tidak akan mengimpor file di bagian gs://acme/files/2025/. Karakter pengganti ** ditafsirkan sama dengan *. Anda dapat meratakan hierarki atau meneruskan satu pola per level untuk mengatasi masalah ini.

Jika pola tidak cocok, permintaan akan gagal. Misalnya, jika Anda meneruskan empat URI dan salah satunya berisi kesalahan ketik, pengimporan tidak akan dilanjutkan dengan tiga URI lainnya. Pastikan setiap URI sudah benar sebelum membuat permintaan impor.

3. Mengimpor file Anda

Tahap berikutnya dalam pipeline adalah memanggil importDocuments dengan URI file di penyimpanan data yang ingin Anda masukkan.

Contoh berikut menunjukkan cara mengimpor dokumen.

curl

curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
  "${INGEST}/dataStores/acme-financials:importDocuments" \
  -d '{
    "gcs_source": {
      "input_uris": ["gs://acme-docs/reports/*"]
    },
    "import_output_config": {
      "error_gcs_prefix": "gs://acme-docs/import-errors/"
    }
  }'

Python

op = session.post(
    INGEST + "/dataStores/acme-financials:importDocuments",
    json={
        "gcs_source": {"input_uris": ["gs://acme-docs/reports/*"]},
        "import_output_config": {
            "error_gcs_prefix": "gs://acme-docs/import-errors/"
        },
    },
).json()

result = wait(op)
print(result["metadata"]["successCount"], "imported")
# failureCount is not set on import metadata; check error files instead.

Anda dapat mengimpornya dengan metadata jika ingin. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata ke dokumen.

Contoh berikut menunjukkan cara mengimpor file JSONL metadata.

curl

gcloud storage cp docs.jsonl gs://acme-docs/manifests/docs.jsonl
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
  "${INGEST}/dataStores/acme-financials:importDocuments" \
  -d '{
    "gcs_source": {
      "input_uris": ["gs://acme-docs/manifests/docs.jsonl"],
      "source_format": "SOURCE_FORMAT_DOCUMENT_JSON"
    },
    "import_output_config": {
      "error_gcs_prefix": "gs://acme-docs/import-errors-json/"
    }
  }'

Python

op = session.post(
    INGEST + "/dataStores/acme-financials:importDocuments",
    json={
        "gcs_source": {
            "input_uris": ["gs://acme-docs/manifests/docs.jsonl"],
            "source_format": "SOURCE_FORMAT_DOCUMENT_JSON",
        },
        "import_output_config": {
            "error_gcs_prefix": "gs://acme-docs/import-errors-json/"
        },
    },
).json()

result = wait(op)

Penyerapan terkelola Koleksi membuat

Saat Anda membuat penyimpanan data, penyerapan terkelola akan membuat Koleksi di Agent Retrieval menggunakan API Agent Retrieval publik dan dapat digunakan seperti Koleksi Agent Retrieval lainnya. Koleksi akan kosong hingga operasi impor selesai.

Untuk mengetahui informasi tentang cara mengkueri Koleksi, lihat Menelusuri dokumen Anda.

Contoh berikut menunjukkan cara mendapatkan nama Koleksi dari penyimpanan data.

curl

curl -H "${AUTH}" "${INGEST}/dataStores/acme-financials"

Python

data_store = session.get(INGEST + "/dataStores/acme-financials").json()
collection_name = data_store["collectionName"]
print(collection_name)

Melacak progres impor

Untuk melacak progres tugas impor, lakukan polling operasi, bukan memeriksa status bucket. Kolom successCount dalam respons memberikan jumlah file yang telah berhasil diimpor.

Anda dapat memperbaiki error dan membuat permintaan impor lain untuk mencoba lagi. Untuk mengetahui informasi selengkapnya, lihat Menjalankan ulang operasi impor.

Contoh berikut menunjukkan cara melakukan polling operasi.

curl

curl -H "${AUTH}" "${BASE}/{OPERATION_NAME}"

Python

# To check once, without blocking, using the op returned by the import call:
status = session.get(BASE + "/" + op["name"]).json()
print(status.get("done"), status.get("metadata", {}))

Contoh berikut menunjukkan cara mendapatkan daftar file yang diimpor setelah operasi impor selesai.

curl

curl -H "${AUTH}" "${INGEST}/dataStores/acme-financials/documents"

Python

docs = session.get(INGEST + "/dataStores/acme-financials/documents").json()
print(len(docs.get("documents", [])))

Menjalankan ulang operasi impor

Menjalankan operasi impor tambahan pada bucket yang sama hanya akan memproses file yang telah diubah atau ditambahkan. File yang telah diimpor dan tidak diubah akan dilewati.

Koleksi yang dibuat oleh penyerapan terkelola untuk Anda sama seperti Koleksi Agent Retrieval biasa. Anda dapat membuat kueri dan memfilter hasilnya, memberi peringkat ulang, mengindeks, dan lainnya.

Contoh

Contoh berikut menunjukkan cara menelusuri konten file yang diimpor dari penyimpanan data.

curl

COLLECTION=projects/${PROJECT}/locations/${LOCATION}/collections/google-acme-financials

curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
  "https://vectorsearch.googleapis.com/v1/${COLLECTION}/dataObjects:search" \
  -d '{
    "semantic_search": {
      "search_text": "what is the total revenue?",
      "search_field": "multimodal_embedding",
      "task_type": "RETRIEVAL_QUERY",
      "top_k": 10,
      "output_fields": {
        "data_fields": ["google_document_id", "google_customer_uri", "google_unstructured_details.content_snippet"]
      }
    }
  }'

Python

from google.cloud import vectorsearch_v1

# Create the client
search_client = vectorsearch_v1.DataObjectSearchServiceClient()

# Initialize request argument(s)
semantic_search = vectorsearch_v1.SemanticSearch(
    search_text="what is the total revenue?",
    search_field="multimodal_embedding",
    task_type=vectorsearch_v1.EmbeddingTaskType.RETRIEVAL_QUERY,
    top_k=10,
    output_fields=vectorsearch_v1.OutputFields(
        data_fields=["google_document_id", "google_customer_uri", "google_unstructured_details.content_snippet"],
    ),
)
request = vectorsearch_v1.SearchDataObjectsRequest(
    parent="projects/PROJECT_ID/locations/LOCATION/collections/COLLECTION_ID",
    semantic_search=semantic_search,
)

# Make the request
response = search_client.search_data_objects(request=request)

# Handle the response
for hit in response.results:
    data = dict(hit.data_object.data)
    print(hit.distance, data["google_customer_uri"][0])
    print(data["google_unstructured_details"]["content_snippet"][:200])

Hasil penelusuran

Setiap hasil penelusuran berisi properti berikut:

Properti Jenis Deskripsi
google_document_id string Dokumen asal segmen.
google_customer_uri string URI gs:// asli Anda untuk kutipan.
google_modality string UNSTRUCTURED atau VIDEO.
google_unstructured_details.content_snippet string Teks segmen.
google_unstructured_details.start_page/end_page integer Rentang halaman potongan. Hanya diisi dengan segmentasi halaman, yang memerlukan penguraian digital; kosong untuk segmentasi potongan.
google_video_details.start_offset_nanos/end_offset_nanos integer Rentang waktu segmen video.
multimodal_embedding Vektor, padat, 768 dimensi Embedding potongan dari gemini-embedding-2.
metadata objek Disalin dari dokumen ke setiap segmennya, tanpa awalan dan bertingkat seperti yang dideklarasikan (seperti category atau issuer.country).

Properti start_page, end_page, start_offset_nanos, dan end_offset_nanos selalu ditampilkan, terlepas dari jenis dokumen yang ditentukan.

Untuk dokumen teks, start_page dan end_page hanya diisi jika segmentasi halaman ditentukan saat penyimpanan data dibuat.

Properti di metadata sesuai dengan skema JSON yang disediakan selama impor.

Menghapus permanen file

Untuk menghapus permanen file dari penyimpanan data, upload satu atau beberapa file teks ke Cloud Storage dengan setiap baris berisi ID file yang ingin Anda hapus permanen. Teruskan URI file teks ke purgeDocuments.

Respons tidak menunjukkan file mana yang dihapus permanen. Untuk memverifikasi bahwa file telah dihapus permanen, panggil GetDocument. Respons akan menampilkan 404.

Tetapkan force ke false untuk menguji operasi penghapusan terlebih dahulu. Tindakan ini akan mencatat file yang akan dihapus ke error_gcs_prefix yang Anda tentukan.

Setelah file dihapus permanen, Anda dapat menghapus penyimpanan data yang berisi file yang dihapus permanen.

Contoh berikut menunjukkan cara menghapus permanen file.

curl

curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme:purgeDocuments" \
-d '{
  "gcs_source": {
    "input_uris": ["gs://acme/purge/purge-ids.txt"]
  },
  "purge_output_config": {
    "error_gcs_prefix": "gs://acme/purge-force-errors/"
  },
  "force": true
}'

Python

op = session.post(
  INGEST + "/dataStores/acme:purgeDocuments",
  json={
      "gcs_source": {
            "input_uris": ["gs://acme/purge/purge-ids.txt"],
        },
        "purge_output_config": {
            "error_gcs_prefix": "gs://acme/purge-force-errors/",
        },
        "force": True,
    },
).json()

result = wait(op)

Menghapus penyimpanan data

Kirim permintaan DELETE dengan URI penyimpanan data untuk menghapus penyimpanan data. Jika force ditetapkan ke true dan penyimpanan data masih berisi file, permintaan akan gagal dengan status FAILED_PRECONDITION dan pesan DataStore deletion is not allowed because it still contains documents. Set force=true to delete the DataStore and all its Documents..

Tetapkan backing_collection_deleted ke true untuk menghapus Koleksi dan Objek Data yang dibuat setelah mengimpor penyimpanan data. Jika hal ini tidak dilakukan, Koleksi dan Objek Data akan tetap ada dan terus menggunakan kuota, dan setiap permintaan untuk membuat penyimpanan data baru dengan ID yang sama akan gagal dengan pesan FAILED_PRECONDITION (BACKING_COLLECTION_ALREADY_EXISTS).

Saat permintaan penghapusan berjalan, permintaan get akan menampilkan status DELETING dan error 404 setelah selesai.

Contoh berikut menunjukkan cara menghapus penyimpanan data.

curl

curl -X DELETE -H "${AUTH}" \
  "${INGEST}/dataStores/acme-financials?force=true&backing_collection_deleted=true"

Python

op = session.delete(
  INGEST + "/dataStores/acme-financials",
  params={"force": "true", "backing_collection_deleted": "true"},
).json()

result = wait(op)