Pipeline penyerapan terkelola mengimpor dokumen dari penyimpanan data ke Agent Retrieval ke dalam Objek Data dan Koleksi yang dapat Anda telusuri dengan kueri teks, dan secara otomatis menangani penguraian, segmentasi, embedding, dan pengindeksan untuk Anda.
Format dokumen yang didukung
Tabel berikut mencantumkan format file dokumen dan ekstensi file yang didukung.
| Jenis dokumen | Ekstensi file |
|---|---|
.pdf |
|
| Teks Biasa | .txt |
| Microsoft Word | .docx |
| Microsoft Excel | .xlsx |
| Microsoft Excel Berkemampuan Makro | .xlsm (skrip dan makro diabaikan) |
| Microsoft PowerPoint | .pptx |
Prasyarat
Sebelum memulai, Anda memerlukan:
Project Google Cloud . Untuk mengetahui informasi tentang cara membuat project Google Cloud , lihat Menyiapkan project dan lingkungan pengembangan.
Bucket Cloud Storage yang berisi file yang ingin Anda telusuri.
Izin
roles/vectorsearch.serviceAgentyang diberikan kepada agen layananservice-PROJECT_NUMBER@gcp-sa-vectorsearch.iam.gserviceaccount.compada project bucket.
Contoh
Contoh di halaman ini dibuat berdasarkan file contoh berikut.
curl
PROJECT=acme-prod
LOCATION=us-east4
BASE=https://vectorsearch.googleapis.com/v1alpha
INGEST=${BASE}/projects/${PROJECT}/locations/${LOCATION}
AUTH="Authorization: Bearer $(gcloud auth print-access-token)"
Python
import time
import google.auth
from google.auth.transport.requests import AuthorizedSession
PROJECT = "acme-prod" # Replace with your project ID
LOCATION = "us-east4" # Replace with your region
credentials, _ = google.auth.default(
scopes=["https://www.googleapis.com/auth/cloud-platform"]
)
session = AuthorizedSession(credentials)
BASE = "https://vectorsearch.googleapis.com/v1alpha"
INGEST = BASE + "/projects/" + PROJECT + "/locations/" + LOCATION
def wait(operation, poll_seconds=10):
"""Poll a long-running operation until it finishes, then return it."""
name = operation["name"]
while True:
op = session.get(BASE + "/" + name).json()
if op.get("done"):
if "error" in op:
raise RuntimeError(op["error"])
return op
meta = op.get("metadata", {})
print("in progress:", meta)
time.sleep(poll_seconds)
Pipeline penyerapan terkelola
Pipeline penyerapan terkelola mengimpor dokumen dari penyimpanan data Anda ke Agent Retrieval dan melakukan sebagian besar pekerjaan menyiapkan Objek Data dan Koleksi untuk Anda.
Anda hanya perlu:
Telusuri file Anda dengan kueri teks.
1. Menyiapkan file Anda
Buat bucket dan tambahkan file yang ingin Anda telusuri. Anda tidak perlu membuat manifes.
Penyerapan terkelola dokumen:
Melewati dokumen yang berukuran lebih dari 200 MB.
Mengabaikan makro dan skrip dalam dokumen Microsoft Excel dengan kemampuan makro (
.xlsm).Hanya mengimpor 100.000 dokumen sekaligus.
Anda juga dapat melakukan staging JSONL yang menentukan metadata untuk file Anda. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata untuk file Anda.
2. Membuat penyimpanan data
Setelah melakukan staging file yang ingin ditelusuri, Anda perlu membuat penyimpanan data. Penyimpanan data menyediakan sumber untuk pipeline penyerapan terkelola dan konfigurasi yang menentukan cara file Anda diserap.
Penyerapan terkelola hanya tersedia untuk penyimpanan data yang berada di region us-east4
atau europe-west4.
Untuk membuat penyimpanan data, buat permintaan POST ke dataStores API dan
berikan parameter berikut:
data_store_id: ID untuk penyimpanan data yang sedang dibuat. Nama ini harus diawali dengan huruf kecil, diakhiri dengan huruf kecil atau angka, hanya berisi huruf kecil, angka, dan tanda hubung, serta memiliki panjang antara 1 hingga 63 karakter.
Payload JSON berisi setelan konfigurasi JSON yang digunakan penyerapan terkelola untuk membuat penyimpanan data dan memproses dokumen yang Anda siapkan.
Payload JSON harus menyertakan properti tingkat atas document_type. Ini menentukan jenis file yang akan diimpor dari penyimpanan data. Nilai yang valid adalah:
UNSTRUCTURED: Penyimpanan data berisi dokumen. Lihat Format dokumen yang didukung untuk mengetahui daftar format yang didukung.VIDEO: Penyimpanan data berisi video.
Properti berikut bersifat opsional:
display_name: (STRING) Nama tampilan penyimpanan data. Ukuran maksimumnya adalah 1.024 byte. Nilai defaultnya adalah string kosong.description: (STRING) Deskripsi penyimpanan data. Ukuran maksimumnya adalah 1.024 byte. Nilai defaultnya adalah string kosong.labels: (arraySTRING) Array key-value pair. Untuk mengetahui informasi selengkapnya, buka Mengatur resource menggunakan label. Defaultnya adalah array kosong.processing_config: (OBJECT): Konfigurasi untuk cara penyerapan terkelola memproses data di penyimpanan data. Hal ini dapat diperbarui dengan permintaanPATCH. Untuk setelan default jika dihilangkan, lihat Setelan opsional untuk penyimpanan data dokumen.document_metadata_schema: (OBJECT): Skema metadata untuk metadata yang terkait dengan dokumen di penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan skema metadata. Nilai defaultnya adalah objek kosong (tanpa skema metadata).
Setelan opsional untuk file dokumen
Setelan opsional berikut tersedia untuk penyimpanan data dokumen:
processing_config.unstructured_processing_config.segmentation_config: (OBJECT) Konfigurasi penyerapan untuk cara menyegmentasikan dokumen (penelusuran dilakukan per segmen, bukan dokumen). Untuk mengetahui informasi selengkapnya, lihat Segmentasi dokumen. Objek kosong akan menyebabkan permintaan ditolak dengan statusINVALID_ARGUMENT. Jika diberikan, parameter ini harus menyertakan salah satu dari hal berikut:page_segmentation_config: (OBJECT) Objek ini tidak memiliki properti.chunk_segmentation_config: (OBJECT) Memiliki properti berikut:chunk_size: (INTEGER) Jumlah maksimum token dalam segmen. Nilai minimum adalah 300 dan nilai maksimum adalah 500. Jumlah default-nya adalah 500.include_ancestor_headings: (BOOL) Menambahkan rangkaian judul bagian ke setiap potongan untuk konteks. Nilai defaultnya adalahfalse.
processing_config.unstructured_processing_config.parsing_config: (OBJECT) Konfigurasi penyerapan untuk cara mengurai dokumen. Untuk mengetahui informasi selengkapnya, lihat Penguraian dokumen. Objek kosong akan menyebabkan permintaan ditolak dengan statusINVALID_ARGUMENT. Jika diberikan, parameter ini harus menyertakan salah satu dari hal berikut:layout_parsing_config: (OBJECT) Penguraian tata letak akan digunakan. Objek ini tidak memiliki properti.digital_parsing_config: (OBJECT) Penguraian digital akan digunakan. Objek ini tidak memiliki properti.
processing_config.unstructured_processing_config.embedding_config.mode: (STRING) Mode embedding yang akan digunakan. Dapat berupa:TEXT: Hanya teks yang diekstrak yang disematkan. Gambar diabaikan. Nilai defaultnya adalahTEXT.
Anda juga dapat menambahkan metadata ke penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata untuk file Anda.
Contoh
Contoh berikut menunjukkan cara membuat penyimpanan data dokumen.
curl
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores?data_store_id=acme-financials" \
-d '{
"display_name": "Acme financial reports",
"document_type": "UNSTRUCTURED",
"processing_config": {
"unstructured_processing_config": {
"segmentation_config": {
"chunk_segmentation_config": {
"chunk_size": 300,
"include_ancestor_headings": true
}
},
"parsing_config": {
"layout_parsing_config": {}
}
}
}
}'
Python
op = session.post(
INGEST + "/dataStores",
params={"data_store_id": "acme-financials"},
json={
"display_name": "Acme financial reports",
"document_type": "UNSTRUCTURED",
"processing_config": {
"unstructured_processing_config": {
"segmentation_config": {
"chunk_segmentation_config": {
"chunk_size": 300,
"include_ancestor_headings": True,
}
},
"parsing_config": {"layout_parsing_config": {}},
}
},
},
).json()
wait(op)
Contoh respons
"name": "projects/acme-prod/locations/us-east4/dataStores/acme-financials",
"documentType": "UNSTRUCTURED",
"state": "ACTIVE",
"collectionName": "projects/acme-prod/locations/us-east4/collections/google-acme-financials"
}
Menambahkan metadata untuk file Anda
Anda dapat menentukan properti metadata untuk file yang ingin diimpor oleh penyerapan terkelola. Properti ini dapat diambil dari Objek Data terkait yang dibuat oleh pipeline dan berguna untuk memfilter hasil penelusuran.
Untuk menentukan metadata:
Buat file JSONL. Ekstensi harus berupa
jsonataujsonl.Tambahkan objek JSON ke baris baru untuk setiap file yang ingin Anda impor dan sertakan properti berikut:
name: Nama file di penyimpanan data. Segmen terakhir dari nama tersebut digunakan sebagai ID untuk Objek Data yang dibuat untuk file.content.gcsUri: URI dokumen di Cloud Storage.metadata.value: Metadata dokumen. Properti metadata ditentukan dalam skema yang Anda tentukan saat membuat penyimpanan data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan skema metadata.
Contoh berikut menunjukkan JSONL metadata dengan properti metadata category, year,
tags, dan issuer.
{"name":"projects/acme-prod/locations/us-east4/dataStores/acme-financials/documents/q3-earnings","content":{"gcsUri":"gs://acme-docs/reports/2025-q3-earnings.pdf"},"metadata":{"value":{"category":"earnings","year":2025,"tags":["revenue"],"issuer":{"country":"US"}}}}
{"name":"projects/acme-prod/locations/us-east4/dataStores/acme-financials/documents/covenants","content":{"gcsUri":"gs://acme-docs/reports/covenant-summary.docx"},"metadata":{"value":{"category":"covenant","year":2024,"tags":["credit","debt"]}}}
Properti harus cocok dengan skema yang Anda berikan saat membuat penyimpanan data.
Anda akan menggunakan file JSONL yang Anda buat sebagai URI input saat mengimpor file.
Menambahkan skema metadata
Anda dapat memberikan skema metadata di properti document_metadata_schema tingkat teratas dalam konfigurasi JSON penyimpanan data. Tindakan ini menentukan kontrak untuk
metadata yang dapat Anda kaitkan dengan dokumen, yang dapat diambil per
dokumen atau digunakan untuk memfilter hasil penelusuran.
Properti metadata harus cocok dengan skema yang Anda berikan saat membuat penyimpanan data. Skema ini sangat mirip dengan JSON Schema Draft 7. Jenis data berikut didukung:
stringnumberintegerbooleanobject(termasuk properti)array
Nama properti hanya boleh menggunakan huruf, angka, garis bawah (_), dan tanda hubung (-), serta tidak boleh diawali dengan google (huruf besar/kecil). Awalan ini dicadangkan
untuk kolom yang ditulis layanan.
Anda dapat menambahkan properti nanti dengan permintaan PATCH. Properti dalam skema tidak dapat dihapus atau jenis datanya diubah. Untuk mengetahui informasi selengkapnya,
lihat Memperbarui konfigurasi pemrosesan.
Contoh berikut menentukan skema metadata dengan properti metadata category, year,
tags, dan issuer.
"document_metadata_schema": {
"schema": {
"type": "object",
"properties": {
"category": {"type": "string"},
"year": {"type": "integer"},
"tags": {"type": "array", "items": {"type": "string"}},
"issuer": {"type": "object", "properties": {"country": {"type": "string"}}}
}
}
}
Memperbarui konfigurasi pemrosesan
Setelah penyimpanan data dibuat, Anda dapat memperbarui konfigurasi pemrosesan (processing_config) dengan permintaan PATCH.
Properti berikut dapat diupdate:
display_namedescriptionlabelsdocument_metadata_schema(hanya properti tambahan yang dapat ditambahkan)
Properti yang sedang diperbarui harus disertakan dalam parameter kueri update_mask.
Contoh berikut menunjukkan cara memperbarui properti display_name dan
document_metadata_schema dari konfigurasi pemrosesan.
curl
curl -X PATCH -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme-financials?update_mask=display_name,document_metadata_schema" \
-d '{"display_name": "Acme reports",
"document_metadata_schema": {"schema": {"type": "object", "properties": {
"category": {"type": "string"}, "year": {"type": "integer"},
"region": {"type": "string"}}}}}'
Segmentasi dokumen
Saat membuat penyimpanan data, Anda dapat menentukan cara pipeline penyerapan terkelola mencoba menyegmentasikan dokumen Anda:
Segmentasi halaman (
processing_config.segmentation_config.page_segmentation_config): Penyerapan terkelola mencoba menyegmentasikan dokumen berdasarkan halaman.Segmentasi potongan (
processing_config.segmentation_config.chunk_segmentation_config): Penyerapan terkelola menyegmentasikan dokumen menjadi potongan-potongan terpisah.
Jika tidak ditentukan, defaultnya adalah segmentasi potongan. Jika keduanya ditentukan, permintaan akan gagal.
Segmentasi halaman
Menentukan segmentasi halaman (processing_config.segmentation_config.page_segmentation_config)
akan menginstruksikan pipeline penyerapan terkelola untuk menyegmentasikan dokumen berdasarkan halaman atau
rentang halaman. Jika dokumen tidak berisi informasi halaman, seperti file teks, dokumen tersebut akan disegmentasikan menjadi halaman dengan ukuran hingga 2,5 MB.
Segmentasi halaman dioptimalkan untuk pengambilan dokumen, seperti aplikasi yang menampilkan PDF atau dokumen Word dengan setiap hasil penelusuran. Untuk mengetahui informasi selengkapnya, lihat Membuat potongan dokumen untuk RAG.
Segmentasi potongan
Menentukan segmentasi potongan (processing_config.segmentation_config.chunk_segmentation_config)
akan menginstruksikan pipeline penyerapan terkelola untuk menyegmentasikan dokumen menjadi potongan-potongan yang berisi hingga processing_config.segmentation_config.chunk_segmentation_config.chunk_size
token. Secara default, ukuran potongan adalah 500 token (ukuran potongan maksimum).
Ukuran potongan minimum adalah 300.
Potongan besar:
- Membawa lebih banyak konteks.
- Buat lebih sedikit segmen.
- Dapat mencakup beberapa topik yang tidak cocok dengan kueri, sehingga berpotensi menyembunyikan informasi yang relevan.
Bagian kecil:
- Menyampaikan teks yang lebih pendek.
- Lebih cenderung hanya berisi informasi yang cocok dengan kueri.
- Memiliki lebih sedikit konteks, sehingga berpotensi membagi informasi yang relevan menjadi beberapa segmen.
Untuk sebagian besar konten panjang, ukuran potongan 500 token berfungsi dengan baik. Ukuran potongan yang lebih kecil lebih baik untuk konten singkat berbasis fakta atau mengambil bagian teks yang ringkas dan tepat.
URI input
Properti JSON gcs_source.input_uris adalah array string yang menentukan
input untuk permintaan penyerapan terkelola, seperti file yang akan
diimpor dari penyimpanan data Anda atau yang akan dihapus permanen dari Agent Retrieval.
Jika gcs_source.source_format tidak ditentukan atau ditetapkan ke
SOURCE_FORMAT_UNSPECIFIED (default), URI input dapat berupa:
- Satu atau beberapa URI tertentu.
- Satu atau beberapa pola karakter pengganti.
- Satu atau beberapa file teks.
- ID dokumen ditentukan satu per baris. Baris kosong akan diabaikan dan spasi kosong akan dipangkas dari setiap baris.
Jika gcs_source.source_format ditetapkan ke SOURCE_FORMAT_DOCUMENT_JSON, URI input ditentukan dalam format JSONL. Lihat Menambahkan metadata ke dokumen untuk mengetahui detail selengkapnya.
Karakter pengganti
| Pola | Mencocokkan dengan |
|---|---|
gs://acme/files/hello_world.xyz |
File yang ditentukan. |
gs://acme/files/* |
Setiap file yang cocok dengan document_type yang ditentukan langsung di gs://acme/files/. |
gs://acme/files/*.xyz |
Setiap file dengan ekstensi .xyz. |
Karakter pengganti tidak bersifat rekursif. Misalnya, menentukan gs://acme/files/*
tidak akan mengimpor file di bagian gs://acme/files/2025/. Karakter pengganti **
ditafsirkan sama dengan *. Anda dapat meratakan hierarki atau meneruskan satu pola per level untuk mengatasi masalah ini.
Jika pola tidak cocok, permintaan akan gagal. Misalnya, jika Anda meneruskan empat URI dan salah satunya berisi kesalahan ketik, pengimporan tidak akan dilanjutkan dengan tiga URI lainnya. Pastikan setiap URI sudah benar sebelum membuat permintaan impor.
3. Mengimpor file Anda
Tahap berikutnya dalam pipeline adalah memanggil importDocuments dengan URI file di penyimpanan data yang ingin Anda masukkan.
Contoh berikut menunjukkan cara mengimpor dokumen.
curl
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme-financials:importDocuments" \
-d '{
"gcs_source": {
"input_uris": ["gs://acme-docs/reports/*"]
},
"import_output_config": {
"error_gcs_prefix": "gs://acme-docs/import-errors/"
}
}'
Python
op = session.post(
INGEST + "/dataStores/acme-financials:importDocuments",
json={
"gcs_source": {"input_uris": ["gs://acme-docs/reports/*"]},
"import_output_config": {
"error_gcs_prefix": "gs://acme-docs/import-errors/"
},
},
).json()
result = wait(op)
print(result["metadata"]["successCount"], "imported")
# failureCount is not set on import metadata; check error files instead.
Anda dapat mengimpornya dengan metadata jika ingin. Untuk mengetahui informasi selengkapnya, lihat Menambahkan metadata ke dokumen.
Contoh berikut menunjukkan cara mengimpor file JSONL metadata.
curl
gcloud storage cp docs.jsonl gs://acme-docs/manifests/docs.jsonl
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme-financials:importDocuments" \
-d '{
"gcs_source": {
"input_uris": ["gs://acme-docs/manifests/docs.jsonl"],
"source_format": "SOURCE_FORMAT_DOCUMENT_JSON"
},
"import_output_config": {
"error_gcs_prefix": "gs://acme-docs/import-errors-json/"
}
}'
Python
op = session.post(
INGEST + "/dataStores/acme-financials:importDocuments",
json={
"gcs_source": {
"input_uris": ["gs://acme-docs/manifests/docs.jsonl"],
"source_format": "SOURCE_FORMAT_DOCUMENT_JSON",
},
"import_output_config": {
"error_gcs_prefix": "gs://acme-docs/import-errors-json/"
},
},
).json()
result = wait(op)
Penyerapan terkelola Koleksi membuat
Saat Anda membuat penyimpanan data, penyerapan terkelola akan membuat Koleksi di Agent Retrieval menggunakan API Agent Retrieval publik dan dapat digunakan seperti Koleksi Agent Retrieval lainnya. Koleksi akan kosong hingga operasi impor selesai.
Untuk mengetahui informasi tentang cara mengkueri Koleksi, lihat Menelusuri dokumen Anda.
Contoh berikut menunjukkan cara mendapatkan nama Koleksi dari penyimpanan data.
curl
curl -H "${AUTH}" "${INGEST}/dataStores/acme-financials"
Python
data_store = session.get(INGEST + "/dataStores/acme-financials").json()
collection_name = data_store["collectionName"]
print(collection_name)
Melacak progres impor
Untuk melacak progres tugas impor, lakukan polling operasi, bukan memeriksa status bucket. Kolom successCount dalam respons memberikan
jumlah file yang telah berhasil diimpor.
Anda dapat memperbaiki error dan membuat permintaan impor lain untuk mencoba lagi. Untuk mengetahui informasi selengkapnya, lihat Menjalankan ulang operasi impor.
Contoh berikut menunjukkan cara melakukan polling operasi.
curl
curl -H "${AUTH}" "${BASE}/{OPERATION_NAME}"
Python
# To check once, without blocking, using the op returned by the import call:
status = session.get(BASE + "/" + op["name"]).json()
print(status.get("done"), status.get("metadata", {}))
Contoh berikut menunjukkan cara mendapatkan daftar file yang diimpor setelah operasi impor selesai.
curl
curl -H "${AUTH}" "${INGEST}/dataStores/acme-financials/documents"
Python
docs = session.get(INGEST + "/dataStores/acme-financials/documents").json()
print(len(docs.get("documents", [])))
Menjalankan ulang operasi impor
Menjalankan operasi impor tambahan pada bucket yang sama hanya akan memproses file yang telah diubah atau ditambahkan. File yang telah diimpor dan tidak diubah akan dilewati.
Menelusuri dokumen Anda
Koleksi yang dibuat oleh penyerapan terkelola untuk Anda sama seperti Koleksi Agent Retrieval biasa. Anda dapat membuat kueri dan memfilter hasilnya, memberi peringkat ulang, mengindeks, dan lainnya.
Contoh
Contoh berikut menunjukkan cara menelusuri konten file yang diimpor dari penyimpanan data.
curl
COLLECTION=projects/${PROJECT}/locations/${LOCATION}/collections/google-acme-financials
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"https://vectorsearch.googleapis.com/v1/${COLLECTION}/dataObjects:search" \
-d '{
"semantic_search": {
"search_text": "what is the total revenue?",
"search_field": "multimodal_embedding",
"task_type": "RETRIEVAL_QUERY",
"top_k": 10,
"output_fields": {
"data_fields": ["google_document_id", "google_customer_uri", "google_unstructured_details.content_snippet"]
}
}
}'
Python
from google.cloud import vectorsearch_v1
# Create the client
search_client = vectorsearch_v1.DataObjectSearchServiceClient()
# Initialize request argument(s)
semantic_search = vectorsearch_v1.SemanticSearch(
search_text="what is the total revenue?",
search_field="multimodal_embedding",
task_type=vectorsearch_v1.EmbeddingTaskType.RETRIEVAL_QUERY,
top_k=10,
output_fields=vectorsearch_v1.OutputFields(
data_fields=["google_document_id", "google_customer_uri", "google_unstructured_details.content_snippet"],
),
)
request = vectorsearch_v1.SearchDataObjectsRequest(
parent="projects/PROJECT_ID/locations/LOCATION/collections/COLLECTION_ID",
semantic_search=semantic_search,
)
# Make the request
response = search_client.search_data_objects(request=request)
# Handle the response
for hit in response.results:
data = dict(hit.data_object.data)
print(hit.distance, data["google_customer_uri"][0])
print(data["google_unstructured_details"]["content_snippet"][:200])
Hasil penelusuran
Setiap hasil penelusuran berisi properti berikut:
| Properti | Jenis | Deskripsi |
|---|---|---|
google_document_id |
string | Dokumen asal segmen. |
google_customer_uri |
string | URI gs:// asli Anda untuk kutipan. |
google_modality |
string | UNSTRUCTURED atau VIDEO. |
google_unstructured_details.content_snippet |
string | Teks segmen. |
google_unstructured_details.start_page/end_page |
integer | Rentang halaman potongan. Hanya diisi dengan segmentasi halaman, yang memerlukan penguraian digital; kosong untuk segmentasi potongan. |
google_video_details.start_offset_nanos/end_offset_nanos |
integer | Rentang waktu segmen video. |
multimodal_embedding |
Vektor, padat, 768 dimensi | Embedding potongan dari gemini-embedding-2. |
metadata |
objek | Disalin dari dokumen ke setiap segmennya, tanpa awalan dan bertingkat seperti yang dideklarasikan (seperti category atau issuer.country). |
Properti start_page, end_page, start_offset_nanos, dan
end_offset_nanos selalu ditampilkan, terlepas dari jenis dokumen yang
ditentukan.
Untuk dokumen teks, start_page dan end_page hanya diisi jika
segmentasi halaman ditentukan saat penyimpanan data
dibuat.
Properti di metadata sesuai dengan skema JSON yang disediakan selama
impor.
Menghapus permanen file
Untuk menghapus permanen file dari penyimpanan data, upload satu atau beberapa file teks ke Cloud Storage dengan setiap baris berisi ID file yang ingin Anda hapus permanen. Teruskan URI file teks ke purgeDocuments.
Respons tidak menunjukkan file mana yang dihapus permanen. Untuk memverifikasi bahwa file telah dihapus permanen, panggil GetDocument. Respons akan menampilkan 404.
Tetapkan force ke false untuk menguji operasi penghapusan terlebih dahulu. Tindakan ini akan mencatat file yang akan dihapus ke error_gcs_prefix yang Anda tentukan.
Setelah file dihapus permanen, Anda dapat menghapus penyimpanan data yang berisi file yang dihapus permanen.
Contoh berikut menunjukkan cara menghapus permanen file.
curl
curl -X POST -H "${AUTH}" -H "Content-Type: application/json" \
"${INGEST}/dataStores/acme:purgeDocuments" \
-d '{
"gcs_source": {
"input_uris": ["gs://acme/purge/purge-ids.txt"]
},
"purge_output_config": {
"error_gcs_prefix": "gs://acme/purge-force-errors/"
},
"force": true
}'
Python
op = session.post(
INGEST + "/dataStores/acme:purgeDocuments",
json={
"gcs_source": {
"input_uris": ["gs://acme/purge/purge-ids.txt"],
},
"purge_output_config": {
"error_gcs_prefix": "gs://acme/purge-force-errors/",
},
"force": True,
},
).json()
result = wait(op)
Menghapus penyimpanan data
Kirim permintaan DELETE dengan URI penyimpanan data untuk menghapus penyimpanan data. Jika
force ditetapkan ke true dan penyimpanan data masih berisi file, permintaan
akan gagal dengan status FAILED_PRECONDITION dan pesan
DataStore deletion is not allowed because it still contains documents. Set force=true to delete the DataStore and all its Documents..
Tetapkan backing_collection_deleted ke true untuk menghapus Koleksi dan Objek Data yang dibuat setelah mengimpor penyimpanan data. Jika hal ini tidak dilakukan,
Koleksi dan Objek Data akan tetap ada dan terus menggunakan kuota, dan
setiap permintaan untuk membuat penyimpanan data baru dengan ID yang sama akan gagal dengan
pesan FAILED_PRECONDITION (BACKING_COLLECTION_ALREADY_EXISTS).
Saat permintaan penghapusan berjalan, permintaan get akan menampilkan status
DELETING dan error 404 setelah selesai.
Contoh berikut menunjukkan cara menghapus penyimpanan data.
curl
curl -X DELETE -H "${AUTH}" \
"${INGEST}/dataStores/acme-financials?force=true&backing_collection_deleted=true"
Python
op = session.delete(
INGEST + "/dataStores/acme-financials",
params={"force": "true", "backing_collection_deleted": "true"},
).json()
result = wait(op)