Ringkasan Document AI Warehouse

Perhatian: Document AI Warehouse tidak digunakan lagi dan tidak akan tersedia lagi di Google Cloud setelah 16 Januari 2025. Untuk mengamankan data Anda, migrasikan dokumen apa pun yang saat ini disimpan di Document AI Warehouse ke alternatif seperti Cloud Storage. Pastikan migrasi data Anda selesai sebelum tanggal penghentian untuk mencegah kehilangan data. Lihat Penghentian penggunaan untuk mengetahui detailnya.

Ringkasan Konseptual

Document AI Warehouse adalah platform terintegrasi berbasis cloud untuk menyimpan, menelusuri, mengelola, mengatur, dan menganalisis dokumen serta metadata terstrukturnya (disebut Properti). Dokumen mencakup dokumen terstruktur (misalnya, formulir, invoice) dan tidak terstruktur (misalnya, kontrak, makalah penelitian) dan Properti (metadata) mencakup data yang diekstrak AI dari dokumen dan tag yang ditetapkan secara manual atau oleh AI (misalnya, nomor rekening, ID pinjaman, jenis dokumen).

Manfaat dan Fitur Utama

Document AI Warehouse menawarkan beberapa keunggulan dibandingkan repositori lama. Berikut adalah beberapa fitur dan manfaatnya:

• API-first: API terintegrasi tunggal untuk mengelola dokumen dan propertinya (metadata yang diekstrak atau diberi tag), yang terintegrasi ke dalam alur kerja dan aplikasi Anda.
• Pengelolaan Metadata: untuk mengelola metadata yang diekstrak dan diberi tag.
• Tata kelola: terintegrasi dengan IAM dan direktori perusahaan
  • Kontrol Akses terperinci (izin) di tingkat dokumen dan folder dapat ditetapkan kepada pengguna dan grup untuk melihat, mengedit, mengelola (berbagi, menghapus) dokumen.
  • Document AI Warehouse terintegrasi dengan IAM (Cloud Identity), sehingga pengguna dan grup dapat disediakan ke Cloud Identity
  • Pengguna/grup juga dapat digabungkan/disinkronkan ke Cloud Identity dari penyedia identitas / LDAP perusahaan, seperti Azure AD, Active Directory, dan Keycloak.
• Penelusuran: produk ini mendukung penelusuran semantik yang kaya, termasuk fitur berikut:
  • Penelusuran teks lengkap
  • Memfilter hasil penelusuran berdasarkan Properti (tanggal, numerik, enum, teks). Filter dapat digabungkan dengan operator AND dan OR
  • Penelusuran semantik - mendukung sinonim dan salah eja umum, serta stemming. Tanda petik (" ") dapat digunakan dalam kueri untuk menentukan kata kunci pencocokan persis
  • Sinonim kustom - misalnya, istilah khusus industri atau khusus perusahaan.
  • Menelusuri dalam hierarki folder root
  • Operator untuk kata kunci penelusuran: "" pencocokan persis, | atau, + dan, - kecualikan
• Organisasi: Pengelolaan Folder Fleksibel
  • Dokumen dapat dikategorikan ke dalam satu atau beberapa folder, berdasarkan permohonan (misalnya, kartu tanda pengenal ditempatkan di folder KYC, folder Pinjaman, folder Rekening Bank), tanpa mereplikasi dokumen tersebut.
  • Folder ini memiliki Properti dan Kontrol Akses sendiri, yang terpisah dari properti dan kontrol akses Dokumen.
  • Folder dapat disusun bertingkat dalam satu atau beberapa hierarki [misalnya, AllLoans->State->Branch->Loans atau LoanTypes->Loans].
  • Pengguna dapat menelusuri dokumen dalam hierarki folder, misalnya menelusuri dalam AllLoans->State
• UI^* - produk ini mencakup UI yang dapat diakses Web dengan fitur berikut:
  • Doc Explorer: menelusuri dokumen, memfilter hasil penelusuran, memilih dokumen untuk memperbarui properti secara massal atau menghapus
  • Doc Viewer: melihat dokumen, melihat/memperbarui propertinya,menetapkan ACL, menambahkan ke folder
  • Upload: upload dokumen dan jalankan melalui ekstraktor DocAI^** (OCR atau parser khusus yang didukung seperti Invoice DocAI).
  • Penjelajah Folder: menambahkan dokumen ke satu atau beberapa folder, menjelajahi hierarki folder.
  • UI yang dapat disematkan: komponen Doc Explorer dan Doc Viewer (untuk PDF) dapat diintegrasikan dalam aplikasi pelanggan
• Konektor^*** ke repositori lokal dan cloud umum: Kami menyediakan konektor Cloud Storage ke Document AI Warehouse (sebagai template terpisah berdasarkan Google Workflows) yang dapat disesuaikan/diperluas ke repositori lain. Kami juga bekerja sama dengan partner untuk menyediakan konektor siap pakai ke repositori seperti Sharepoint, Amazon S3, IBM FileNet, dan lainnya, untuk menyerap dan mengindeks dokumen.
• Fleksibilitas Migrasi vs Federasi: Produk ini mendukung arsitektur yang fleksibel sehingga konten dokumen Anda dapat dimigrasikan ke Document AI Warehouse atau tetap berada di tempatnya jika ada batasan dalam memigrasikan konten (kami cukup mengindeks konten dan metadata)
• Terintegrasi dengan Alur Kerja Dokumen - fitur ini terintegrasi dengan Google Workflows dan alur kerja pemrosesan dokumen lainnya dengan mendukung:
  • Properti - yang mewakili status dokumen dalam alur kerja dan API yang dapat digunakan alur kerja tersebut untuk memperbarui status dokumen
  • Antarmuka Doc Explorer - untuk melacak progres dokumen melalui pipeline alur kerja, sehingga manusia dapat memeriksa, mengelola kegagalan, dan dokumen yang terhenti di pipeline alur kerja.
  • Notifikasi Bersyarat - dokumen yang memenuhi kondisi tertentu dapat memicu/memberi tahu alur kerja melalui topik Pub/Sub atau panggilan API Web: misalnya, Pemicu: OnUpdate; Kondisi: (DocType=Invoice dan TotalAmount>$1000) -> kirim Notifikasi Pub/Sub
• Pengelolaan Kebijakan dan Penegakan Kepatuhan: notifikasi bersyarat dan notifikasi terjadwal dapat digunakan untuk memicu alur kerja yang menerapkan kebijakan (misalnya, pengelolaan data, retensi dan disposisi, pembekuan litigasi) pada dokumen tertentu di Document AI Warehouse.
• File yang didukung - PDF Teks, Gambar (PDF yang dipindai, file TIFF, file JPEG), file Office (DOCX, PPTX, XLSX) - dijalankan melalui OCR dan diindeks.
  • Catatan - meskipun fokus produknya adalah dokumen, produk ini juga digunakan untuk mengelola gambar terkait (misalnya, dalam vertical seperti Asuransi, Teknik, Konstruksi, Riset, dll.).

• Terintegrasi dengan DocAI: Document AI Warehouse terintegrasi dengan pemroses Document AI di beberapa level:

  • Pemrosesan AI Dokumen di UI: UI Document AI Warehouse memungkinkan pengguna mengupload PDF/TIFF atau jenis dokumen khusus yang dipindai, yang keduanya masing-masing diekstrak secara otomatis oleh Document AI OCR atau prosesor khusus sebelum dokumen diindeks ke dalam Document AI Warehouse.
  • Mengelola pipeline Document AI batch^***: Document AI Warehouse terintegrasi dengan Workflows untuk menyediakan template yang memproses pipeline dokumen dalam batch melalui ekstraksi dan klasifikasi Document AI. Hal ini tidaklah mudah karena memerlukan operasi yang berjalan lama (LRO) dan panggilan API asinkron yang perlu dikelola untuk kegagalan dan percobaan ulang. Template Workflows mengorkestrasi pipeline tersebut. UI Document AI Warehouse dapat digunakan untuk menelusuri dan melacak alur dokumen melalui pipeline tersebut, memvisualisasikan output Document AI untuk kegagalan di setiap langkah pipeline, dan mengambil tindakan pada dokumen yang terhenti/gagal.

^*UI ini dalam Pratinjau dan diperkirakan akan segera tersedia secara umum.

^**OCR dan pengekstrak dokumen lainnya tersedia dalam produk Document AI, tetapi tidak disertakan dalam Document AI Warehouse.

^***Fitur ini bukan bagian dari Document AI Warehouse. Fitur ini diaktifkan oleh komponen dan skrip open source eksternal yang dapat di-deploy atau disesuaikan oleh pelanggan, dan tidak diimplementasikan dalam Document AI Warehouse.

Pernyataan Penyangkalan dan Batasan Umum

Untuk mengetahui informasi selengkapnya tentang Pernyataan Penyangkalan dan Batasan Umum, lihat Pernyataan Penyangkalan dan Batasan Umum

Terminologi

Berikut adalah istilah yang digunakan di Document AI Warehouse.

Istilah, Konsep	Definisi, Contoh
Dokumen	Data di Document AI Warehouse yang dapat ditelusuri, dikelola, dan diterapkan kontrol aksesnya oleh pengguna. Dokumen ini terdiri dari dokumen mentah dan beberapa metadata terkait. [Gambar yang disimpan di Document AI Warehouse juga disebut sebagai "Dokumen"]
Dokumen Mentah [Konten]	File konten mentah (pdf/gambar/biner/blob) Dokumen.
Skema [Jenis Dokumen]	Setiap dokumen memiliki jenis dokumen tertentu dan ditentukan oleh skema. Misalnya, Invoice berisi skema berikut: Nama Pemasok, Nama Vendor, Jumlah Invoice, dll.
Properti [Metadata]	Kolom Skema Dokumen yang dapat diekstrak dari dokumen atau diperkaya (diberi label) oleh pengguna. Saat ini, Metadata mencakup jenis berikut: Nilai Teks Bebas, Enum, Numerik, Tanggal, Peta (hierarki JSON dari key-value pair). Kami berencana untuk mendukung Boolean, Money, dan jenis lainnya di masa mendatang.
Ekstraktor dokumen (DocAI dan lainnya)	Dokumen dapat diekstrak oleh pipeline AI, sehingga ekstraksi dapat diserap dan dikelola di Document AI Warehouse (sebagai Metadata) bersama dengan Dokumen Mentah. Ekstraksi dapat dilakukan dengan Parser Khusus Document AI (untuk formulir Pengadaan, formulir Pinjaman, dan lainnya) OCR, AutoML, Parser formulir (untuk gambar seperti TIFF/PNG/dll.) Model kustom lainnya Alat ekstraksi teks untuk format dokumen khusus seperti PDF, dokumen Office, dan lainnya. Perhatikan bahwa Document AI Warehouse dapat berfungsi dengan pipeline ekstraksi apa pun yang memanggil Document AI Warehouse API untuk menyerap/memperbarui dokumen.
Folder	Folder adalah kumpulan dokumen virtual (virtual karena dokumen yang sama dapat dimuat dalam satu atau beberapa folder). Folder memiliki "Jenis/Skema Dokumen" serta berisi metadata dan Daftar Kontrol Akses seperti dokumen. Pengguna memerlukan izin Edit untuk Folder dan izin Lihat untuk Dokumen, agar dapat menambahkan Dokumen ke Folder
Link	Link digunakan untuk menambahkan dokumen ke folder atau untuk menautkan dokumen terkait. Link tidak memiliki "Jenis Link"
Dokumen Terkait	Dokumen dapat dihubungkan dengan link terarah dari satu dokumen ke dokumen lainnya.
Izin Penautan	Pengguna memerlukan izin Edit untuk objek Link-from (misalnya, Folder) dan izin Lihat untuk objek Link-To (misalnya, Dokumen), agar dapat menambahkan Dokumen ke Folder
Kebijakan	Kebijakan yang dievaluasi saat dokumen/folder dibuat/diperbarui, dan digunakan untuk memvalidasi atau memperbarui metadata dokumen, ACL, atau menambahkan/memindahkan/menghapus dokumen dari folder. Kebijakan terdiri dari: Pemicu, misalnya, pada DocUpdate/DocCreate Kondisi, misalnya, Invoice.Amount <$1000 Tindakan, misalnya, Memperbarui Metadata Dokumen, Menampilkan Evaluasi Kondisi, Menambahkan Dokumen ke Folder, dll. Kebijakan biasanya dikaitkan dengan Jenis Dokumen. Aturan ini dinyatakan dalam Common Expression Language low-code (format JSON, yang ditentukan nanti)
Kebijakan Notifikasi	Merupakan jenis kebijakan khusus yang Tindakannya adalah memublikasikan pesan ke Topik Pub/Sub} saat kondisi tertentu terpenuhi. Aplikasi / alur kerja yang menggunakan pesan dapat menggunakannya untuk memicu tindakan pada dokumen atau bagian lain dari alur kerja bisnis.
Policy Engine, Policy API	Mesin: Server yang mengevaluasi kebijakan dan mengambil tindakan API: Admin API yang digunakan untuk membuat/memperbarui/membaca/menghapus kebijakan.
Penelusuran dengan Faset	Faset adalah filter metadata yang digunakan dalam kueri penelusuran. Misalnya, penelusuran Laporan Mutasi Bank dari "Bulan = Maret 2021" dan "Negara Bagian Cabang = CA" akan memfilter hasil Penelusuran berdasarkan 2 faset ini. Faset biasanya berupa kolom yang dihitung. Kami akan mendukung faset Tanggal dan Numerik dalam rilis mendatang. Facet untuk jenis Dokumen ditentukan dalam Skema Dokumen oleh Admin (melalui Admin API)
→ Penelusuran Semantik	Penelusuran semantik mendukung sinonim atau istilah yang "terkait secara semantik" dalam kueri penelusuran. Misalnya, "Surat izin mengemudi" menampilkan "izin mengemudi".
Histogram Penelusuran	Histogram adalah fitur Search API yang menampilkan distribusi (jumlah) hasil penelusuran menurut faset. Misalnya, hasil Penelusuran untuk Surat Izin Mengemudi menampilkan histogram "CA 500, NV 150, …"
Akses Universal vs Kontrol Akses Tingkat Dokumen	Dua mode akses didukung di Document AI Warehouse untuk setiap project Akses universal - setiap pengguna dapat mengakses dokumen apa pun dalam project. API ini dikontrol aksesnya ke akun pengguna atau akun layanan, tetapi tidak memiliki izin tingkat dokumen ACL tingkat dokumen - pengguna diberi izin tingkat dokumen. Setiap dokumen memiliki izin R/U/D yang ditetapkan untuk pengguna/grup.