Pengantar konektor dan penyimpanan data

Konektor mengambil data dari sumber data Google dan pihak ketiga ke Gemini Enterprise, lalu menyimpannya di penyimpanan data khusus. Dokumen ini memberikan ringkasan tentang konektor tersebut. Memusatkan data Anda di Gemini Enterprise akan meningkatkan aksesibilitas data, fungsi penelusuran, dan kemampuan analisis.

Ringkasan konektor

Konsep konektor dan penyimpanan data

Penyimpanan data

Setiap sumber data mendukung sekumpulan jenis entity. Misalnya, Jira Cloud memiliki entity seperti masalah, lampiran, komentar, dan log kerja, yang unik untuk sumber data. Gemini Enterprise membuat penyimpanan data terpisah untuk setiap entity. Oleh karena itu, saat Anda membuat penyimpanan data menggunakan konsol Google Cloud , Anda akan mendapatkan kumpulan penyimpanan data yang mewakili entity data yang diserap ini.

Penggabungan data versus penyerapan (pengindeksan)

Federasi data langsung mengambil informasi dari sumber data yang ditentukan. Karena data tidak disalin ke indeks Gemini Enterprise, Anda tidak perlu mengkhawatirkan penyimpanan data. Namun, karena data tidak diindeks, kualitas penelusuran mungkin lebih rendah. Penyerapan data (pengindeksan) menyalin data ke indeks Gemini Enterprise. Hal ini dapat meningkatkan kualitas penelusuran. Namun, proses ini menggunakan lebih banyak penyimpanan dan waktu. Jika konektor mendukung penggabungan data dan penyerapan data, pilih metode koneksi data yang Anda inginkan. Catatan: Saat menggunakan penelusuran gabungan atau konektor gabungan, string kueri Anda akan dikirim ke semua backend penelusuran pihak ketiga yang diaktifkan. String kueri yang dikirim ke sistem pihak ketiga mungkin berisi bagian dari data dalam permintaan penelusuran dan histori percakapan Anda. Sistem pihak ketiga dapat menautkan kueri dengan identitas Anda. Setelah data berada di sistem pihak ketiga, data tersebut tunduk pada Persyaratan Layanan dan kebijakan privasi sistem tersebut, bukan Persyaratan Layanan Google Cloud.

Data tidak terstruktur

Format data yang didukung bersifat spesifik untuk sumber data dan jenis entity. Jika konten dalam entity disimpan dalam format tidak terstruktur—seperti PDF, HTML, DOCX, PPTX, XLSX, dan XLSM—penyimpanan data tidak terstruktur akan dibuat oleh Gemini Enterprise. Untuk mengetahui informasi selengkapnya dan jenis file yang didukung, lihat Penelusuran tidak terstruktur.

Data terstruktur

Format data yang didukung bersifat spesifik untuk sumber data dan jenis entity. Jika konten dalam entity disimpan dalam format terstruktur, penyimpanan data terstruktur akan dibuat oleh Gemini Enterprise. Untuk mengetahui informasi selengkapnya, lihat Penelusuran terstruktur.

Skema data

Skema data menentukan struktur data. Saat Anda mengimpor data terstruktur menggunakan Gemini Enterprise, sistem akan otomatis mendeteksi skema. Anda dapat menggunakan skema yang terdeteksi otomatis atau menentukan skema menggunakan API. Untuk mengetahui informasi selengkapnya, lihat Memberikan atau mendeteksi skema secara otomatis.

Region penyimpanan data

Saat menyerap data, Anda harus memilih region tempat Anda ingin menyimpan data, seperti global, AS, atau Uni Eropa. Untuk mengetahui informasi selengkapnya, lihat Komitmen residensi data dan pemrosesan regional ML. Data yang disimpan di region AS atau Uni Eropa memerlukan enkripsi data. Enkripsi default menggunakan Google-owned and Google-managed encryption key, tetapi sebagai alternatif, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan.

Sinkronisasi data

Sinkronisasi data mengambil dan memperbarui data identitas (seperti peran, izin, dan pengguna) serta data entitas (seperti data yang terkait dengan sumber data tertentu) dari sumber data asli. Untuk mengetahui informasi selengkapnya, lihat Jenis dan jadwal sinkronisasi data.

Jenis dan jadwal sinkronisasi data

Sinkronisasi data mengambil data entity, data identitas, atau keduanya, dan memperbarui konten penyimpanan data di Gemini Enterprise.

Jenis sinkronisasi

Penyimpanan data di Gemini Enterprise menggunakan dua jenis sinkronisasi data yang penting:

• Sinkronisasi penuh mencatat seluruh status aplikasi atau layanan pihak ketiga. Hal ini mencakup penambahan, pembaruan, dan penghapusan. Sinkronisasi penuh akan menggantikan konten penyimpanan data yang ada.

• Sinkronisasi inkremental secara berkala mengambil data entitas yang telah ditambahkan atau diperbarui sejak sinkronisasi terakhir. Alat ini tidak menyinkronkan data identitas atau penghapusan data entity.

Anda dapat menjadwalkan sinkronisasi penuh secara terpisah untuk jenis data berikut:

• Sinkronisasi entity mengambil data yang spesifik untuk sumber data pihak ketiga. Misalnya, penyimpanan data untuk sistem seperti Jira dapat menyinkronkan masalah, log kerja, komentar, dan lampiran. Sinkronisasi entitas tidak menyertakan informasi identitas.

• Sinkronisasi identitas mengambil data tentang akun pengguna yang terkait dengan grup ACL.

Interaksi antara sinkronisasi identitas dan sinkronisasi penuh

Untuk memahami cara kerja sinkronisasi identitas individual dengan sinkronisasi penuh, pertimbangkan contoh skenario yang mencakup dua halaman: page_1, yang ditautkan ke grup ACL group_1; dan page_2, yang ditautkan ke grup ACL group_2.

1. Sinkronisasi identitas awal berjalan, dan mengambil informasi tentang grup group_1 dan group_2.

   • Asumsikan bahwa group_1 berisi pengguna user_1.

   • Asumsikan bahwa group_2 berisi pengguna user_2.

   Sinkronisasi identitas ini membuat pemetaan berikut:

   • user_1 dipetakan ke group_1.

   • user_2 dipetakan ke group_2.

2. Bersama dengan sinkronisasi identitas, sinkronisasi penuh berjalan, mengambil page_1 dan page_2.

   Sinkronisasi penuh ini membuat pemetaan berikut:

   • user_1 memiliki akses ke page_1 (melalui group_1).

   • user_2 memiliki akses ke page_2 (melalui group_2).

Jadwal sinkronisasi

Untuk setiap penyimpanan data, Anda dapat memilih frekuensi untuk berbagai jenis sinkronisasi:

• Sinkronisasi penuh semua data identitas dan data entitas dapat dijadwalkan secara bersamaan setiap 3 jam, 6 jam, 12 jam, 1 hari, atau 3 hari.

• Sinkronisasi penuh independen untuk semua data identitas, dan sinkronisasi penuh independen untuk semua data entitas, dapat dijadwalkan secara terpisah menggunakan salah satu frekuensi sinkronisasi kustom berikut:

  • Data entity: Setiap 3 jam, 6 jam, 12 jam, 1 hari, 3 hari, 5 hari, dan setiap 7 hari.

  • Data identitas: Setiap 30 menit, 1 jam, 3 jam, 6 jam, 12 jam, 1 hari, 3 hari, 5 hari, dan setiap 7 hari.

• Sinkronisasi inkremental data entitas yang diperbarui atau ditambahkan dapat dijadwalkan setiap 3 jam, 6 jam, 12 jam, 1 hari, 3 hari, 5 hari, atau setiap 7 hari. Secara default, sinkronisasi inkremental dilakukan setiap 3 jam.

  Catatan: Sinkronisasi inkremental harus dijadwalkan agar terjadi lebih sering daripada sinkronisasi penuh. Misalnya, jika Anda telah menjadwalkan sinkronisasi penuh setiap 12 jam, Anda hanya dapat menjadwalkan sinkronisasi inkremental setiap 3 jam atau setiap 6 jam.

  Jika Anda menjadwalkan sinkronisasi inkremental dan sinkronisasi penuh untuk frekuensi yang sama, sinkronisasi inkremental akan otomatis dijeda dan memerlukan intervensi manual untuk dilanjutkan.

Rekomendasi frekuensi

Pilih frekuensi sinkronisasi data yang sesuai dengan volume data yang diambil dan kueri per detik (QPS) yang direkomendasikan.

Tabel berikut menunjukkan jumlah umum kumpulan data yang diambil untuk sinkronisasi satu, tiga, lima, dan tujuh hari. Jumlah data sebenarnya dapat bervariasi bergantung pada sumber data dan konfigurasinya.

QPS	Volume data untuk sinkronisasi 1 hari	Mencatat volume untuk sinkronisasi 3 hari	Volume rekaman untuk sinkronisasi 5 hari	Volume rekaman untuk sinkronisasi 7 hari
5	432 rb	1,296 juta	2,16 JT	3 JT
10	864 ribu	2,592 JT	4,32 JT	6M
20	1,7 JT	5,1 JT	8,5 JT	11,9 JT
50	4,3 JT	12,9 JT	21,5 JT	30,1 JT
100	8,6 JT	25,8 JT	43 JT	60,2 jt

Menjeda dan melanjutkan sinkronisasi

Anda dapat menjeda dan melanjutkan sinkronisasi penuh dan sinkronisasi inkremental:

• Saat Anda menjeda jenis sinkronisasi, penyimpanan data akan membatalkan sinkronisasi yang sedang berlangsung dari jenis tersebut dan berhenti menjadwalkan sinkronisasi baru dari jenis tersebut.

• Saat Anda melanjutkan jenis sinkronisasi, penyimpanan data akan menjadwalkan sinkronisasi baru berdasarkan waktu sinkronisasi terjadwal terakhir, tetapi tidak melanjutkan sinkronisasi yang sebelumnya terganggu.

Misalnya, jika Anda menjeda sinkronisasi penuh saat sinkronisasi penuh sedang berlangsung, penyimpanan data akan membatalkan sinkronisasi tersebut. Jika nanti Anda melanjutkan sinkronisasi penuh, penyimpanan data akan otomatis menjadwalkan sinkronisasi penuh baru sesuai dengan jadwal sinkronisasi penuh.

Sumber data Google

Anda dapat terhubung ke sumber data Google, seperti BigQuery, Spanner, dan Google Drive.

Checklist untuk sumber data Google

Sebelum mengirim data ke Gemini Enterprise, periksa checklist berikut:

• Siapkan kontrol akses untuk sumber data Anda. Untuk mengetahui informasi selengkapnya, lihat Identitas dan izin.

• Tentukan apakah data harus difederasi atau diserap (diindeks).

• Tentukan seberapa sering data harus disinkronkan.

• Jika Anda menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), buat kunci multi-region. Untuk mengetahui informasi selengkapnya, lihat Mendaftarkan kunci satu region untuk sumber data pihak ketiga.

• Jika Anda memiliki informasi identitas pribadi (PII) dan ingin menggunakan pelengkapan otomatis untuk saran kueri, lihat melindungi dari kebocoran PII.

Sumber data Google yang didukung

Catatan: Untuk mengetahui informasi selengkapnya tentang sumber data Google, lihat Menghubungkan sumber data Google.

Google Drive	Gmail	Google Kalender	Penelusuran orang

Sumber data pihak ketiga

Penyimpanan data pihak ketiga menyerap data aplikasi pihak ketiga ke Gemini Enterprise.

Checklist untuk sumber data pihak ketiga

Sebelum menghubungkan sumber data pihak ketiga ke Gemini Enterprise, pelajari checklist berikut:

• Cakupan dan izin tertentu harus dikonfigurasi untuk sumber data tertentu. Administrator aplikasi pihak ketiga harus meninjau kredensial yang diperlukan untuk menghubungkan sumber data serta menyiapkan autentikasi dan izin. Untuk mengetahui informasi tentang cakupan dan izin tertentu, lihat dokumentasi sumber data pihak ketiga masing-masing.

• Siapkan kontrol akses untuk penyimpanan data Anda. Untuk mengetahui informasi selengkapnya, lihat Identitas dan izin

• Tentukan apakah data harus difederasi atau diserap (diindeks).

• Jika data diserap, pastikan resource tidak dibatasi untuk kredensial pengguna yang Anda gunakan untuk menyerap data ke sumber data.

• Tentukan seberapa sering data harus disinkronkan.

• Jika Anda menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), buat kunci multi-region dan single-region. Untuk mengetahui informasi selengkapnya, lihat Mendaftarkan kunci region tunggal untuk penyimpanan data pihak ketiga.

• Jika Anda memiliki informasi identitas pribadi (PII) dan ingin menggunakan pelengkapan otomatis untuk saran kueri, lihat melindungi dari kebocoran PII.

• Jika Anda ingin traffic keluar dari penyimpanan data berasal dari sekumpulan alamat IP tetap (misalnya, untuk mengizinkannya di sistem sumber), dan jika penyimpanan data mendukungnya, lihat Mengonfigurasi egress IP statis.

Sumber data pihak ketiga yang didukung

Catatan: Untuk mengetahui daftar lengkap sumber data pihak ketiga yang didukung, lihat Menghubungkan sumber data pihak ketiga.

Microsoft Entra ID	Microsoft OneDrive	Microsoft Outlook	Microsoft SharePoint
Jira Cloud	Confluence Cloud	ServiceNow