Mengimpor dari Spanner

Untuk menyerap data dari Spanner, gunakan langkah-langkah berikut untuk membuat penyimpanan data dan menyerap data menggunakan konsol Google Cloud atau API.

Menyiapkan akses Spanner dari project lain

Jika data Spanner Anda berada di project yang sama dengan Gemini Enterprise, lewati ke Mengimpor data dari Spanner.

Untuk memberikan akses Gemini Enterprise ke data Spanner yang berada di project lain, ikuti langkah-langkah berikut:

  1. Ganti variabel PROJECT_NUMBER berikut dengan nomor project Gemini Enterprise Anda, lalu salin konten blok kode ini. Ini adalah ID akun layanan Gemini Enterprise Anda:

    service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com

  2. Buka halaman IAM &Admin.

    IAM &Admin

  3. Beralihlah ke project Spanner Anda di halaman IAM &Admin , lalu klik Grant Access.

  4. Untuk New principals, masukkan ID untuk akun layanan dan pilih salah satu hal berikut:

    • Jika Anda tidak akan menggunakan data boost selama impor, pilih peran Cloud Spanner > Cloud Spanner Database Reader.
    • Jika Anda berencana menggunakan data boost selama impor, pilih peran Cloud Spanner > Cloud Spanner Database Admin, atau peran kustom dengan izin Cloud Spanner Database Reader dan spanner.databases.useDataBoost. Untuk mengetahui informasi tentang Data Boost, lihat Ringkasan Data Boost dalam dokumentasi Spanner.

  5. Klik Save.

Selanjutnya, buka Mengimpor data dari Spanner.

Mengimpor data dari Spanner

Konsol

Untuk menggunakan konsol guna menyerap data dari Spanner, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Gemini Enterprise.

    Gemini Enterprise

  2. Buka halaman Data Stores.

  3. Klik Create Data Store.

  4. Di halaman Select a data source, pilih Cloud Spanner.

  5. Tentukan project ID, instance ID, database ID, dan tabel ID data yang Anda rencanakan untuk diimpor.

  6. Pilih apakah akan mengaktifkan Data Boost. Untuk mengetahui informasi tentang Data Boost, lihat Ringkasan Data Boost dalam dokumentasi Spanner.

  7. Klik Continue.

  8. Pilih region untuk penyimpanan data Anda.

  9. Masukkan nama untuk penyimpanan data Anda.

  10. Klik Create.

  11. Untuk memeriksa status penyerapan, buka halaman Data Stores , lalu klik nama penyimpanan data Anda untuk melihat detailnya di halaman Data. Jika kolom status di tab Activity berubah dari In progress menjadi Import completed, penyerapan akan selesai.

    Bergantung pada ukuran data Anda, penyerapan dapat memerlukan waktu beberapa menit atau beberapa jam.

REST

Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Spanner, ikuti langkah-langkah berikut:

  1. Buat penyimpanan data.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
-d '{
  "displayName": "DISPLAY_NAME",
  "industryVertical": "GENERIC",
  "solutionTypes": ["SOLUTION_TYPE_SEARCH"],
  "contentConfig": "CONTENT_REQUIRED",
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Gemini Enterprise Anda.
    • DATA_STORE_ID: ID penyimpanan data. ID hanya dapat berisi huruf kecil, digit, garis bawah, dan tanda hubung.
    • DISPLAY_NAME: nama tampilan penyimpanan data. Nama ini mungkin ditampilkan di Google Cloud konsol.

  2. Impor data dari Spanner.

      curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
  -d '{
    "cloudSpannerSource": {
      "projectId": "SPANNER_PROJECT_ID",
      "instanceId": "INSTANCE_ID",
      "databaseId": "DATABASE_ID",
      "tableId": "TABLE_ID",
      "enableDataBoost": "DATA_BOOST_BOOLEAN"
    },
    "reconciliationMode": "RECONCILIATION_MODE",
    "autoGenerateIds": "AUTO_GENERATE_IDS",
    "idField": "ID_FIELD",
  }'

    Ganti kode berikut:

    • PROJECT_ID: ID project Gemini Enterprise Anda.
    • DATA_STORE_ID: ID penyimpanan data.
    • SPANNER_PROJECT_ID: ID project Spanner Anda.
    • INSTANCE_ID: ID instance Spanner Anda.
    • DATABASE_ID: ID database Spanner Anda.
    • TABLE_ID: ID tabel Spanner Anda.
    • DATA_BOOST_BOOLEAN: opsional. Apakah akan mengaktifkan Data Boost. Untuk mengetahui informasi tentang Data Boost, lihat Ringkasan Data Boost dalam dokumentasi Spanner.
    • RECONCILIATION_MODE: opsional. Nilainya adalah FULL dan INCREMENTAL. Default-nya adalah INCREMENTAL. Menentukan INCREMENTAL akan menyebabkan refresh data inkremental dari Spanner ke penyimpanan data Anda. Tindakan ini melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. Menentukan FULL akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui akan ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Spanner akan dihapus dari penyimpanan data Anda. Mode FULL berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.

    • AUTO_GENERATE_IDS: opsional. Menentukan apakah akan otomatis membuat ID dokumen. Jika ditetapkan ke true, ID dokumen akan dibuat berdasarkan hash payload. Perhatikan bahwa ID dokumen yang dibuat mungkin tidak tetap konsisten di beberapa impor. Jika Anda membuat ID secara otomatis di beberapa impor, Google sangat merekomendasikan untuk menyetel reconciliationMode ke FULL untuk mempertahankan ID dokumen yang konsisten.

    • ID_FIELD: opsional. Menentukan kolom mana yang merupakan ID dokumen.

Langkah berikutnya