Mengimpor dari Cloud SQL

Untuk menyerap data dari Cloud SQL, gunakan langkah-langkah berikut untuk menyiapkan akses Cloud SQL, membuat penyimpanan data, dan menyerap data.

Menyiapkan akses bucket staging untuk instance Cloud SQL

Saat menyerap data dari Cloud SQL, data akan di-staging terlebih dahulu ke bucket Cloud Storage. Ikuti langkah-langkah berikut untuk memberikan akses instance Cloud SQL ke bucket Cloud Storage.

  1. Di Google Cloud Konsol, buka halaman SQL.

    SQL

  2. Klik instance Cloud SQL yang akan Anda impor.

  3. Salin ID untuk akun layanan instance, yang terlihat seperti alamat email—misalnya, p9876-abcd33f@gcp-sa-cloud-sql.iam.gserviceaccount.com.

  4. Buka halaman IAM &Admin.

    IAM &Admin

  5. Klik Grant access.

  6. Untuk New principals, masukkan ID akun layanan instance dan pilih peran Cloud Storage > Storage Admin.

  7. Klik Save.

Berikutnya:

Menyiapkan akses Cloud SQL dari project lain

Untuk memberikan akses Gemini Enterprise ke data Cloud SQL yang berada dalam project lain, ikuti langkah-langkah berikut:

  1. Ganti variabel PROJECT_NUMBER berikut dengan nomor project Gemini Enterprise Anda, lalu salin konten blok kode. Ini adalah ID akun layanan Gemini Enterprise Anda:

    service-PROJECT_NUMBER@gcp-sa-discoveryengine.iam.gserviceaccount.com

  2. Buka halaman IAM &Admin.

    IAM &Admin

  3. Beralihlah ke project Cloud SQL Anda di halaman IAM &Admin , lalu klik Grant Access.

  4. Untuk New principals, masukkan ID untuk akun layanan dan pilih peran Cloud SQL > Cloud SQL Viewer.

  5. Klik Save.

Selanjutnya, buka Mengimpor data dari Cloud SQL.

Mengimpor data dari Cloud SQL

Konsol

Untuk menggunakan konsol guna menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:

  1. Di Google Cloud Konsol, buka halaman Gemini Enterprise.

    Gemini Enterprise

  2. Buka halaman Data Stores.

  3. Klik Create Data Store.

  4. Di halaman Select a data source, pilih Cloud SQL.

  5. Tentukan project ID, instance ID, database ID, dan tabel ID data yang akan Anda impor.

  6. Klik Browse dan pilih lokasi Cloud Storage perantara untuk mengekspor data, lalu klik Select. Atau, masukkan lokasi langsung di kolom gs://.

  7. Pilih apakah akan mengaktifkan ekspor serverless. Ekspor serverless dikenai biaya tambahan. Untuk mengetahui informasi tentang ekspor serverless, lihat Meminimalkan dampak performa ekspor dalam dokumentasi Cloud SQL.

  8. Klik Continue.

  9. Pilih region untuk penyimpanan data Anda.

  10. Masukkan nama untuk penyimpanan data Anda.

  11. Klik Create.

  12. Untuk memeriksa status penyerapan, buka halaman Data Stores dan klik nama penyimpanan data Anda untuk melihat detailnya di halaman Data. Saat kolom status di tab Activity berubah dari In progress menjadi Import completed, penyerapan selesai.

    Bergantung pada ukuran data Anda, penyerapan dapat memerlukan waktu beberapa menit atau beberapa jam.

REST

Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:

  1. Buat penyimpanan data.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
-d '{
  "displayName": "DISPLAY_NAME",
  "industryVertical": "GENERIC",
  "solutionTypes": ["SOLUTION_TYPE_SEARCH"],
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Anda.
    • DATA_STORE_ID: ID penyimpanan data. ID hanya dapat berisi huruf kecil, digit, garis bawah, dan tanda hubung.
    • DISPLAY_NAME: nama tampilan penyimpanan data. Nama ini mungkin ditampilkan di Google Cloud Konsol.

  2. Impor data dari Cloud SQL.

      curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
  -d '{
    "cloudSqlSource": {
      "projectId": "SQL_PROJECT_ID",
      "instanceId": "INSTANCE_ID",
      "databaseId": "DATABASE_ID",
      "tableId": "TABLE_ID",
      "gcsStagingDir": "STAGING_DIRECTORY"
    },
    "reconciliationMode": "RECONCILIATION_MODE",
    "autoGenerateIds": "AUTO_GENERATE_IDS",
    "idField": "ID_FIELD",
  }'

    Ganti kode berikut:

    • PROJECT_ID: ID project Gemini Enterprise Anda.
    • DATA_STORE_ID: ID penyimpanan data. ID hanya dapat berisi huruf kecil, digit, garis bawah, dan tanda hubung.
    • SQL_PROJECT_ID: ID project Cloud SQL Anda.
    • INSTANCE_ID: ID instance Cloud SQL Anda.
    • DATABASE_ID: ID database Cloud SQL Anda.
    • TABLE_ID: ID tabel Cloud SQL Anda.
    • STAGING_DIRECTORY: opsional. Direktori Cloud Storage —misalnya, gs://<your-gcs-bucket>/directory/import_errors.
    • RECONCILIATION_MODE: opsional. Nilainya adalah FULL dan INCREMENTAL. Default-nya adalah INCREMENTAL. Menentukan INCREMENTAL akan menyebabkan refresh data inkremental dari Cloud SQL ke penyimpanan data Anda. Tindakan ini melakukan operasi upsert, yang menambahkan dokumen baru dan mengganti dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. Menentukan FULL akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui akan ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Cloud SQL akan dihapus dari penyimpanan data Anda. Mode FULL berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.

Langkah berikutnya