Memuat data ServiceNow ke BigQuery

Anda dapat memuat data dari ServiceNow ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk ServiceNow. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari ServiceNow ke BigQuery.

Batasan

Transfer data ServiceNow tunduk pada batasan berikut:

• Konektor ServiceNow hanya mendukung ServiceNow Table API.
• Sebaiknya jangan jalankan transfer data serentak pada instance ServiceNow yang sama. Hal ini dapat menyebabkan penundaan atau kegagalan karena beban pada instance ServiceNow.
  • Sebaiknya atur waktu mulai transfer Anda secara terpisah untuk mencegah transfer berjalan secara bersamaan.
• Untuk meningkatkan performa transfer data, sebaiknya batasi jumlah aset hingga 20 item per transfer data.
• Waktu interval minimum antar-transfer data berulang adalah 15 menit. Interval default untuk transfer berulang adalah 24 jam.
• Satu konfigurasi transfer hanya dapat mendukung satu kali menjalankan transfer data pada waktu tertentu. Jika transfer data kedua dijadwalkan untuk berjalan sebelum transfer pertama selesai, maka hanya transfer data pertama yang akan selesai, sementara transfer data lain yang tumpang-tindih dengan transfer pertama akan dilewati.
  • Untuk menghindari transfer yang dilewati dalam satu konfigurasi transfer, sebaiknya Anda memperpanjang durasi waktu antara transfer data besar dengan mengonfigurasi Frekuensi pengulangan.

Sebelum memulai

Sebelum membuat transfer data ServiceNow, lakukan hal berikut untuk ServiceNow dan BigQuery.

Prasyarat ServiceNow

• Untuk mengakses ServiceNow API, buat kredensial OAuth.

• Semua aplikasi ServiceNow berikut harus diaktifkan di instance ServiceNow:

  • Pengadaan
  • Katalog Produk
  • Pengelolaan Kontrak

• Untuk memulai transfer ServiceNow, Anda harus memiliki kredensial yang benar untuk terhubung ke instance ServiceNow.

  • Untuk mendapatkan kredensial ke instance developer ServiceNow, login ke portal developer ServiceNow. Anda dapat menggunakan nama pengguna dan sandi yang tercantum di halaman Kelola sandi instance. Untuk informasi tentang cara mereset sandi ServiceNow Anda, lihat Password Reset
  • Untuk mendapatkan kredensial ke instance produksi atau sub-produksi ServiceNow, hubungi administrator pelanggan ServiceNow Anda untuk meminta nama pengguna dan sandi.

Prasyarat BigQuery

• Selesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
• Buat set data BigQuery untuk menyimpan data.
• Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Jika Anda hanya menyiapkan notifikasi email, izin Pub/Sub tidak diperlukan. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:

• Izin BigQuery Data Transfer Service:
  • bigquery.transfers.update
  • bigquery.transfers.get
• Izin BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.

Menyiapkan transfer data ServiceNow

Tambahkan data ServiceNow ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

1. Buka halaman Transfer data di konsol Google Cloud .

   Buka Data transfers

2. Klik Create transfer.

3. Di bagian Source type, untuk Source, pilih ServiceNow.

4. Di bagian Detail sumber data, lakukan hal berikut:

   • (Opsional) Untuk Network attachment, pilih network attachment dari menu drop-down, atau klik Create Network Attachment.
   • Pilih lampiran jaringan untuk mengonfigurasi transfer data ini agar menggunakan satu alamat IP yang konsisten. Anda dapat menggunakan opsi ini jika instance ServiceNow Anda dikonfigurasi untuk hanya menerima traffic dari alamat IP tertentu.
   • Untuk mengetahui informasi selengkapnya tentang cara menentukan alamat IP di ServiceNow, lihat Menentukan alamat IP internal ServiceNow yang diizinkan
   • Untuk Instance ID, masukkan ID instance ServiceNow. Anda bisa mendapatkannya dari URL ServiceNow Anda—misalnya, https://INSTANCE_ID.service-now.com.
   • Untuk Username, masukkan nama pengguna ServiceNow yang akan digunakan untuk koneksi.
   • Untuk Password, masukkan sandi ServiceNow.
   • Untuk Client ID, masukkan client ID dari kredensial OAuth Anda. Untuk membuat kredensial, lihat Membuat Kredensial OAuth.
   • Untuk Client secret, masukkan rahasia klien dari kredensial OAuth Anda.
   • Untuk Tabel ServiceNow yang akan ditransfer, masukkan nama tabel ServiceNow yang akan ditransfer, atau klik Jelajahi dan pilih tabel yang ingin Anda transfer.
   • Untuk Jenis nilai, pilih salah satu opsi berikut:
     • Untuk mentransfer nilai yang disimpan dalam database, pilih Aktual.
     • Untuk mentransfer nilai tampilan kolom, pilih Tampilan.

5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.

6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

7. Di bagian Opsi jadwal, lakukan tindakan berikut:

   • Dalam daftar Frekuensi pengulangan, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih On-demand, transfer data ini akan berjalan saat Anda memicu transfer secara manual.
   • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.

8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

   • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
   • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer data ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.

9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer, --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ganti kode berikut:

• PROJECT_ID (opsional): Project ID Google Cloud Anda. Jika ID project tidak ditentukan, project default akan digunakan.
• DATA_SOURCE: sumber data (misalnya, servicenow).
• DISPLAY_NAME: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
• DATASET: set data target untuk konfigurasi transfer.

• PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data ServiceNow:

  Parameter ServiceNow	Wajib diisi atau opsional	Deskripsi
  connector.instanceId	Wajib	ID instance dari instance ServiceNow
  connector.authentication.username	Wajib	Nama pengguna kredensial
  connector.authentication.password	Wajib	Sandi kredensial
  connector.authentication.oauth.clientId	Wajib	Client ID OAuth yang dibuat
  connector.authentication.oauth.clientSecret	Wajib	Rahasia Klien OAuth yang dibuat
  connector.valueType	Opsional	Actual atau Display (default: Actual)
  connector.networkAttachment	Opsional	Tentukan lampiran jaringan untuk mengonfigurasi transfer data ini agar menggunakan satu alamat IP yang konsisten. Anda dapat menggunakan opsi ini jika instance ServiceNow Anda diamankan agar hanya menerima traffic dari alamat IP tertentu. Untuk mengetahui informasi selengkapnya tentang cara menentukan alamat IP di ServiceNow, lihat Menentukan alamat IP internal ServiceNow yang diizinkan.

  Misalnya, perintah berikut akan membuat transfer data ServiceNow di project default dengan semua parameter yang diperlukan:

    bq mk
      --transfer_config
      --target_dataset=mydataset
      --data_source=servicenow
      --display_name='My Transfer'
      --params='{"connector.authentication.oauth.clientId": "1234567890",
          "connector.authentication.oauth.clientSecret":"ABC12345",
          "connector.authentication.username":"user1",
          "connector.authentication.password":"abcdef1234",
          "connector.instanceId":"https://dev-instance.service-now.com",
          "connector.networkAttachment": "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
  

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Saat Anda menyimpan konfigurasi transfer, konektor ServiceNow akan otomatis memicu proses transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor ServiceNow mentransfer semua data yang tersedia dari ServiceNow ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut menunjukkan cara jenis data dipetakan dalam transfer data ServiceNow:

Jenis data ServiceNow	Jenis data BigQuery
decimal	FLOAT64
integer	INTEGER
boolean	BOOLEAN
glide_date	DATE
glide_date_time	DATETIME
glide_time	INT64
reference	STRING
currency	STRING
sys_class_name	STRING
domain_id	STRING
domain_path	STRING
guid	STRING
translated_html	STRING
journal	STRING
string	STRING

Memecahkan masalah transfer

Bagian berikut menjelaskan masalah umum saat menyiapkan transfer data ServiceNow.

Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah konfigurasi transfer.

Transfer gagal karena pengaktifan ServiceNow

Masalah terjadi yang menyebabkan transfer data gagal saat aplikasi Procurement, Product Catalog, atau Contract Management tidak diaktifkan di ServiceNow. Untuk memperbaikinya, aktifkan ketiga aplikasi:

• Pengadaan
• Katalog Produk
• Pengelolaan Kontrak (diaktifkan secara default)

Masalah terjadi selama menjalankan transfer

Terjadi masalah yang menyebabkan operasi transfer tidak dibuat seperti yang diinginkan. Untuk mengatasi masalah ini, lakukan langkah berikut:

• Periksa apakah kredensial akun ServiceNow, seperti nilai Nama pengguna, Sandi, ID klien, dan Rahasia klien, valid.
• Pastikan bahwa ID Instance adalah ID valid dari instance ServiceNow Anda.

Error lainnya

Untuk mengetahui informasi tentang error lain yang terjadi selama transfer data ServiceNow, lihat Masalah transfer ServiceNow

Harga

Untuk mengetahui informasi harga tentang transfer ServiceNow, lihat Harga Data Transfer Service.

Langkah berikutnya

• Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
• Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Menangani transfer.
• Pelajari cara memuat data dengan operasi lintas-cloud.