Memuat data Salesforce Marketing Cloud ke BigQuery

Anda dapat memuat data dari Salesforce Marketing Cloud ke BigQuery menggunakan BigQuery Data Transfer Service untuk konektor Salesforce Marketing Cloud. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Salesforce Marketing Cloud ke BigQuery.

Batasan

Transfer data Salesforce Marketing Cloud tunduk pada batasan berikut:

• Satu konfigurasi transfer hanya dapat mendukung satu operasi transfer data pada waktu tertentu. Jika transfer data kedua dijadwalkan untuk berjalan sebelum transfer pertama selesai, hanya transfer data pertama yang akan selesai, sedangkan transfer data lainnya yang tumpang-tindih dengan transfer pertama akan dilewati.
  • Untuk menghindari transfer yang dilewati dalam satu konfigurasi transfer, sebaiknya tingkatkan durasi waktu antara transfer data besar dengan mengonfigurasi Frekuensi berulang.
• Untuk menggunakan lampiran jaringan dengan transfer data ini, Anda harus terlebih dahulu membuat lampiran jaringan dengan menentukan alamat IP statis.
• Jika lampiran jaringan dan instance mesin virtual (VM) yang dikonfigurasi berada di region yang berbeda, mungkin ada pergerakan data lintas-region saat Anda mentransfer data dari Salesforce Marketing Cloud.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer data Salesforce Marketing Cloud.

Prasyarat Salesforce Marketing Cloud

Anda harus memiliki informasi berikut saat membuat transfer data Salesforce Marketing Cloud:

Nama Parameter	Deskripsi
subdomain	Subdomain API, yang ditemukan di URI dasar. Misalnya, di autentikasi URI dasar https://SUBDOMAIN.auth.marketingcloudapis.com/, SUBDOMAIN adalah nilai subdomain Anda.
instance	Instance server API, yang ditemukan di URL setelah Anda login ke Salesforce Marketing Cloud application. Nilai instance mencakup `s` yang diikuti dengan nilai numerik. Misalnya, di URL `https://mc.s4.exacttarget.com/`, nilai instance adalah `s4`. Untuk mengetahui informasi selengkapnya, lihat Menemukan lokasi stack untuk akun Marketing Cloud
clientId	Client ID dari integrasi API. Buka Setup > Apps > Installed Packages, lalu klik nama paket. Client ID tercantum di bagian Components.
clientSecret	Rahasia klien integrasi aplikasi. Buka Setup > Apps > Installed Packages, lalu klik nama paket. Rahasia klien tercantum di bagian Components.
Salesforce Marketing Cloud objects to transfer	Buat daftar objek Salesforce Marketing Cloud yang akan disertakan dalam transfer ini. Anda dapat memilih objek saat Anda menyiapkan konfigurasi transfer. Untuk mengetahui daftar objek yang didukung, lihat Tabel didukung.

Menyiapkan daftar yang diizinkan IP untuk transfer Salesforce Marketing Cloud

Anda harus mengonfigurasi lingkungan Google Cloud dan akun Salesforce Marketing Cloud untuk menambahkan alamat IP tertentu ke daftar yang diizinkan untuk transfer data. Hal ini memastikan bahwa Salesforce Marketing Cloud hanya menerima koneksi dari alamat IP statis yang tepercaya.

Untuk melakukannya, Anda harus menyiapkan dan mengonfigurasi jaringan Google Cloud terlebih dahulu untuk menggunakan alamat IP statis:

1. Siapkan terjemahan alamat jaringan (NAT) publik dengan alamat IP statis dalam jaringan Virtual Private Cloud. CloudNAT harus dikonfigurasi dalam region yang sama dengan set data tujuan untuk transfer data ini.
2. Siapkan lampiran jaringan dalam jaringan VPC yang sama. Resource ini digunakan oleh BigQuery Data Transfer Service untuk mengakses layanan pribadi.

Selanjutnya, Anda harus menambahkan alamat IP statis ke daftar yang diizinkan di Salesforce Marketing Cloud. Saat menambahkan rentang alamat IP, gunakan alamat IP statis dari Google Cloud NAT publik Anda untuk alamat IP awal dan akhir untuk rentang IP.

Setelah menyiapkan rentang IP, Anda kini dapat menentukan IP statis saat Anda menyiapkan konfigurasi transfer dengan memilih lampiran jaringan di kolom Network attachment.

Persyaratan objek ekstensi data

Untuk menyertakan objek ekstensi data dalam transfer data, objek harus memenuhi persyaratan berikut:

• Nama objek ekstensi data harus menyertakan awalan DataExtensionObject yang diikuti dengan nama objek. Misalnya, DataExtensionObject_DATA_EXTENSION_NAME.
• Anda harus mengaktifkan cakupan Read untuk objek ekstensi data.
• Lokasi file objek ekstensi data harus memiliki cakupan Read dan Write.

Menginstal dan mengonfigurasi paket integrasi API Salesforce Marketing Cloud

Anda harus menginstal paket integrasi API server-ke-server di Salesforce Marketing Cloud. Anda dapat melakukannya di Salesforce Marketing Cloud dengan menginstal paket terinstal baru, dan menentukan komponen API Integration > Server-to-Server. Untuk mengetahui informasi selengkapnya, lihat Membuat dan Menginstal Paket.

Setelah menginstal paket integrasi API, Anda harus menambahkan cakupan izin berikut:

• Akses: Offline Access
• Email: Read
• OTT: Read
• Push:Read
• SMS:Read
• Web: Read
• Dokumen dan gambar: Read
• Konten Tersimpan: Read
• Perjalanan: Read
• Audiens: Read
• Daftar dan Pelanggan: Read
• Ekstensi Tanggal: Read
• Lokasi File Read
• Peristiwa Pelacakan: Read
• Callback: Read
• Langganan: Read
• Kampanye: Read
• Aset: Read
• Akun: Read
• Saluran OTT: Read
• Pengguna: Read

Untuk mengetahui informasi selengkapnya, lihat Cakupan Izin Integrasi API.

Prasyarat BigQuery

• Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
• Buat set data BigQuery untuk menyimpan data Anda.
• Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Pengelolaan Identitas dan Akses (IAM) pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditentukan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:

• Izin BigQuery Data Transfer Service:
  • bigquery.transfers.update
  • bigquery.transfers.get
• Izin BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.

Menyiapkan transfer data Salesforce Marketing Cloud

Tambahkan data Salesforce Marketing Cloud ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

1. Buka halaman Transfer data di Google Cloud konsol.

   Buka Data transfers

2. Klik Create transfer.

3. Di bagian Source type, untuk Source, pilih Salesforce Marketing Cloud.

4. Di bagian Data source details, lakukan hal berikut:

   • Untuk Network attachment, pilih lampiran jaringan dari menu. Sebelum dapat menggunakan lampiran jaringan dengan transfer data ini, Anda harus membuat lampiran jaringan dengan menentukan alamat IP statis.
   • Untuk API Subdomain, masukkan subdomain URI dasar autentikasi Anda.
   • Untuk API instance, masukkan instance API dari URL setelah Anda login ke aplikasi Marketing Cloud.
   • Untuk Client ID, masukkan client ID dari paket integrasi API Anda.
   • Untuk Client Secret, masukkan rahasia klien dari integrasi API Anda paket.

5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.

6. Di bagian Transfer config name, untuk Display name, masukkan a nama untuk transfer data.

7. Di bagian Schedule options, lakukan tindakan berikut:

   • Di daftar Repeat frequency, pilih opsi untuk menentukan seberapa sering transfer data ini berjalan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.
   • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.

8. Opsional: Di bagian Notification options, lakukan hal berikut:

   • Untuk mengaktifkan notifikasi email, klik tombol Email notification. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat operasi transfer gagal.
   • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Pub/Sub notifications. Anda dapat memilih nama topik, atau dapat mengklik Create a topic untuk membuatnya.

9. Klik Save.

bq

Masukkan perintah bq mk command dan berikan flag pembuatan transfer — --transfer_config.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ganti kode berikut:

• PROJECT_ID (opsional): Google Cloud project ID Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
• DATA_SOURCE: sumber data (misalnya, saphana).
• DISPLAY_NAME: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
• DATASET: set data target untuk konfigurasi transfer.
• PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer Salesforce Marketing Cloud:
  • connector.subdomain: Subdomain API.
  • connector.instance: Nilai instance API.
  • connector.authentication.oauth.clientId: Nama ID aplikasi untuk klien OAuth.
  • connector.authentication.oauth.clientSecret: Rahasia aplikasi untuk klien OAuth.
  • assets: daftar nama tabel Salesforce Marketing Cloud yang akan ditransfer dari Salesforce Marketing Cloud sebagai bagian dari transfer.

Misalnya, perintah berikut membuat transfer data Salesforce Marketing Cloud di project default dengan semua parameter yang diperlukan:

  bq mk
      --transfer_config
      --target_dataset=mydataset
      --data_source=salesforce_marketing
      --display_name='My Transfer'
      --params='{"connector.subdomain": "abcd",
      "connector.instance": "x",
      "connector.authentication.oauth.clientId": "1234567890",
      "connector.authentication.oauth.clientSecret":"ABC12345"}'

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Saat Anda menyimpan konfigurasi transfer, konektor Salesforce Marketing Cloud akan otomatis memicu operasi transfer sesuai dengan opsi jadwal Anda.

Tabel yang didukung

Dengan setiap operasi transfer, konektor Salesforce Marketing Cloud mentransfer semua data yang tersedia dari Salesforce Marketing Cloud ke BigQuery ke dalam tabel berikut berdasarkan antarmuka REST:

• Assets
• CampaignAssets
• Campaigns
• Categories
• EventDefinitions
• FacebookMessengerProperties
• JourneyActivities
• Journeys
• LineMessengerProperties
• SendDefinitions
• Subscriptions
• DataExtension
• DataExtensionObject_DATA_EXTENSION_NAME
• Email
• LinkSend
• List
• ListSubscriber
• Subscriber
• TriggeredSendDefinition

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data Salesforce Marketing Cloud ke jenis data BigQuery yang sesuai.

Jenis data Salesforce Marketing Cloud	Jenis data BigQuery
Boolean	BOOLEAN
Number	INTEGER
Text	STRING
Decimal	FLOAT
EmailAddress	STRING
Phone	STRING
Date	DATE
DateTime	TIMESTAMP
Locale	STRING

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data Salesforce Marketing Cloud, coba langkah-langkah pemecahan masalah berikut:

• Pastikan autentikasi yang dikonfigurasi untuk paket integrasi API dikonfigurasi ke Server-to-server.
• Pastikan aplikasi autentikasi dikonfigurasi dengan izin yang diperlukan di bagian Scope.

Pesan error

Error: invalid_grant. The client's IP address is unauthorized for this account. Allowlist the client's IP address in Marketing Cloud Administration.

Resolusi: Coba salah satu langkah berikut:

• Aktifkan semua alamat IP yang tersedia untuk Google Cloud resource.
• Konfigurasi lingkungan dan akun Salesforce Marketing Cloud Anda untuk menambahkan alamat IP statis ke daftar yang diizinkan. Google Cloud Untuk mengetahui informasi selengkapnya, lihat Menyiapkan daftar yang diizinkan IP untuk transfer Salesforce Marketing Cloud.

Error: INVALID_ARGUMENT. Table tableName does not exist in asset TableName

Resolusi: Pastikan Anda telah mengonfigurasi izin cakupan yang benar di aplikasi Salesforce Marketing Cloud. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Salesforce Marketing Cloud.

Error: FAILED_PRECONDITION: There was an issue connecting to API.

Resolusi: Error ini dapat terjadi jika Anda menyertakan lampiran jaringan dengan transfer, tetapi belum mengonfigurasi NAT publik dan menyiapkan daftar yang diizinkan IP. Untuk mengatasi error ini, ikuti langkah-langkah di Membuat lampiran jaringan dan ikuti langkah-langkah untuk membuat lampiran jaringan dengan menentukan alamat IP statis.

Harga

Untuk mengetahui informasi harga tentang transfer Salesforce Marketing Cloud, lihat Harga Data Transfer Service.

Langkah berikutnya

• Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
• Untuk mengetahui informasi cara menggunakan transfer data, termasuk mendapatkan informasi tentang a konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori operasi a transfer, lihat Mengelola transfer.
• Pelajari cara memuat data dengan operasi lintas-cloud.