Memuat data Salesforce Marketing Cloud ke BigQuery
Anda dapat memuat data dari Salesforce Marketing Cloud ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Salesforce Marketing Cloud. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Salesforce Marketing Cloud ke BigQuery.
Batasan
Transfer data Salesforce Marketing Cloud tunduk pada batasan berikut:
- Satu konfigurasi transfer hanya dapat mendukung satu kali menjalankan transfer data pada waktu tertentu. Jika transfer data kedua dijadwalkan untuk berjalan sebelum transfer pertama selesai, maka hanya transfer data pertama yang akan selesai, sedangkan transfer data lain yang tumpang-tindih dengan transfer pertama akan dilewati.
- Untuk menghindari transfer yang dilewati dalam satu konfigurasi transfer, sebaiknya Anda memperpanjang durasi waktu antara transfer data dalam jumlah besar dengan mengonfigurasi Frekuensi pengulangan.
- Jika lampiran jaringan dan instance virtual machine (VM) yang dikonfigurasi berada di region yang berbeda, mungkin ada pergerakan data lintas region saat Anda mentransfer data dari Salesforce Marketing Cloud.
Sebelum memulai
Bagian berikut menjelaskan langkah-langkah yang harus Anda lakukan sebelum membuat transfer data Salesforce Marketing Cloud.
Prasyarat Salesforce Marketing Cloud
Anda harus memiliki informasi berikut saat membuat transfer data Salesforce Marketing Cloud:
Nama Parameter | Deskripsi |
---|---|
subdomain |
Subdomain API, yang ada di URI dasar. Misalnya, di URI dasar
autentikasi https://SUBDOMAIN.auth.marketingcloudapis.com/ ,
SUBDOMAIN adalah nilai subdomain Anda. |
instance |
Instance server API, yang ada di URL setelah Anda login ke aplikasi Salesforce Marketing Cloud. Nilai instance mencakup `s` yang diikuti dengan nilai numerik. Misalnya, di URL `https://mc.s4.exacttarget.com/`, nilai instance adalah `s4`. Untuk mengetahui informasi selengkapnya, lihat Menemukan lokasi stack untuk akun Marketing Cloud |
clientId |
Client ID dari integrasi API. Buka Penyiapan > Aplikasi > Paket Terinstal, lalu klik nama paket. Client ID tercantum di bagian Komponen. |
clientSecret |
Rahasia klien integrasi aplikasi. Buka Penyiapan > Aplikasi > Paket Terinstal, lalu klik nama paket. Rahasia klien tercantum di bagian Komponen. |
Menyiapkan daftar yang diizinkan IP untuk transfer Salesforce Marketing Cloud
Anda harus mengonfigurasi lingkungan Google Cloud dan akun Salesforce Marketing Cloud untuk menambahkan alamat IP tertentu ke daftar yang diizinkan untuk transfer data. Hal ini memastikan bahwa Salesforce Marketing Cloud hanya menerima koneksi dari alamat IP statis yang tepercaya.
Untuk melakukannya, Anda harus menyiapkan dan mengonfigurasi Google Cloud jaringan terlebih dahulu untuk menggunakan alamat IP statis:
- Siapkan penafsiran alamat jaringan (NAT) publik dengan alamat IP statis dalam jaringan Virtual Private Cloud Anda. CloudNAT harus dikonfigurasi dalam region yang sama dengan set data tujuan untuk transfer data ini.
- Siapkan lampiran jaringan dalam jaringan VPC yang sama. Resource ini digunakan oleh BigQuery Data Transfer Service untuk mengakses layanan pribadi.
Selanjutnya, Anda harus menambahkan alamat IP statis ke daftar yang diizinkan di Salesforce Marketing Cloud. Saat menambahkan rentang alamat IP, gunakan alamat IP statis dari Google Cloud NAT publik untuk alamat IP awal dan akhir rentang IP.
Setelah menyiapkan rentang IP, Anda kini dapat menentukan IP statis saat menyiapkan konfigurasi transfer dengan memilih lampiran jaringan di kolom Lampiran jaringan.
Menginstal dan mengonfigurasi paket integrasi API Salesforce Marketing Cloud
Anda harus menginstal paket integrasi API server-ke-server di Salesforce Marketing Cloud. Anda dapat melakukannya di Salesforce Marketing Cloud dengan menginstal paket yang baru diinstal, dan menentukan komponen Integrasi API > Server-ke-Server. Untuk mengetahui informasi selengkapnya, lihat Membuat dan Menginstal Paket.
Setelah menginstal paket integrasi API, Anda harus menambahkan cakupan izin berikut:
- Akses:
Offline Access
- Email:
Read
- OTT:
Read
- Dorong:
Read
- SMS:
Read
- Web:
Read
- Dokumen dan gambar:
Read
- Konten Tersimpan:
Read
- Perjalanan:
Read
- Audiens:
Read
- Daftar dan Subscriber:
Read
- Ekstensi Tanggal:
Read
- Lokasi File
Read
- Melacak Peristiwa:
Read
- Panggilan balik:
Read
- Langganan:
Read
- Kampanye:
Read
- Aset:
Read
- Akun:
Read
- Saluran OTT:
Read
- Pengguna:
Read
Untuk mengetahui informasi selengkapnya, lihat Cakupan Izin Integrasi API.
Prasyarat BigQuery
- Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
- Buat set data BigQuery untuk menyimpan data Anda.
- Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM)
pubsub.topics.setIamPolicy
. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.
Peran BigQuery yang diperlukan
Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service,
minta administrator untuk memberi Anda
peran IAM BigQuery Admin (roles/bigquery.admin
)
di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:
-
Izin BigQuery Data Transfer Service:
-
bigquery.transfers.update
-
bigquery.transfers.get
-
-
Izin BigQuery:
-
bigquery.datasets.get
-
bigquery.datasets.getIamPolicy
-
bigquery.datasets.update
-
bigquery.datasets.setIamPolicy
-
bigquery.jobs.create
-
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin
.
Menyiapkan transfer data Salesforce Marketing Cloud
Tambahkan data Salesforce Marketing Cloud ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:
Konsol
Buka halaman Transfer data di konsol Google Cloud .
Klik
Create transfer.Di bagian Source type, untuk Source, pilih Salesforce Marketing Cloud.
Di bagian Detail sumber data, lakukan hal berikut:
- Untuk API Subdomain, masukkan subdomain URI dasar autentikasi Anda.
- Untuk API instance, masukkan instance API dari URL setelah Anda login ke aplikasi Marketing Cloud.
- Untuk Client ID, masukkan client ID dari paket integrasi API Anda.
- Untuk Client Secret, masukkan client secret dari paket integrasi API Anda.
Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data Anda.
Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.
Di bagian Opsi jadwal, lakukan tindakan berikut:
- Dalam daftar Frekuensi berulang, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
- Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.
Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:
- Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
- Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.
Klik Simpan.
bq
Masukkan perintah bq mk
dan berikan flag pembuatan transfer — --transfer_config
.
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=DISPLAY_NAME --target_dataset=DATASET --params='PARAMETERS'
Ganti kode berikut:
- PROJECT_ID (opsional): ID project Google Cloud Anda.
Jika
--project_id
tidak diberikan untuk menentukan project tertentu, project default akan digunakan. - DATA_SOURCE: sumber data (misalnya,
saphana
). - DISPLAY_NAME: nama tampilan untuk konfigurasi transfer. Nama transfer data dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
- DATASET: set data target untuk konfigurasi transfer.
- PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh:
--params='{"param":"param_value"}'
. Berikut adalah parameter untuk transfer Salesforce Marketing Cloud:connector.subdomain
: Subdomain API.connector.instance
: Nilai instance API.connector.authentication.oauth.clientId
: Nama ID aplikasi untuk klien OAuth.connector.authentication.oauth.clientSecret
: Rahasia aplikasi untuk klien OAuth.
Misalnya, perintah berikut membuat transfer data Salesforce Marketing Cloud di project default dengan semua parameter yang diperlukan:
bq mk --transfer_config --target_dataset=mydataset --data_source=salesforce_marketing --display_name='My Transfer' --params='{"connector.subdomain": "abcd", "connector.instance": "x", "connector.authentication.oauth.clientId": "1234567890", "connector.authentication.oauth.clientSecret":"ABC12345"}'
API
Gunakan metode projects.locations.transferConfigs.create
dan berikan instance resource TransferConfig
.
Saat Anda menyimpan konfigurasi transfer, konektor Salesforce Marketing Cloud akan otomatis memicu proses transfer sesuai opsi jadwal Anda. Dengan setiap operasi transfer, konektor Salesforce Marketing Cloud akan mentransfer semua data yang tersedia dari Salesforce Marketing Cloud ke BigQuery dalam tabel berikut berdasarkan REST API:
Assets
CampaignAssets
Campaigns
Categories
EventDefinitions
FacebookMessengerProperties
JourneyActivities
Journeys
LineMessengerProperties
SendDefinitions
Subscriptions
DataExtension
Email
LinkSend
List
ListSubscriber
Subscriber
TriggeredSendDefinition
Untuk menjalankan transfer data secara manual di luar jadwal rutin, Anda dapat memulai operasi pengisian ulang.
Pemetaan jenis data
Tabel berikut memetakan jenis data Salesforce Marketing Cloud ke jenis data BigQuery yang sesuai.
Jenis data Salesforce Marketing Cloud | Jenis data BigQuery |
---|---|
Boolean |
BOOLEAN |
Number |
INTEGER |
Text |
STRING |
Decimal |
FLOAT |
EmailAddress |
STRING |
Phone |
STRING |
date |
DATE |
Date |
TIMESTAMP |
Memecahkan masalah penyiapan transfer
Jika Anda mengalami masalah saat menyiapkan transfer data Salesforce Marketing Cloud, coba langkah-langkah pemecahan masalah berikut:
- Pastikan autentikasi yang dikonfigurasi untuk paket integrasi API dikonfigurasi ke Server-ke-server.
- Pastikan aplikasi autentikasi dikonfigurasi dengan izin yang diperlukan di bagian Cakupan.
Pesan error
- Error:
invalid_grant. The client's IP address is unauthorized for this account. Allowlist the client's IP address in Marketing Cloud Administration.
Penyelesaian: Coba salah satu langkah berikut:
- Aktifkan semua alamat IP yang tersedia untuk Google Cloud resource.
- Nonaktifkan daftar IP yang diizinkan. Anda dapat melakukannya dengan login ke aplikasi Salesforce Marketing Cloud, lalu membuka halaman Setup > Security Settings. Klik Edit, lalu konfigurasi setelan Batasi Login menurut Alamat IP (Pengizinan Daftar IP) ke Pengizinan Daftar IP Dinonaktifkan.
- Error:
INVALID_ARGUMENT. Table tableName does not exist in asset TableName
Penyelesaian: Pastikan Anda telah mengonfigurasi izin cakupan yang benar di aplikasi Salesforce Marketing Cloud. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Salesforce Marketing Cloud.
Harga
Tidak ada biaya untuk mentransfer data Salesforce Marketing Cloud ke BigQuery selama fitur ini dalam status Pratinjau.
Langkah berikutnya
- Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
- Untuk informasi tentang cara menggunakan transfer data, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Mengelola transfer.
- Pelajari cara memuat data dengan operasi lintas-cloud.