Streaming data dari organisasi Salesforce

Anda dapat menghubungkan Datastream ke instance Salesforce untuk mereplikasi data historis dan mengubah peristiwa untuk analisis dan integrasi data. Salesforce adalah platform pengelolaan hubungan pelanggan berbasis cloud yang setiap instance-nya sering disebut sebagai organisasi Salesforce atau org Salesforce.

Saat menyiapkan sumber Salesforce di Datastream, tinjau istilah utama, perilaku replikasi, edisi dan versi API yang didukung, praktik terbaik, dan batasan umum.

Istilah utama

Salesforce beroperasi menggunakan objek, data, dan kolom:

  • Objek adalah entity class, dan mirip dengan tabel dalam nomenklatur database relasional. Objek dapat berupa standar atau kustom. Objek standar disertakan dalam Salesforce secara default, sedangkan objek kustom dibuat oleh pengguna untuk menyimpan data khusus untuk kasus penggunaan mereka.
  • Data adalah instance spesifik dari objek, mirip dengan baris dalam database relasional.
  • Kolom adalah atribut spesifik dari objek, mirip dengan kolom dalam database relasional.

Perilaku

Dukungan sumber Salesforce di Datastream mengandalkan REST dan Bulk 2.0 API. Salesforce melakukan polling untuk perubahan sumber berdasarkan interval yang Anda tetapkan untuk memungkinkan kontrol atas penggunaan API.

Saat mereplikasi data dari sumber Salesforce, perilaku berikut akan diamati:

  • Objek standar yang dapat direplikasi dan dikueri yang memiliki kolom SystemModstamp atau LastModifiedDate dapat direplikasi. Agar objek dapat direplikasi, objek tersebut harus mendukung panggilan API getUpdated() dan getDeleted(). Untuk mengetahui informasi selengkapnya, lihat Panggilan API untuk Replikasi Data dalam dokumentasi Salesforce.
  • Objek kustom dapat direplikasi.
  • Jika dikonfigurasi, semua data historis akan direplikasi untuk objek yang disertakan.
  • Semua perubahan, seperti penyisipan, update, dan penghapusan dari objek yang ditentukan, akan direplikasi.
  • Datastream melakukan polling untuk perubahan sesuai dengan interval polling yang dikonfigurasi. Hal ini tercermin dalam metrik keaktualan data aliran data. Metrik ini dapat bertambah hingga nilai interval polling yang dikonfigurasi dan mencerminkan waktu yang berlalu dari polling terbaru.

Versi

Datastream mendukung edisi Salesforce berikut:

  • Pro Suite
  • Developer
  • Profesional
  • Enterprise
  • Tidak terbatas

Datastream menggunakan Salesforce API versi 61.0.

Untuk mengetahui informasi selengkapnya tentang edisi Salesforce yang tersedia, lihat dokumentasi Salesforce.

Praktik terbaik

Bagian ini menjelaskan praktik terbaik yang direkomendasikan untuk mengonfigurasi sumber Salesforce agar dapat digunakan dengan Datastream.

Mengelola penggunaan kuota API

Salesforce memberlakukan batas pada jumlah permintaan API yang dapat dibuat dalam periode berkelanjutan 24 jam. Kehabisan kuota ini adalah tantangan umum saat mereplikasi data dari Salesforce.

Anda dapat mengonfigurasi interval polling di Datastream untuk mengurangi jumlah permintaan API yang dibuat ke Salesforce. Meskipun interval polling yang lebih singkat meningkatkan keaktualan data, interval ini juga meningkatkan penggunaan kuota API. Sebaiknya tetapkan interval polling yang menyeimbangkan keaktualan data yang Anda pilih dengan batasan kuota API untuk memastikan replikasi data yang berkelanjutan. Jika perlu, Anda dapat meningkatkan kuota permintaan API global di Salesforce.

Batasan umum

Batasan umum penggunaan Salesforce sebagai sumber meliputi:

  • Hanya objek yang dapat dikueri dan direplikasi yang didukung.
  • Kolom gabungan direplikasi sebagai kolom yang di-flatten.
  • Mendukung hingga 600.000 penghapusan per menit (batasan Salesforce).
  • Streaming dibatasi hingga 3.000 objek.

  • Kolom kalkulasi (juga dikenal sebagai formula) hanya didukung sebagian. Replikasi kolom kalkulasi tunduk pada batasan berikut:

    • Referensi lintas tabel tidak didukung.
    • Fungsi non-deterministik (seperti NOW() atau TODAY()) tidak didukung, karena Datastream tidak dapat menentukan kapan nilai kolom ini berubah.
    • Hanya kumpulan fungsi tertentu yang diizinkan yang didukung. Jika kolom kalkulasi menggunakan fungsi apa pun di luar daftar ini, kolom tersebut tidak akan direplikasi.

    Daftar berikut menunjukkan fungsi yang didukung:

    • Logis: AND, OR, NOT, IF, CASE, ISNULL, ISBLANK, BLANKVALUE, ISPICKVAL
    • Matematika: ABS, CEILING, MCEILING, FLOOR, MFLOOR, ROUND, MOD, SQRT, EXP, LN, LOG, MAX, MIN
    • Teks: BEGINS, BR, CONTAINS, FIND, HYPERLINK, INCLUDES, LEFT, LEN, LOWER, LPAD, MID, RPAD, RIGHT, SUBSTITUTE, TEXT, TRIM, UPPER, VALUE
    • Tanggal dan waktu: DATE, DATEVALUE, DATETIMEVALUE, DAY, MONTH, YEAR, HOUR, MINUTE, SECOND, MILLISECOND, WEEKDAY, TIMEVALUE, ADDMONTHS
    • Lainnya: REGEX

  • Pemulihan streaming tidak didukung.

Langkah berikutnya