Memuat data HubSpot ke BigQuery

Anda dapat memuat data dari HubSpot ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk HubSpot. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari HubSpot ke BigQuery.

Batasan

Konektor HubSpot memerlukan token akses aplikasi pribadi untuk autentikasi.

  • Anda harus memiliki aplikasi pribadi HubSpot untuk mendapatkan token akses aplikasi pribadi sebelum dapat menyiapkan transfer data HubSpot. Untuk mengetahui informasi selengkapnya, lihat Prasyarat HubSpot.

Sebelum memulai

Bagian berikut menjelaskan prasyarat yang perlu Anda lakukan sebelum membuat transfer data HubSpot.

Prasyarat HubSpot

Anda harus membuat aplikasi pribadi HubSpot dan mengambil token akses aplikasi pribadi. Untuk informasi selengkapnya, lihat referensi berikut:

Aplikasi pribadi juga harus memiliki cakupan berikut:

  • crm.lists.read
  • crm.lists.write
  • crm.objects.companies.read
  • crm.objects.companies.write
  • crm.objects.contacts.read
  • crm.objects.contacts.write
  • crm.objects.deals.read
  • crm.objects.deals.write
  • crm.objects.owners.read
  • crm.schemas.deals.read
  • crm.schemas.deals.write
  • crm.schemas.companies.read
  • crm.schemas.companies.write
  • crm.schemas.contacts.read
  • crm.schemas.contacts.write

Untuk mengetahui informasi tentang cara mengonfigurasi cakupan untuk aplikasi pribadi Anda, lihat Aplikasi pribadi lama.

Prasyarat BigQuery

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:

  • Izin BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Izin BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.

Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin IAM pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Menyiapkan transfer data HubSpot

Tambahkan data HubSpot ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di konsol Google Cloud .

    Buka Data transfers

  2. Klik Create transfer.

  3. Di bagian Source type, untuk Source, pilih HubSpot - Preview.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk Token akses, masukkan kunci token akses pribadi Anda. Untuk mengetahui informasi selengkapnya, lihat Prasyarat HubSpot.
    • Untuk HubSpot objects to transfer, klik Browse untuk memilih objek yang akan ditransfer ke set data tujuan BigQuery. Anda juga dapat memasukkan objek secara manual untuk disertakan dalam transfer data di kolom ini.

  5. Di bagian Setelan tujuan, untuk Set data, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

  7. Di bagian Schedule options:

    • Dalam daftar Frekuensi berulang, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Start now atau Start at set time, lalu masukkan tanggal mulai dan waktu proses.

  8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.

  9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ganti kode berikut:

  • PROJECT_ID (opsional): Google Cloud project ID Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — hubspot.
  • NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.

  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data HubSpot:

    • assets: jalur ke objek HubSpot yang akan ditransfer ke BigQuery.
    • connector.accessToken: kunci token akses pribadi HubSpot.

Perintah berikut akan membuat transfer data HubSpot di project default.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.accessToken": "pat_123456789123"}'
Saat Anda menyimpan konfigurasi transfer, konektor HubSpot akan otomatis memicu proses transfer sesuai opsi jadwal Anda. Dengan setiap operasi transfer, konektor HubSpot akan mentransfer semua data yang tersedia dari HubSpot ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data HubSpot ke jenis data BigQuery yang sesuai:

Jenis data HubSpot Jenis data BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

Harga

Tidak ada biaya untuk mentransfer data HubSpot ke BigQuery selama fitur ini dalam status Pratinjau.

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer HubSpot.

Langkah berikutnya