HubSpot-Daten in BigQuery laden

Mit dem Connector für BigQuery Data Transfer Service für HubSpot können Sie Daten aus HubSpot in BigQuery laden. Mit dem BigQuery Data Transfer Service können Sie wiederkehrende Übertragungsjobs planen, mit denen Ihre neuesten Daten aus HubSpot in BigQuery eingefügt werden.

Beschränkungen

Für den HubSpot-Connector ist ein Zugriffstoken für private Apps zur Authentifizierung erforderlich.

  • Sie benötigen eine private HubSpot-App, um ein Zugriffstoken für eine private App zu erhalten, bevor Sie eine HubSpot-Datenübertragung einrichten können. Weitere Informationen finden Sie unter HubSpot-Voraussetzungen.

Hinweise

In den folgenden Abschnitten werden die Voraussetzungen beschrieben, die Sie erfüllen müssen, bevor Sie eine HubSpot-Datenübertragung erstellen.

Voraussetzungen für HubSpot

Sie müssen eine private HubSpot-App erstellen und das Zugriffstoken für die private App abrufen. Hier finden Sie weitere Informationen:

Die private App muss außerdem die folgenden Bereiche haben:

  • crm.lists.read
  • crm.lists.write
  • crm.objects.companies.read
  • crm.objects.companies.write
  • crm.objects.contacts.read
  • crm.objects.contacts.write
  • crm.objects.deals.read
  • crm.objects.deals.write
  • crm.objects.owners.read
  • crm.schemas.deals.read
  • crm.schemas.deals.write
  • crm.schemas.companies.read
  • crm.schemas.companies.write
  • crm.schemas.contacts.read
  • crm.schemas.contacts.write

Informationen zum Konfigurieren von Bereichen für Ihre private App finden Sie unter Alte private Apps.

Voraussetzungen für BigQuery

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Datenübertragung für den BigQuery Data Transfer Service benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um eine Datenübertragung für den BigQuery Data Transfer Service zu erstellen:

  • Berechtigungen für BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • BigQuery-Berechtigungen:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen finden Sie unter Zugriff auf bigquery.admin gewähren.

Wenn Sie Benachrichtigungen zur Übertragungsausführung für Pub/Sub einrichten möchten, benötigen Sie die IAM-Berechtigung pubsub.topics.setIamPolicy. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.

HubSpot-Datenübertragung einrichten

Sie können HubSpot-Daten in BigQuery einfügen, indem Sie eine Übertragungskonfiguration mit einer der folgenden Optionen einrichten:

Console

  1. Rufen Sie in der Google Cloud -Console die Seite „Datenübertragungen“ auf.

    Zu „Datenübertragungen”

  2. Klicken Sie auf Übertragung erstellen.

  3. Wählen Sie im Abschnitt Quelltyp als Quelle die Option HubSpot – Vorschau aus.

  4. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

    • Geben Sie unter Zugriffstoken Ihren privaten Zugriffstoken-Schlüssel ein. Weitere Informationen finden Sie unter HubSpot-Voraussetzungen.
    • Klicken Sie unter Zu übertragende HubSpot-Objekte auf Durchsuchen, um alle Objekte auszuwählen, die an das BigQuery-Ziel-Dataset übertragen werden sollen. Sie können in dieses Feld auch manuell alle Objekte eingeben, die in die Datenübertragung einbezogen werden sollen.

  5. Wählen Sie im Abschnitt Zieleinstellungen als Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.

  6. Geben Sie im Abschnitt Konfigurationsname für Übertragung als Anzeigename einen Namen für die Datenübertragung ein.

  7. Im Abschnitt Zeitplanoptionen:

    • Wählen Sie in der Liste Wiederholungshäufigkeit aus, wie oft diese Datenübertragung ausgeführt werden soll. Wenn Sie eine benutzerdefinierte Wiederholungshäufigkeit angeben möchten, wählen Sie Benutzerdefiniert aus. Wenn Sie On demand auswählen, wird diese Datenübertragung ausgeführt, wenn Sie die Übertragung manuell auslösen.
    • Wählen Sie gegebenenfalls Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

  8. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

    • Klicken Sie zum Aktivieren von E‑Mail-Benachrichtigungen auf die Ein/Aus-Schaltfläche E‑Mail-Benachrichtigung. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E‑Mail-Benachrichtigung, falls ein Übertragungsvorgang fehlschlägt.
    • Klicken Sie auf die Ein/Aus-Schaltfläche Pub/Sub-Benachrichtigungen, um Pub/Sub-Ausführungsbenachrichtigungen für diese Übertragung zu aktivieren. Sie können Ihr Thema auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

  9. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ersetzen Sie Folgendes:

  • PROJECT_ID (optional): Ihre Google Cloud Projekt-ID. Wenn --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
  • DATA_SOURCE. Die Datenquelle – hubspot.
  • NAME: Der Anzeigename für die Datenübertragungskonfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
  • DATASET: Das Ziel-Dataset für die Übertragungskonfiguration.

  • PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine HubSpot-Datenübertragung:

    • assets: Der Pfad zu den HubSpot-Objekten, die in BigQuery übertragen werden sollen.
    • connector.accessToken: Der Schlüssel für das private HubSpot-Zugriffstoken.

Mit dem folgenden Befehl wird eine HubSpot-Datenübertragung im Standardprojekt erstellt.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.accessToken": "pat_123456789123"}'
Wenn Sie die Übertragungskonfiguration speichern, wird durch den HubSpot-Connector automatisch eine Übertragung gemäß Ihrer Zeitplanoption ausgelöst. Bei jedem Übertragungsvorgang werden mit dem HubSpot-Connector alle verfügbaren Daten aus HubSpot in BigQuery übertragen.

Wenn Sie eine Datenübertragung manuell außerhalb des regulären Zeitplans ausführen möchten, können Sie einen Backfill-Vorgang starten.

Datentypzuordnung

In der folgenden Tabelle werden HubSpot-Datentypen den entsprechenden BigQuery-Datentypen zugeordnet:

HubSpot-Datentyp BigQuery-Datentyp
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

Preise

Während sich dieses Feature in der Vorschau befindet, fallen keine Kosten für die Übertragung von HubSpot-Daten in BigQuery an.

Fehler bei der Übertragungseinrichtung beheben

Bei Problemen beim Einrichten von Datenübertragungen finden Sie weitere Informationen unter HubSpot-Übertragungsprobleme.

Nächste Schritte