טעינת נתונים מ-HubSpot ל-BigQuery

אפשר לטעון נתונים מ-HubSpot ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery עבור HubSpot. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-HubSpot ל-BigQuery.

מגבלות

כדי לאמת את המחבר של HubSpot, צריך אסימון גישה לאפליקציה פרטית.

  • כדי להגדיר העברת נתונים מ-HubSpot, צריך ליצור אפליקציה פרטית ב-HubSpot ולקבל ממנה טוקן גישה. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-HubSpot.

לפני שמתחילים

בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים ב-HubSpot.

דרישות מוקדמות לשימוש ב-HubSpot

צריך ליצור אפליקציה פרטית ב-HubSpot ולאחזר את טוקן הגישה של האפליקציה הפרטית. למידע נוסף, קראו את המאמרים הבאים:

היקפים נדרשים

היקפי HubSpot מאפשרים לשירותים אחרים לגשת לנקודות קצה ספציפיות של API כדי לגשת לנתונים בחשבון HubSpot. כדי לאפשר למחבר HubSpot להעביר נתונים מחשבון HubSpot שלכם, אתם צריכים להפעיל את היקפי ההרשאות הבאים באפליקציה הפרטית שלכם:

היקפים נדרשים

  • automation
  • business-intelligence
  • collector_graphql_query_execute
  • collector_graphql_query_read
  • content
  • conversations.read
  • conversations.visitor_identification.tokens.create
  • crm.import
  • crm.lists.read
  • crm.objects.companies.read
  • crm.objects.contacts.read
  • crm.objects.deals.read
  • crm.objects.owners.read
  • crm.schemas.companies.read
  • crm.schemas.contacts.read
  • crm.schemas.deals.read
  • e-commerce
  • files
  • forms
  • forms-uploaded-files
  • hubdb
  • integration-sync
  • oauth
  • sales-email-read
  • settings.users.read
  • settings.users.teams.read
  • social
  • tickets
  • timeline
  • transactional-email

מידע על הגדרת היקפים לאפליקציה פרטית זמין במאמר בנושא אפליקציות פרטיות מדור קודם.

היקפי הרשאות אופציונליים

כדי להעביר אובייקטים מסוימים של נתונים ב-HubSpot, כמו נתונים רגישים או נתונים רגישים מאוד, צריך גם להפעיל את היקפי ההרשאות הבאים:

היקפים של מידע אישי רגיש

כדי להעביר מידע אישי רגיש, צריך להפעיל את היקפי ההרשאות הבאים:

  • crm.objects.contacts.sensitive.read
  • crm.objects.companies.sensitive.read
  • crm.objects.deals.sensitive.read
  • crm.objects.appointments.sensitive.read
  • crm.objects.custom.sensitive.read
  • crm.objects.projects.sensitive.read
  • tickets.sensitive

היקפים של מידע אישי רגיש

כדי להעביר נתונים רגישים מאוד, צריך להפעיל את היקפי ההרשאות הבאים:

  • crm.objects.contacts.highly_sensitive.read
  • crm.objects.companies.highly_sensitive.read
  • crm.objects.deals.highly_sensitive.read
  • crm.objects.custom.highly_sensitive.read
  • crm.objects.projects.highly_sensitive.read
  • tickets.highly_sensitive

היקפי גישה לנתונים אחרים

כדי להעביר אובייקטים מסוימים של נתונים, צריך לכלול היקפי גישה ספציפיים בהעברת הנתונים. לדוגמה, כדי להעביר את objects.courses, צריך להגדיר את היקף ההרשאות crm.objects.courses.read. הרשימה הבאה כוללת את היקפי ההרשאות הנדרשים להעברת אובייקט הנתונים המתאים:

  • crm.objects.appointments.read
  • crm.objects.courses.read
  • crm.objects.custom.read
  • crm.objects.goals.read
  • crm.objects.leads.read
  • crm.objects.line_items.read
  • crm.objects.listings.read
  • crm.objects.orders.read
  • crm.objects.owners.read
  • crm.objects.products.read
  • crm.objects.services.read
  • crm.objects.users.read
  • crm.pipelines.orders.read
  • crm.schemas.appointments.read
  • crm.schemas.courses.read
  • crm.schemas.custom.read
  • crm.schemas.deals.read
  • crm.schemas.line_items.read
  • crm.schemas.listings.read
  • crm.schemas.orders.read
  • crm.schemas.quotes.read
  • crm.schemas.services.read
  • marketing.campaigns.read
  • marketing.campaigns.revenue.read
  • settings.users.read
  • settings.users.teams.read
  • crm.dealsplits.read_write
  • crm.export
  • crm.extensions_calling_transcripts.read
  • crm.schemas.carts.read
  • crm.objects.carts.read
  • crm.objects.subscriptions.read
  • crm.objects.commercepayments.read
  • crm.objects.projects.read
  • crm.objects.quotes.read
  • crm.objects.partner-clients.read
  • crm.objects.partner-services.read
  • crm.objects.marketing_events.read
  • crm.objects.invoices.read
  • crm.objects.feedback_submissions.read
  • crm.objects.forecasts.read
  • crm.schemas.commercepayments.read
  • crm.schemas.forecasts.read
  • crm.schemas.invoices.read
  • crm.schemas.projects.read
  • crm.schemas.subscriptions.read

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicyIAM. לא נדרשות הרשאות Pub/Sub אם מגדירים רק התראות באימייל. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.

הגדרה של העברת נתונים מ-HubSpot

כדי להוסיף נתונים מ-HubSpot ל-BigQuery, צריך להגדיר העברה באחת מהדרכים הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע סוג המקור, בוחרים באפשרות HubSpot – תצוגה מקדימה בשדה מקור.

  4. בקטע Data source details (פרטים של מקור הנתונים):

    • בקטע טוקן גישה, מזינים את מפתח טוקן הגישה הפרטי. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-HubSpot.
    • בקטע HubSpot objects to transfer (אובייקטים של HubSpot להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – hubspot.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-HubSpot:

    • ‫assets: הנתיב לאובייקטים של HubSpot שיועברו ל-BigQuery.
    • ‫connector.authentication.oauth.accessToken: המפתח של אסימון הגישה הפרטי ב-HubSpot.

הפקודה הבאה יוצרת העברת נתונים של HubSpot בפרויקט ברירת המחדל.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.authentication.oauth.accessToken": "pat_123456789123"}'
כששומרים את הגדרות ההעברה, מחבר HubSpot מפעיל באופן אוטומטי את ההעברה בהתאם לאפשרות התזמון שהגדרתם. בכל הפעלה של העברה, המחבר של HubSpot מעביר את כל הנתונים שזמינים מ-HubSpot אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-HubSpot והמיפוי שלהם לסוגי הנתונים התואמים ב-BigQuery:

סוג הנתונים ב-HubSpot סוג נתונים ב-BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

תמחור

העברת נתונים מ-HubSpot אל BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה מ-HubSpot.

המאמרים הבאים