טעינת נתונים מ-PayPal ל-BigQuery

אפשר לטעון נתונים מ-PayPal ל-BigQuery באמצעות המחבר של PayPal עם שירות העברת הנתונים ל-BigQuery. מחבר PayPal מאפשר לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-PayPal ל-BigQuery.

מחבר PayPal תומך בחשבונות PayPal בסביבת ייצור ובסביבת ארגז חול.

אובייקטים נתמכים

סוגי אובייקטים ב-PayPal אובייקטים שנתמכים ב-BigQuery תמיכה במסנן תאריכים
טרנזקציות TransactionReports נתמך
TransactionReportsCartInfoItemDetails נתמך
TransactionReportsIncentiveDetails נתמך
מחלוקות מחלוקות נתמך
DisputeDetails נתמך
DisputeTransactions נתמך
תשלומים תשלומים נתמך
PaymentTransactions נתמך
יתרה יתרה לא נתמך
מוצרים מוצרים לא נתמך
ProductDetails לא נתמך
חשבוניות חשבוניות נתמך

מגבלות

העברות נתונים מ-PayPal כפופות למגבלות הבאות:

  • יכול להיות שיהיה עיכוב של כמה שעות עד שעסקאות ב-PayPal יהיו זמינות דרך PayPal API.
    • כדי למנוע אובדן נתונים, מומלץ לתזמן העברות נתונים עתידיות במרווחי זמן ארוכים יותר (לא יותר מאחת לשעה).
  • מחבר PayPal תומך רק בנתוני עסקאות מ-3 השנים האחרונות.
  • מחבר PayPal תומך רק בנתוני מחלוקות מ-6 החודשים האחרונים.
  • ממשקי ה-API של PayPal משתמשים במגבלות שונות של גודל הדף לכל אובייקט נתונים. מחבר PayPal משתמש בגודל הדף המקסימלי שמותר על ידי PayPal בהעברת נתונים.
    • עם זאת, יש אובייקטים כמו Payments או Payment Transactions שבהם המגבלות על גודל הדף קטנות יותר. הדבר עלול להוביל להעברות נתונים איטיות יותר, במיוחד כשמדובר במערכי נתונים גדולים.

לפני שמתחילים

בקטעים הבאים מפורטים השלבים שצריך לבצע לפני שיוצרים העברת נתונים של פייפאל.

דרישות מוקדמות לשימוש ב-PayPal

כדי להפעיל העברת נתונים מ-PayPal, אתם צריכים:

  • צריך להיות לכם חשבון פיתוח ב-PayPal. מידע נוסף זמין בתוכנית למפתחים של PayPal.
  • יוצרים אפליקציית PayPal REST API. מידע נוסף זמין במאמר איך מתחילים להשתמש ב-PayPal REST API.
    • בקטע Apps & Credentials, רושמים את מזהה הלקוח ואת המפתח הסודי של האפליקציה.
    • בקטע Features (תכונות), מפעילים את ההרשאות ל-API של Transaction search (חיפוש עסקאות) ושל Invoicing (חשבוניות).

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Admin (roles/bigquery.admin). להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות ליצירת העברה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברה, צריך את ההרשאות הבאות:

  • bigquery.transfers.update במשתמש
  • bigquery.datasets.get במערך נתוני היעד
  • bigquery.datasets.update במערך נתוני היעד

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

דרישות מוקדמות ל-BigQuery

הגדרת העברת נתונים מפייפאל

כדי להוסיף נתונים של PayPal ל-BigQuery, צריך להגדיר העברה באחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע Source type, בשדה Source, בוחרים באפשרות PayPal.

  4. בקטע Data source details (פרטים של מקור הנתונים):

    • בשדה Client Id (מזהה לקוח), מזינים את מזהה הלקוח של PayPal. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-PayPal.
    • בקטע Client Secret, מזינים את המפתח הסודי של לקוח PayPal. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-PayPal.
    • בוחרים באפשרות Is Sandbox אם משתמשים בחשבון PayPal בארגז חול.
    • בשדה תאריך התחלה, מזינים תאריך בפורמט YYYY-MM-DD. העברת הנתונים טוענת נתונים מ-PayPal החל מהתאריך הזה.
      • אם השדה הזה יישאר ריק, ברירת המחדל של ההעברה הזו תהיה אחזור נתונים מ-3 השנים האחרונות.
      • מידע על אובייקטים שתומכים במסנן תאריך ההתחלה זמין במאמר אובייקטים נתמכים.
    • בקטע PayPal objects to transfer (אובייקטים של PayPal להעברה), מזינים את השמות של האובייקטים של PayPal שרוצים להעביר, או לוחצים על Browse (עיון) ובוחרים את האובייקטים שרוצים להעביר.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע שם הגדרת ההעברה, בשדה שם מוצג, מזינים שם להעברת הנתונים.

  7. בקטע Schedule options:

    • ברשימה Repeat frequency, בוחרים אפשרות כדי לציין באיזו תדירות תתבצע העברת הנתונים הזו. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, מעבירים את המתג התראות באימייל למצב מופעל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הרצת העברה ב-Pub/Sub להעברה הזו, מעבירים את המתג התראות Pub/Sub למצב מופעל. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

כאשר:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – paypal.
  • ‫DISPLAY_NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-PayPal:

    • ‫assets: רשימה של אובייקטים של PayPal שייכללו בהעברה הזו.
    • ‫connector.authentication.clientId: מזהה הלקוח של אפליקציית PayPal.
    • ‫connector.authentication.clientSecret: סוד הלקוח של אפליקציית PayPal.
    • ‫connector.isSandbox: מגדירים את הערך ל-true אם משתמשים בחשבון PayPal בסביבת ארגז חול, או ל-false אם משתמשים בחשבון PayPal בסביבת ייצור.
    • ‫connector.createdStartDate: (אופציונלי) מזינים תאריך בפורמט YYYY-MM-DD. העברת הנתונים טוענת נתונים מ-PayPal החל מהתאריך הזה.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של פייפאל בפרויקט ברירת המחדל עם כל הפרמטרים הנדרשים:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

כשיוצרים העברת נתונים באמצעות כלי שורת הפקודה של BigQuery, הגדרת ההעברה מתזמנת העברות נתונים אחת ל-8 שעות.

API

משתמשים ב-‎projects.locations.transferConfigs.create method ומספקים מופע של TransferConfig resource.

כששומרים את הגדרות ההעברה, מחבר PayPal מפעיל באופן אוטומטי העברה בהתאם לאפשרות לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של PayPal מעביר את כל הנתונים הזמינים מ-PayPal אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-PayPal וסוגי הנתונים התואמים ב-BigQuery.

סוג הנתונים של PayPal סוג נתונים ב-BigQuery
String STRING
Decimal BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בנושא בעיות בהעברת נתונים ב-PayPal.

תמחור

העברת נתונים מ-PayPal ל-BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

המאמרים הבאים