טעינת נתונים מ-PayPal ל-BigQuery

אפשר לטעון נתונים מ-PayPal ל-BigQuery באמצעות המחבר של PayPal עם שירות העברת הנתונים ל-BigQuery. מחבר PayPal מאפשר לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-PayPal ל-BigQuery.

מחבר PayPal תומך בחשבונות PayPal בסביבת הייצור ובארגז החול.

אובייקטים נתמכים

סוגי אובייקטים של PayPal אובייקטים שנתמכים ב-BigQuery תמיכה במסנן תאריכים מגבלת העברה
טרנזקציות TransactionReports נתמך ‫3 השנים האחרונות
TransactionReportsCartInfoItemDetails נתמך
TransactionReportsIncentiveDetails נתמך
מחלוקות מחלוקות נתמך ששת החודשים האחרונים
DisputeDetails נתמך
DisputeTransactions נתמך
תשלומים תשלומים נתמך ללא
PaymentTransactions נתמך
יתרה יתרה לא נתמך ללא
מוצרים מוצרים לא נתמך ‫2,000,000 רשומות
ProductDetails לא נתמך
חשבוניות חשבוניות נתמך ‫100,000 רשומות

מגבלות

העברות נתונים מ-PayPal כפופות למגבלות הבאות:

  • יכול להיות שיחלפו כמה שעות עד שעסקאות ב-PayPal יהיו זמינות דרך PayPal API.
    • כדי למנוע אובדן נתונים, מומלץ לתזמן העברות נתונים עתידיות במרווחי זמן ארוכים יותר (לא יותר מאחת לשעה).
  • מחבר PayPal תומך רק בנתוני עסקאות מ-3 השנים האחרונות.
  • מחבר PayPal תומך רק בנתוני מחלוקות מ-6 החודשים האחרונים.
  • מחבר PayPal יכול להעביר עד 100,000 רשומות של נתוני חשבוניות. אם מספר החשבוניות ב-PayPal חורג מהמגבלה הזו, ההעברה נכשלת.
  • המחבר של PayPal יכול להעביר עד 2,000,000 רשומות של נתוני מוצרים בקטלוג. אם מספר המוצרים בחשבון PayPal חורג מהמגבלה הזו, ההעברה נכשלת.
  • ממשקי ה-API של PayPal משתמשים במגבלות שונות של גודל הדף לכל אובייקט נתונים. מחבר PayPal משתמש בגודל הדף המקסימלי שמותר על ידי PayPal בהעברת נתונים.
    • עם זאת, יש אובייקטים כמו Payments או Payment Transactions שבהם המגבלות על גודל הדף קטנות יותר. זה יכול להוביל להעברות נתונים איטיות יותר, במיוחד כשמדובר במערכי נתונים גדולים.

לפני שמתחילים

בקטעים הבאים מתוארים השלבים שצריך לבצע לפני שיוצרים העברת נתונים של פייפאל.

דרישות מוקדמות לשימוש ב-PayPal

כדי להפעיל העברות נתונים מפייפאל, אתם צריכים את הדברים הבאים:

  • צריך שיהיה לכם חשבון פיתוח ב-PayPal. מידע נוסף זמין בתוכנית למפתחים של PayPal.
  • יוצרים אפליקציית PayPal REST API. מידע נוסף זמין במאמר איך מתחילים להשתמש ב-PayPal REST API.
    • בקטע Apps & Credentials, רושמים את מזהה הלקוח ואת המפתח הסודי של האפליקציה.
    • בקטע Features (תכונות), מפעילים את ההרשאות ל-API של Transaction search (חיפוש עסקאות) ושל Invoicing (חשבוניות).

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Admin (roles/bigquery.admin). כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות ליצירת העברה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברה, צריך את ההרשאות הבאות:

  • bigquery.transfers.update במשתמש
  • ‫bigquery.datasets.get במערך הנתונים של היעד
  • ‫bigquery.datasets.update במערך הנתונים של היעד

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

דרישות מוקדמות ל-BigQuery

הגדרת העברת נתונים מפייפאל

כדי להוסיף נתונים של PayPal ל-BigQuery, צריך להגדיר העברה באחת מהדרכים הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל 'העברות נתונים'

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע Source type, בשדה Source, בוחרים באפשרות PayPal.

  4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

    • בשדה מזהה לקוח, מזינים את מזהה הלקוח של PayPal. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-PayPal.
    • בקטע Client Secret, מזינים את המפתח הסודי של לקוח PayPal. מידע נוסף זמין במאמר בנושא דרישות מוקדמות לשימוש ב-PayPal.
    • בוחרים באפשרות Is Sandbox אם משתמשים בחשבון פייפאל בסביבת ארגז חול.
    • בשדה תאריך התחלה, מזינים תאריך בפורמט YYYY-MM-DD. העברת הנתונים טוענת נתונים של PayPal החל מהתאריך הזה.
      • אם השדה הזה יישאר ריק, ברירת המחדל של ההעברה הזו תהיה אחזור נתונים מ-3 השנים האחרונות.
      • מידע על אילו אובייקטים תומכים במסנן תאריך ההתחלה זמין במאמר אובייקטים נתמכים.
    • בקטע PayPal objects to transfer (אובייקטים של PayPal להעברה), מזינים את השמות של האובייקטים של PayPal שרוצים להעביר או לוחצים על Browse (עיון) ובוחרים את האובייקטים שרוצים להעביר.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.

  7. בקטע Schedule options:

    • ברשימה Repeat frequency, בוחרים אפשרות כדי לציין באיזו תדירות תתבצע העברת הנתונים הזו. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תפעל כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, מעבירים את המתג התראות באימייל למצב מופעל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת ההעברה נכשלת.
    • כדי להפעיל התראות על הרצת העברה ב-Pub/Sub להעברה הזו, מעבירים את המתג התראות Pub/Sub למצב מופעל. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

כאשר:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – paypal.
  • ‫DISPLAY_NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים של היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-PayPal:

    • ‫assets: רשימה של אובייקטים של PayPal שייכללו בהעברה הזו.
    • ‫connector.authentication.clientId: מזהה הלקוח של אפליקציית PayPal.
    • ‫connector.authentication.clientSecret: סוד הלקוח של אפליקציית PayPal.
    • ‫connector.isSandbox: מגדירים את הערך ל-true אם משתמשים בחשבון PayPal בסביבת ארגז חול, או ל-false אם משתמשים בחשבון PayPal בסביבת ייצור.
    • ‫connector.createdStartDate: (אופציונלי) מזינים תאריך בפורמט YYYY-MM-DD. העברת הנתונים טוענת נתונים של PayPal החל מהתאריך הזה.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של PayPal בפרויקט ברירת המחדל עם כל הפרמטרים הנדרשים:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

כשיוצרים העברת נתונים באמצעות כלי שורת הפקודה של BigQuery, הגדרת ההעברה מתזמנת העברות נתונים פעם ב-8 שעות.

API

משתמשים ב-‎projects.locations.transferConfigs.create method ומספקים מופע של TransferConfig resource.

כששומרים את הגדרות ההעברה, מחבר PayPal מפעיל באופן אוטומטי את ההעברה בהתאם לאפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של PayPal מעביר את כל הנתונים הזמינים מ-PayPal אל BigQuery.

כדי להריץ העברת נתונים באופן ידני מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצת מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-PayPal וסוגי הנתונים התואמים ב-BigQuery.

סוג הנתונים של PayPal סוג הנתונים ב-BigQuery
String STRING
Decimal BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בנושא בעיות בהעברת נתונים מ-PayPal.

תמחור

העברת נתונים מ-PayPal ל-BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

המאמרים הבאים