תזמון העברה של חשבון Comparison Shopping Service Center

במאמר הזה מוסבר איך לתזמן ולנהל משימות טעינה חוזרות של נתוני דיווח ב-CSS Center באמצעות שירות העברת הנתונים ל-BigQuery.

לפני שמתחילים

לפני שיוצרים העברת נתונים ב-CSS Center:

  • מפעילים את שירות העברת נתונים ל-BigQuery.
  • יוצרים מערך נתונים ב-BigQuery לאחסון הנתונים ממרכז ה-CSS.
    • באזור של מערך הנתונים, אנחנו תומכים בשימוש באפשרות ברירת המחדל, 'מספר אזורים', בארה"ב או באיחוד האירופי.
    • אם רוצים ליצור מערך נתונים באזור ספציפי, העברת הנתונים ב-CSS Center נתמכת רק באזורים הבאים:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • כדי ליצור העברת נתונים ב-CSS Center, צריך לדעת את מזהה דומיין ה-CSS.
  • אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, אתם צריכים הרשאות pubsub.topics.setIamPolicy. לא נדרשות הרשאות Pub/Sub אם מגדירים רק התראות באימייל. מידע נוסף זמין במאמר בנושא התראות על הפעלות של שירות העברת נתונים ל-BigQuery.

ההרשאות הנדרשות

ודאו שהענקתם את ההרשאות הבאות.

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

התפקידים הנדרשים ב-CSS Center

צריכה להיות לכם גישה לחשבון CSS Center שבו נעשה שימוש בהגדרות ההעברה.

הגדרת העברה של CSS Center

כדי ליצור העברת נתונים לצורך דיווח ב-CSS Center:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בדף Create Transfer:

    • בקטע Source type (סוג המקור), בשדה Source (מקור), בוחרים באפשרות Google CSS Center (מרכז Google CSS).

    • בקטע שם הגדרת ההעברה, בשדה שם מוצג, מזינים שם להעברת הנתונים, למשל My Transfer. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

      שם ההעברה

    • אי אפשר להגדיר את הקטע אפשרויות תזמון. העברות נתונים ב-CSS Center מתוזמנות להפעלה פעם ב-24 שעות.

    • בקטע הגדרות יעד, בשדה מערך נתונים של היעד, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

    • בקטע פרטי מקור הנתונים, בשדה מזהה CSS, מזינים את מזהה הדומיין של ה-CSS.

    • בוחרים את הדוחות שרוצים להעביר. פרטים נוספים זמינים במאמר בנושא דוחות נתמכים.

    • (אופציונלי) בקטע אפשרויות להתראות:

      • לוחצים על המתג כדי להפעיל התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם ההעברה נכשלת.
      • בקטע Select a Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. באמצעות האפשרות הזו מגדירים התראות על הפעלת Pub/Sub להעברת הנתונים.

    העברת נתונים ב-CSS Center.

  4. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את האפשרות ליצירת העברה – --transfer_config. נדרשים גם הדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

אפשר גם להשתמש בדגל --project_id כדי לציין פרויקט מסוים. אם לא מציינים את --project_id, נעשה שימוש בפרויקט שמוגדר כברירת מחדל.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

כאשר:

  • ‫project_id הוא מזהה הפרויקט.
  • ‫dataset הוא מערך הנתונים של היעד להגדרת העברת הנתונים.
  • ‫name הוא השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫parameters מכיל את הפרמטרים של הגדרת העברת הנתונים שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'.
    • ‫css_id: מזהה דומיין CSS.
    • export_products: האם להעביר נתונים של מוצרים ובעיות במוצרים. הפרמטר הזה נכלל כברירת מחדל, גם אם לא מציינים את הפרמטר export_products. מומלץ לכלול את הפרמטר הזה באופן מפורש ולהגדיר אותו לערך true.
  • ‫data_source הוא מקור הנתונים – css_center.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים ב-CSS Center בשם My Transfer באמצעות מזהה דומיין ה-CSS‏ 1234 וערכת היעד mydataset. העברת הנתונים נוצרת בפרויקט שמוגדר כברירת מחדל.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

בפעם הראשונה שמריצים את הפקודה, מקבלים הודעה כמו זו:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

פועלים לפי ההוראות בהודעה ומדביקים את קוד האימות בשורת הפקודה.

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.