פתרון בעיות בהגדרות ההעברה

כדי לאבחן ולפתור שגיאות נפוצות שקשורות להגדרה, להרשאות, למכסות ולתזמון, אפשר לבדוק את היסטוריית ההרצות והיומנים של שירות העברת הנתונים ל-BigQuery. אתם יכולים לטפל בבעיות כלליות בהגדרות, לתקן כשלים בהרשאות ולשחזר העברות שנכשלו במקורות הנתונים.

אם נתקלתם בבעיה שלא מופיעה במאמר הזה, אתם יכולים לבקש תמיכה. לפני שפונים ל-Cloud Customer Care, חשוב לתעד את הגדרות ההעברה ואת פרטי ההרצה. למידע נוסף, קראו את המאמרים קבלת פרטי העברה והצגת פרטי הפעלת העברה והודעות ביומן.

בדיקת השגיאות

אם הרצת ההעברה הראשונה נכשלת, אפשר לבדוק את הפרטים בהיסטוריית ההרצות. השגיאות שמופיעות בהיסטוריית ההרצה יכולות לעזור לכם לזהות פתרון מתאים בעזרת המסמך הזה.

אפשר גם להציג הודעות שגיאה של משימת העברה ספציפית באמצעות Logs Explorer. המסנן הבא של Logs Explorer מחזיר מידע על משימה ספציפית של הגדרת העברה, יחד עם הודעות שגיאה:

resource.type="bigquery_dts_config"
labels.run_id="RUN_ID"
resource.labels.config_id="CONFIG_ID"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫RUN_ID: מספר המזהה של הרצת משימה ספציפית
  • ‫CONFIG_ID: מספר המזהה של משימת הגדרת ההעברה

לפני שפונים לשירות הלקוחות, כדאי לאסוף את כל המידע הרלוונטי מהיסטוריית ההרצה או מ-Logs Explorer, כולל הודעות שגיאה.

אם אתם משתמשים בהעברות מבוססות-אירועים, יכול להיות שהגדרת ההעברה מבוססת-האירועים לא תפעיל את הרצת ההעברה. הודעות השגיאה מופיעות בחלק העליון של הדף Run history או הדף Configuration.

בעיות כלליות

כשמנסים לאבחן בעיות כלליות בהעברה, כדאי לבדוק את הדברים הבאים:

  • מוודאים שביצעתם את כל השלבים בקטע "לפני שמתחילים" בדף התיעוד של סוג ההעברה.
  • המאפיינים של הגדרות ההעברה נכונים.
  • לחשבון המשתמש שבאמצעותו נוצרה ההעברה יש גישה למשאבים הבסיסיים.

אם הגדרת ההעברה נכונה וההרשאות המתאימות ניתנו, תוכלו להיעזר בפתרונות הבאים לבעיות נפוצות.

שגיאה: An unexpected issue was encountered. If this issue persists, please contact customer support.
פתרון: השגיאה הזו בדרך כלל מצביעה על הפסקה זמנית בשירות או על בעיה ב-BigQuery. ממתינים כשעתיים עד שהבעיה תיפתר. אם הבעיה נמשכת, פנו לתמיכה.
שגיאה: INTERNAL: An internal error occurred and the request could not be completed. This is usually caused by a transient issue...
פתרון: השגיאה הזו בדרך כלל מצביעה על בעיה פנימית זמנית. אם נתקלתם בשגיאה הזו, אתם יכולים לחכות ולראות אם היא תיפתר בהרצה המתוזמנת הבאה, או להפעיל באופן ידני מילוי חוסרים לתאריכים הרלוונטיים. אם הבעיה נמשכת, פנו לתמיכה.
שגיאה: Quota Exceeded.

פתרון: ההעברות כפופות למכסות של BigQuery על משימות טעינה. אם אתם צריכים להגדיל את המכסה, פנו לנציג המכירות של Google Cloud . מידע נוסף זמין במאמר מכסות ומגבלות.

אם אתם טוענים ייצוא של נתוני חיוב ב-Cloud ל-BigQuery, יכול להיות שתופיע השגיאה Quota Exceeded. גם טבלאות הייצוא של החיוב ב-Cloud וגם טבלאות היעד ב-BigQuery שנוצרו על ידי שירות העברת הנתונים ל-BigQuery מחולקות למחיצות. אם בוחרים באפשרות overwrite כשמגדירים משימות כאלה של שירות העברת הנתונים ל-BigQuery, יכולות להופיע שגיאות מכסה בהתאם לכמות הנתונים שמיוצאים. איך פותרים בעיות שקשורות למכסות ולמגבלות?

אם השגיאה נובעת ממשימות של שירות העברת הנתונים ל-BigQuery לייצוא של נתוני החיוב ב-Cloud, שימו לב: מכיוון שהטבלאות הנפרדות של ייצוא נתוני החיוב ב-Cloud מחולקות למחיצות, גם טבלת היעד שנוצרה על ידי שירות העברת הנתונים ל-BigQuery מחולקת למחיצות. לכן, בחירה באפשרות overwrite בזמן הגדרת משימות כאלה של העברת נתונים תגרום לשגיאות מכסה (DML), בהתאם לגיל של החשבונות לחיוב. פתרון בעיות שקשורות למכסות ולמגבלות

שגיאה: The caller does not have permission.

פתרון: ודאו שהחשבון שמחובר למסוף Google Cloud הוא אותו חשבון שבחרתם לשירות העברת הנתונים ל-BigQuery כשאתם יוצרים את ההעברה.

  • החשבון שמחובר למסוף Google Cloud :

    פתרון בעיות שקשורות להרשאות

  • צריך לבחור חשבון כדי להמשיך לשירות העברת הנתונים ל-BigQuery:

    פתרון בעיות שקשורות להרשאות

שגיאה: Access Denied: ... Permission bigquery.tables.get denied on table ...

פתרון: מוודאים שלסוכן השירות של שירות העברת הנתונים ל-BigQuery הוקצה התפקיד bigquery.dataEditor במערך הנתונים של היעד. ההרשאה הזו מוענקת באופן אוטומטי כשיוצרים ומעדכנים את ההעברה, אבל יכול להיות שמדיניות הגישה שונתה באופן ידני לאחר מכן. כדי להעניק מחדש את ההרשאה, קראו את המאמר מתן גישה למערך נתונים.

שגיאה: region violates constraint constraints/gcp.resourceLocations on the resource projects/project_id

פתרון: השגיאה הזו מתרחשת כשמשתמש מנסה ליצור הגדרת העברה במיקום מוגבל, כפי שצוין במדיניות הארגונית להגבלת מיקום. כדי לפתור את הבעיה, אפשר לשנות את מדיניות הארגון כך שתאפשר את האזור, או לשנות את הגדרות ההעברה למערך נתונים של יעד שנמצא באזור שלא מוגבל על ידי מדיניות הארגון.

שגיאה: Please look into the errors[] collection for more details.

פתרון: השגיאה הזו יכולה להופיע כשהעברת הנתונים נכשלת. כדי להבין למה העברת הנתונים נכשלה, אתם יכולים להשתמש ב-Cloud Logging כדי לצפות ביומנים. כדי למצוא את היומנים של הפעלה ספציפית, אפשר לחפש לפי run_id של ההעברה.

שגיאה: Network Attachment with connected endpoints cannot be deleted.

פתרון: השגיאה הזו יכולה לקרות כשמשתמש מנסה למחוק את מחברי הרשת שלו זמן קצר אחרי שהוא מחק את ההעברה. זה קורה כי יכולים לעבור כמה ימים אחרי מחיקת ההעברה עד ששירות העברת הנתונים ל-BigQuery יסיר לגמרי את כל המשאבים שמשויכים להעברה, וזה יכול למנוע את מחיקת חיבורי הרשת. כדי לפתור את השגיאה, צריך להמתין כמה ימים לפני שמנסים למחוק את חיבורי הרשת. אם אתם רוצים למחוק את חיבורי הרשת מוקדם יותר, אתם יכולים לפנות לתמיכה.

שגיאה: Error while reading data, error message: CSV processing encountered too many errors, giving up.

פתרון: השגיאה הזו יכולה להתרחש כשיש חוסר התאמה בין הגדרת קובץ ה-CSV במקור הנתונים לבין הגדרת קובץ ה-CSV בהגדרות ההעברה. לדוגמה, השגיאה הזו יכולה לקרות אם הערך של Header rows to skip מוגדר ל-0, אבל קובץ ה-CSV של המקור מכיל שורת כותרת אחת או יותר. כדי לתקן את השגיאה הזו, צריך לוודא שהגדרות ה-CSV בהגדרות ההעברה נכונות ותואמות להגדרות של קובץ ה-CSV במקור.

שגיאה: Error 400: DTS service agent needs iam.serviceAccounts.getAccessToken permission or [SERVICE_ACCOUNT] doesn't exist.

הסיבה: השגיאה הזו מציינת שלסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (DTS) אין את ההרשאה הנדרשת כדי להתחזות לחשבון השירות שמשמש להעברה. בדרך כלל זה קורה בתרחישים של הרשאה בין פרויקטים, או כשההעברה מוגדרת באמצעות כלים של תשתית כקוד (IaC) כמו Terraform.

פתרון: מקצים את התפקיד "יצירת אסימונים בחשבון שירות" (roles/iam.serviceAccountTokenCreator) לסוכן השירות של DTS בחשבון השירות הספציפי שאליו הוא צריך להתחזות.

gcloud iam service-accounts add-iam-policy-binding service_account \
--member serviceAccount:service-destination_project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/iam.serviceAccountTokenCreator

כאשר:

  • ‫service_account היא כתובת האימייל של החשבון שמשמש לאישור ההעברה.
  • ‫destination_project_number הוא מספר הפרויקט שבו נמצאות הגדרות ההעברה. במאמר איתור השם, המספר והמזהה של הפרויקט מוסבר איך למצוא את מספר הפרויקט.
שגיאה: For asset "ASSET", no eligible column found for splitting (Reason: Primary or Indexed Key columns found, but none are of supported types (INTEGER, TINYINT, SMALLINT, FLOAT, REAL, DOUBLE, NUMERIC, BIGINT, DECIMAL, DATE, BOOLEAN))
פתרון: השגיאה הזו יכולה להתרחש כשמנסים להעביר יותר מ-2,000,000 רשומות מטבלת מקור לטבלה ב-BigQuery, ואין מפתח ראשי או עמודה שנוספה לאינדקס של סוג נתונים נתמך בטבלת המקור. כדי לפתור את הבעיה, מגדירים עמודה עם אחד מסוגי הנתונים הנתמכים כמפתח ראשי או כעמודה שנוסף לה אינדקס בטבלת המקור. למידע נוסף, קראו את הקטע בנושא מגבלות במדריך של מקור ההעברה.
שגיאה: Permission bigquery.tables.create denied.

התסמין:

Error code 7 : Access Denied : Dataset [PROJECT_ID]:[DATASET_ID] : Permission bigquery.tables.create denied on dataset [PROJECT_ID]:[DATASET_ID] (or it may not exist).

העברה של Cloud Storage נכשלת עם שגיאת גישה שנדחתה ליצירת טבלה, גם אם טבלת היעד כבר קיימת ולחשבון השירות יש תפקידים רגילים של עריכת נתונים.

הסיבה: השגיאה הזו מתרחשת כשהרצת ההעברה ב-Cloud Storage כוללת יותר מ-10,000 קבצים, ולא ניתנה ההרשאה bigquery.tables.create. כשההעברות חורגות מ-10,000 קבצים, השירות מפצל את הנתונים לטבלאות זמניות שנוצרות באופן דינמי. כדי לעשות את זה, צריך את ההרשאה bigquery.tables.create, גם אם הפרויקט רשום להעברות בנפח גבוה (או אם אושרה לו הגדלת מכסה).

פתרון: כדי להעביר יותר מ-10,000 קבצים, צריך לוודא ששתי הדרישות הבאות מתקיימות:

  1. אימות המכסה וההרשמה לתכונה: ודאו שהפרויקט שלכם רשום להעברות בנפח גבוה ב-Cloud Storage (יותר מ-10,000 קבצים). אם אתם צריכים להעביר יותר מ-10,000 קבצים, פנו לתמיכה כדי לבקש להגדיל את המכסה של מספר הקבצים המקסימלי לכל הפעלת העברה.

  2. נותנים את ההרשאות הנדרשות ב-IAM: נותנים לחשבון השירות או לזהות המשתמש שמפעילים את ההעברה את ההרשאה bigquery.tables.create בקבוצת הנתונים של היעד. ההרשאה הזו כלולה בתפקידים BigQuery Data Editor (roles/bigquery.dataEditor) ו-BigQuery Admin (roles/bigquery.admin). אם אתם ממשיכים לראות שגיאות אחרי שהענקתם את ההרשאות הנדרשות, יכול להיות שתצטרכו לפנות לתמיכה כדי לאשר את סטטוס רשימת ההיתרים שלכם.

    חלופות: אם אתם לא יכולים להעניק את ההרשאות הנדרשות או להמתין להגדלת המכסה ולשינוי ההגדרות, אתם יכולים:

בעיות שקשורות להרשאות

בהמשך מפורטות כמה שגיאות הרשאה נפוצות שאתם עשויים להיתקל בהן כשאתם מעבירים נתונים ממקורות נתונים שונים:

שגיאה: BigQuery Data Transfer Service is not enabled for <project_id>
שגיאה: BigQuery Data Transfer Service has not been used in project <project_id> before or it is disabled ...

פתרון: כדי לוודא שהתפקיד של סוכן השירות הוקצה, מבצעים את השלבים הבאים:

  1. במסוף Google Cloud , נכנסים לדף IAM & Admin.

    כניסה לדף IAM & Admin

  2. מסמנים את התיבה Include Google-provided role grants.

  3. מוודאים שחשבון השירות בשם service-<project_number>@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com מופיע, או שניתן לו התפקיד BigQuery Data Transfer Service Agent בשירות העברת הנתונים ל-BigQuery.

    בודקים אם לחשבון השירות יש את התפקיד של סוכן השירות.

אם חשבון השירות לא מוצג, או אם לא הוקצה לו התפקיד של סוכן השירות של שירות העברת הנתונים ל-BigQuery, מקצים את התפקיד שהוגדר מראש במסוף Google Cloud או באמצעות הפעלת הפקודה הבאה של Google Cloud CLI:

gcloud projects add-iam-policy-binding PROJECT_NUMBER \
--member serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
--role roles/bigquerydatatransfer.serviceAgent

מחליפים את PROJECT_NUMBER במספר הפרויקט שמשויך לחשבון השירות הזה.

שגיאה: There was an error loading this table. Check that the table exists and that you have the correct permissions.

פתרון:

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. לוחצים על מערך הנתונים של היעד שמשמש להעברה.

  3. לוחצים על התפריט שיתוף ואז על הרשאות.

  4. מרחיבים את התפקיד BigQuery Data Editor.

  5. מוודאים שסוכן השירות של שירות העברת הנתונים ל-BigQuery נוסף לתפקיד הזה. אם לא, מקצים את התפקיד "עריכת נתונים ב-BigQuery" (roles/bigquery.dataEditor) לסוכן השירות של שירות העברת הנתונים ל-BigQuery.

מוודאים שהתפקיד &quot;עריכת נתונים ב-BigQuery&quot; נוסף.

שגיאה: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct

פתרון:

  1. נכנסים לדף העברת נתונים במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על ההעברה שנכשלה ואז על הכרטיסייה Configuration.

  3. מוודאים שלבעלי ההעברה שרשומים בשדה User יש את כל ההרשאות הנדרשות למקור הנתונים.

אם לבעלי ההעברה אין את כל ההרשאות הנדרשות, צריך להעניק את ההרשאות הנדרשות על ידי עדכון פרטי הכניסה שלהם. אתם יכולים גם להחליף את הבעלים של ההעברה למשתמש אחר עם ההרשאות הנדרשות.

שגיאה: Authentication failure: User Id not found. Error code: INVALID_USERID

פתרון: לבעלים של ההעברה יש מזהה משתמש לא תקין. להחליף את הבעלים של ההעברה במשתמש אחר על ידי עדכון פרטי הכניסה שלו. אם אתם משתמשים בחשבון שירות, אתם צריכים גם לוודא שלחשבונות שמריצים את העברת הנתונים יש את כל ההרשאות הנדרשות לשימוש בחשבון שירות.

שגיאה: The user does not have permission

פתרון: מוודאים שהבעלים של ההעברה הוא חשבון שירות, ושלחשבון השירות מוגדרות כל ההרשאות הנדרשות. אפשרות נוספת היא שחשבון השירות שבו השתמשתם נוצר בפרויקט אחר, ולא בפרויקט שבו נוצרה ההעברה. כדי לפתור בעיות שקשורות להרשאות בפרויקטים שונים, אפשר להיעזר במקורות המידע הבאים:

שגיאה: HttpError 403 when requesting returned "The caller does not have permission"

googleapiclient.errors.HttpError: <HttpError 403 when requesting returned "The caller does not have permission". Details: "The caller does not have permission">

השגיאה הזו יכולה להופיע כשמנסים להגדיר שאילתה מתוזמנת באמצעות חשבון שירות.

פתרון: ודאו שלחשבון השירות יש את כל ההרשאות הנדרשות כדי לתזמן שאילתה או לשנות שאילתה מתוזמנת, ושלמשתמש שמגדיר את השאילתה המתוזמנת יש גישה לחשבון השירות.

אם כל ההרשאות הנכונות הוקצו אבל עדיין מופיעה השגיאה, צריך לבדוק אם מדיניות השבתת השימוש בחשבון שירות בפרויקטים שונים נאכפת בפרויקט כברירת מחדל. כדי לבדוק אם כלל מדיניות של הארגון קיימת, במסוף Google Cloud נכנסים לדף IAM & Admin > מדיניות הארגון ומחפשים את כלל מדיניות של הארגון.

בודקים אם מדיניות השימוש בחשבון שירות בפרויקטים שונים נאכפת בחשבון השירות.

אם המדיניות השבתת השימוש בחשבונות שירות בפרויקטים שונים נאכפת, אתם יכולים להשבית אותה באופן הבא:

  1. מזהים את חשבונות השירות שמשויכים לפרויקט באמצעות מסוף Google Cloud , על ידי מעבר אל IAM & Admin > Service Accounts. בתצוגה הזו מופיעים כל חשבונות השירות של הפרויקט הנוכחי.
  2. כדי להשבית את המדיניות בפרויקט שבו נמצאים חשבונות השירות, מריצים את הפקודה הבאה: כדי להשבית את המדיניות הזו, המשתמש צריך להיות אדמין של מדיניות הארגון. רק אדמין ארגוני יכול להקצות למשתמש את התפקיד הזה.
gcloud resource-manager org-policies disable-enforce iam.disableCrossProjectServiceAccountUsage --project=[PROJECT-ID]

בעיות בהגדרות של העברות מבוססות-אירועים

ריכזנו כאן כמה בעיות נפוצות שאתם יכולים להיתקל בהן כשאתם יוצרים העברה מבוססת-אירועים.

שגיאה: Data Transfer Service is not authorized to pull message from the provided Pub/Sub subscription.

פתרון: מוודאים שלסוכן השירות של שירות העברת הנתונים ל-BigQuery הוקצה התפקיד pubsub.subscriber:

  1. נכנסים לדף Pub/Sub במסוף Google Cloud .

    כניסה ל-Pub/Sub

  2. בוחרים את המינוי ל-Pub/Sub שבו השתמשתם בהעברה מבוססת-האירועים.

  3. אם חלונית המידע מוסתרת, לוחצים על Show info panel בפינה הימנית העליונה.

  4. בכרטיסייה Permissions, מוודאים שלסוכן השירות של שירות העברת הנתונים ל-BigQuery יש את התפקיד pubsub.subscriber.

בודקים אם לסוכן השירות יש את ההרשאה pubsub.subscriber במינוי.

אם לסוכן השירות לא הוקצה התפקיד pubsub.subscriber. לוחצים על Add principal כדי לתת את התפקיד pubsub.subscriber ל-service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com.

שגיאה: Cloud Pub/Sub API has not been used in project PROJECT_NUMBER before or it is disabled.

פתרון: מוודאים ש-Cloud Pub/Sub API מופעל בפרויקט:

  1. במסוף Google Cloud , נכנסים לדף APIs & Services.

    כניסה אל APIs & Services

  2. לוחצים על Enable APIs and services.

  3. מחפשים את Cloud Pub/Sub API, בוחרים בתוצאה הראשונה ולוחצים על הפעלה.

שגיאה: Data Transfer Service does not have required permission to use project quota of project PROJECT_NUMBER to access Pub/Sub.

פתרון: מוודאים שלסוכן השירות של שירות העברת הנתונים ל-BigQuery הוקצה התפקיד serviceusage.serviceUsageConsumer:

  1. במסוף Google Cloud , נכנסים לדף IAM & Admin.

    כניסה לדף IAM & Admin

  2. מסמנים את התיבה Include Google-provided role grants.

  3. מוודאים שחשבון השירות עם השם service-<project_number>@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com מוצג ושהוקצה לו התפקיד Service Usage Consumer.

    מוודאים שלחשבון השירות יש את התפקיד serviceusage.serviceUsageConsumer.

הבעיה: כשמשתמשים בהעברה מבוססת-אירוע ב-Cloud Storage, לא מופעלת הרצת העברה אחרי שמעלים או מעדכנים קבצים בקטגוריה של Cloud Storage.

הפעלות של העברות לא מופעלות מיד אחרי שמתקבל אירוע. יכול להיות שיחלפו כמה דקות עד שהרצת ההעברה תופעל. כדי לבדוק את הסטטוס של הפעלת ההעברה הבאה, אפשר לבדוק את השדה Target date for next run בהיסטוריית ההפעלות. בשדה הזה מוצג מועד ההפעלה הבא, או שמוצג הכיתוב waiting for events to schedule next run אם לא התקבלו אירועים. אם העליתם או עדכנתם קבצים בקטגוריה של Cloud Storage, אבל הערך של Target date for next run לא התעדכן ולא הופעלו הרצות במשך 10-20 דקות, נסו את הפתרון הבא.

פתרון: מוודאים שהמינוי ל-Pub/Sub שצוין בהגדרות ההעברה יכול לקבל הודעות שפורסמו מאירועים ב-Cloud Storage:

  1. נכנסים לדף Pub/Sub במסוף Google Cloud .

    כניסה ל-Pub/Sub

  2. בוחרים את המינוי ל-Pub/Sub שבו השתמשתם בהעברה מבוססת-האירועים.

  3. בכרטיסייה Metrics, בודקים את התרשים "Oldest unacked message age" כדי לראות אם יש הודעות.

בודקים אם נשלחות הודעות

אם לא מתפרסמות הודעות, צריך לבדוק אם התראות Pub/Sub מוגדרות כמו שצריך ב-Cloud Storage. כדי לבדוק את הגדרות ההתראות שמשויכות לקטגוריה, אפשר להשתמש בפקודה הבאה של Google Cloud CLI:

gcloud storage buckets notifications list gs://BUCKET_NAME

מחליפים את BUCKET_NAME בשם הקטגוריה שמשמשת להתראות. במאמר הגדרת התראות Pub/Sub ל-Cloud Storage מוסבר איך מגדירים התראות Pub/Sub ל-Cloud Storage.

אם יש הודעות, בודקים אם אותו מינוי ל-Pub/Sub משמש בהגדרות אחרות של העברות מבוססות-אירועים. אי אפשר להשתמש באותו מינוי ל-Pub/Sub בכמה הגדרות של העברות מבוססות-אירועים. מידע נוסף על העברות מבוססות-אירועים זמין במאמר העברות מבוססות-אירועים.

בעיות בהעברה מ-Amazon S3

כאן אנחנו מציגים שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-Amazon S3.

שגיאות PERMISSION_DENIED ב-Amazon S3

שגיאה: The AWS Access Key Id you provided does not exist in our records.
פתרון: מוודאים שמפתח הגישה קיים ושהמזהה נכון.
שגיאה: The request signature we calculated does not match the signature you provided. Check your key and signing method.
פתרון:מוודאים שבהגדרות ההעברה יש את מפתח הגישה הסודי המתאים
שגיאה: Failed to obtain the location of the source S3 bucket. Additional details: Access Denied
שגיאה: Failed to obtain the location of the source S3 bucket. Additional details: HTTP/1.1 403 Forbidden
שגיאה: Access Denied (הודעת שגיאה של S3)
פתרון: ודאו שלמשתמש AWS IAM יש הרשאה לבצע את הפעולות הבאות:
  • מציגים את הקטגוריה של Amazon S3.
  • מאתרים את המיקום של הקטגוריה.
  • לקרוא את האובייקטים בקטגוריה.
שגיאה: Server unable to initialize object upload.; InvalidObjectState: The operation is not valid for the object's storage class
שגיאה: Failed to obtain the location of the source S3 bucket. Additional details: All access to this object has been disabled
פתרון: משחזרים את כל האובייקטים שהועברו לארכיון ב-Amazon Glacier. אובייקטים ב-Amazon S3 שמועברים לארכיון ב-Amazon Glacier לא נגישים עד שמשחזרים אותם
שגיאה: All access to this object has been disabled
פתרון: מוודאים שכתובת ה-URI של Amazon S3 בהגדרות ההעברה נכונה

שגיאות במגבלות על העברות ב-Amazon S3

שגיאה: Number of files in transfer exceeds limit of 10,000.
פתרון: בדקו אם אפשר להפחית את מספר תווי ה-Wildcard ב-URI של Amazon S3 לאחד בלבד. אם זה אפשרי, נסו שוב עם הגדרת העברה חדשה, כי מספר הקבצים המקסימלי לכל הפעלת העברה יהיה גבוה יותר. אפשר גם לבדוק אם אפשר לפצל את הגדרת ההעברה לכמה הגדרות העברה, שכל אחת מהן מעבירה חלק מנתוני המקור.
שגיאה: Size of files in transfer exceeds limit of 16492674416640 bytes.
פתרון: בודקים אם אפשר לפצל את הגדרות ההעברה לכמה הגדרות העברה, שכל אחת מהן מעבירה חלק מנתוני המקור.

בעיות כלליות ב-Amazon S3

הבעיה: הקבצים מועברים מ-Amazon S3 אבל לא נטענים ב-BigQuery.

יומני ההעברה עשויים להיראות כך: Moving data from Amazon S3 to Google Cloud complete: Moved N object(s). No new files found matching Amazon_S3_URI.

פתרון: מוודאים שה-URI של Amazon S3 בהגדרות ההעברה נכון. אם הגדרת ההעברה נועדה לטעון את כל הקבצים עם קידומת משותפת, צריך לוודא שה-URI של Amazon S3 מסתיים בתו כללי לחיפוש. לדוגמה, כדי לטעון את כל הקבצים ב-s3://my-bucket/my-folder/, ה-URI של Amazon S3 בהגדרות ההעברה צריך להיות s3://my-bucket/my-folder/*, ולא רק s3://my-bucket/my-folder/.

בעיות בהעברה מ-Azure Blob Storage

כאן אנחנו מציגים שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-Blob Storage.

שגיאה: Number of files in transfer exceeds the limit of 10,000.
פתרון: מקטינים את מספר התווים הכלליים לחיפוש בנתיב הנתונים של Blob Storage ל-0 או ל-1, כדי להגדיל את מגבלת הקבצים ל-10,000,000. אפשר גם לפצל את ההעברה לכמה הגדרות העברה, כך שכל אחת מהן תעביר חלק מהמקור.
שגיאה: Size of files in transfer exceeds the limit of 15 TB.
פתרון: מפצלים לכמה הגדרות העברה, כך שכל אחת מעבירה חלק מנתוני המקור.
שגיאה: Provided Azure SAS Token does not have required permissions.
פתרון: מוודאים שהאסימון של Azure SAS בהגדרות ההעברה תקין. מידע נוסף זמין במאמר חתימת גישה משותפת (SAS).
שגיאה: Transfer encountered error, status:PERMISSION_DENIED, details:[This request is not authorized to perform this operation.]
פתרון: מוודאים שטווח ה-IP שמשמש את ה-workers של שירות העברת הנתונים ל-BigQuery נוסף לרשימת כתובות ה-IP המורשות. מידע נוסף זמין במאמר הגבלות IP.
הבעיה: הקבצים מועברים מ-Blob Storage אבל לא נטענים ב-BigQuery.

יומני ההעברה עשויים להיראות כך: Moving data to Google Cloud complete: Moved <var>N</var> object(s). No new files found matching Blob Storage data path.

פתרון: מוודאים שנתיב הנתונים של Blob Storage בהגדרות ההעברה נכון.

בעיות בהעברת נתונים מ-Campaign Manager

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה של Campaign Manager.

שגיאה: Import failed - no data was available for import. Please verify that data existence was expected.
שגיאה: No data available for the requested date. Please try an earlier run date or verify that data existence was expected.

פתרון: מוודאים שמשתמשים במזהה הנכון להעברה. אם אתם משתמשים במזהה הנכון, ודאו שהקטגוריה של Campaign Manager ב-Cloud Storage מכילה קובצי Data Transfer V2.0 בטווח התאריכים שצוין. אם הקבצים קיימים, מתזמנים מילוי חוסרים לטווח התאריכים הרלוונטי. מידע נוסף על יצירת בקשה למילוי חוסרים ב-Campaign Manager זמין במאמר הפעלה ידנית של העברה או מילוי חוסרים.

כדי לבדוק אם הקבצים היו קיימים כשהפעלת ההעברה תוכננה, אפשר לבדוק את זמן היצירה של הקבצים בקטגוריה של Cloud Storage. במקרים מסוימים, יכול להיות שהפעלת ההעברה הראשונה של היום תתוזמן לפני שנוצרה הקבוצה הראשונה של קובצי Campaign Manager Data Transfer. בהפעלות הבאות באותו יום וביום שאחריו, המערכת תטען את כל הקבצים שנוצרו על ידי Campaign Manager.

שגיאה: A permission denied error was encountered: PERMISSION_DENIED. Please ensure that the user account setting up the transfer config has the necessary permissions, and that the configuration settings are correct.

פתרון: למשתמש שיוצר את העברת הנתונים מ-Campaign Manager צריכה להיות גישת קריאה לקטגוריה של Cloud Storage שמכילה את הקבצים של Data Transfer V2.0. אתם יכולים לקבל מידע על הקטגוריה של Cloud Storage ולבקש גישה מהאדמין של Campaign Manager.

שגיאה: Unexpected fields found: [FIELD_NAMES]; Table: 'TABLE_NAME', file: FILE_NAME

פתרון: ההעברה מ-Campaign Manager תומכת בקבוצת משנה של השדות שנתמכים ב-Campaign Manager. אם נתקלתם בשגיאה הזו, בקשו תמיכה כדי להגיש בקשה להוספת תכונה.

בעיות בהעברת נתונים מ-Google Ads

כאן מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה של Google Ads.

הבעיה: הפעלת ההעברה הצליחה, אבל חלק מהחשבונות לא מופיעים בטבלת היעד.

פתרון: יכולות להיות הרבה סיבות לכך שחשבון לא מופיע בדוח. הנה כמה סיבות נפוצות:

  • זה יכול לקרות אם אין פעילות בדוח ביום המבוקש, ולכן לא נוצרות שורות נתונים.

  • זה יכול לקרות גם אם החשבון שלכם ב-Google Ads לא פעיל, או אם CANCELLED. ‫Google Ads API לא תומך בשאילתות בחשבונות לא פעילים, ולכן המחבר של Google Ads סינן חשבונות לא פעילים מהפעלת ההעברה. כדי להפעיל מחדש את החשבון ב-Google Ads, אפשר לעיין במאמר הפעלה מחדש של חשבון Google Ads שבוטל.

שגיאה: AUTH_ERROR_TWO_STEP_VERIFICATION_NOT_ENROLLED

פתרון: השגיאה הזו מציינת שהמשתמש ב-Google Ads שמוגדר בהעברה הזו לא הפעיל אימות דו-שלבי. איך מפעילים אימות דו-שלבי

שגיאה: No jobs to start for run

פתרון: השגיאה הזו מציינת שלא הופעלה משימת טעינה להרצת ההעברה, בגלל הגדרה לא חוקית או שגיאות שהתרחשו במהלך העיבוד. כדי לפתור את השגיאה:

  • בודקים אם יש שגיאות ואזהרות ביומן ההיסטוריה של הפעלת ההעברה.
  • אם בטבלאות שאתם מנסים לטעון אין את העמודות segments_date,‏ segments_week,‏ segments_month,‏ segments_quarter או segments_year, הטעינה אמורה להידלג אם run_date הוא לא התאריך האחרון. פרטים נוספים זמינים במאמרים הפעלה ידנית של העברת נתונים מ-Google Ads ודוחות בהתאמה אישית.
  • אם אתם מתקשים למצוא את שורש הבעיה, אתם יכולים לבקש תמיכה.
שגיאה: Import failed - no data was available for import. Please verify that data existence was expected.
שגיאה: No data available for the requested date. Please try an earlier run date or verify that data existence was expected.

פתרון: אם השגיאה הזו מופיעה כשאתם יוצרים העברה מ-Google Ads, בקשו תמיכה וצרפו צילום מסך של הודעת השגיאה.

שגיאה: AuthenticationError.NOT_ADS_USER.

פתרון: למשתמש שמגדיר את ההעברה מ-Google Ads צריך להיות חשבון או פרטי התחברות ב-Google Ads.

שגיאה: Request is missing required authentication credential

פתרון: למשתמש או לחשבון השירות אין גישה לחשבון Google Ads. כדי לתת למשתמש או לחשבון השירות את ההרשאות הנדרשות, פועלים לפי ההוראות בקטע ההרשאות הנדרשות.

שגיאה: ERROR_GETTING_RESPONSE_FROM_BACKEND.

פתרון: אם הפעלת העברה של Google Ads נכשלת ומוחזרת השגיאה ERROR_GETTING_RESPONSE_FROM_BACKEND, מפעילים את האפשרות Exclude Removed/Disabled Items בהגדרות ההעברה ומגדירים מילוי חוסרים כדי לנסות לאחזר נתונים לימים שהושפעו מהפעלת ההעברה שנכשלה.

אזהרה: Data for the report ClickStats was not available for the specified date.
שגיאה: INVALID_DATE_RANGE_FOR_REPORT.

פתרון: זה צפוי כשממלאים נתונים חסרים בדוח ביצועי קליקים מלפני יותר מ-90 יום. במקרה כזה, תופיע האזהרה או השגיאה הזו והטבלה ClickStats לא תתעדכן בתאריך שצוין.

שגיאה: Error while processing report for table table_name for account id account_id. Http(400) Bad Request;
שגיאה: AuthorizationError.TWO_STEP_VERIFICATION_NOT_ENROLLED

פתרון: אם בחשבון המשתמש שמשויך להעברה הזו לא מופעל אימות דו-שלבי (או אימות רב-שלבי), מפעילים אימות דו-שלבי בחשבון הזה ומריצים מחדש את משימת ההעברה שנכשלה. חשבונות שירות פטורים מהדרישה לאימות דו-שלבי.

שגיאה: Quota exceeded: Your project exceeded quota for imports per project

פתרון: ההעברות כפופות למכסות של BigQuery על משימות טעינה. אם הגעתם למגבלת המכסה של משימות הטעינה, נסו להפחית את מספר הטעינות המיותרות באמצעות table_filter, למחוק הגדרות העברה שלא בשימוש או לצמצם את חלון הרענון. אם אתם צריכים להגדיל את המכסה, פנו לנציג המכירות שלכם ב- Google Cloud . מידע נוסף זמין במאמר מכסות ומגבלות.

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-Google Ad Manager.

שגיאה: Another transfer run is concurrently processing table.

פתרון: השגיאה הזו יכולה להתרחש כשהרצת העברה אחרת עם אותן הגדרות העברה לא הסתיימה כשהרצת ההעברה הנוכחית מתחילה.

  • אם זמן האחזור נגרם בגלל קבצים גדולים של העברת נתונים ב-Google Ad Manager‏ (Google Ad Manager DT), כדאי להפעיל את פורמט Parquet, שביצועי הטעינה שלו טובים יותר.
  • אם זמן האחזור נגרם בגלל טבלאות התאמה, כדאי לדלג על טבלאות ההתאמה על ידי הגדרת הפרמטר load_match_tables לערך false.
  • אם תהליך ההעברה נמשך באופן עקבי יותר זמן מתדירות החזרה הנוכחית, צריך לשנות את תדירות החזרה.
שגיאה: No data available for the requested date. Please try an earlier run date or verify that data existence was expected.
שגיאה: Import failed - no data was available for import. Please verify that data existence was expected.

פתרון: מוודאים שהקטגוריה של Cloud Storage ב-Google Ad Manager מכילה קובצי העברת נתונים בטווח התאריכים שצוין. האדמין של Google Ad Manager מנהל את הקטגוריה של Cloud Storage שמכילה את קובצי העברת הנתונים. משתמשים שיוצרים העברות של Google Ad Manager צריכים להיות חברים בקבוצת Google עם גישת קריאה לקטגוריה.

כדי לאמת את ההרשאות ב-Cloud Storage, אתם יכולים לנסות לקרוא קבצים בקטגוריית העברת הנתונים של Google Ad Manager. מידע נוסף על קטגוריות של Google Ad Manager ב-Cloud Storage זמין במאמר גישה לקטגוריות של Google Ad Manager באחסון.

כדי לבדוק אם הקבצים היו קיימים כשהפעלת ההעברה תוכננה, אפשר לבדוק את זמן היצירה של הקבצים בקטגוריה של Cloud Storage. במקרים מסוימים, יכול להיות שהפעלת ההעברה הראשונה של היום תתוזמן לפני שנוצרה הקבוצה הראשונה של קובצי העברת הנתונים של Google Ad Manager. בהפעלות הבאות באותו יום וביום שאחריו, ייטענו כל הקבצים שנוצרו על ידי Google Ad Manager.

אם הקבצים קיימים בקטגוריה של העברת הנתונים ויש לכם הרשאות קריאה, תזמנו מילוי חוסרים לטווח התאריכים הרלוונטי. מידע נוסף על יצירת בקשה למילוי חוזר ב-Google Ad Manager זמין במאמר הגדרת מילוי חוזר.

שגיאה: AuthenticationError: NO_NETWORKS_TO_ACCESS.

פתרון: ודאו שיש לכם הרשאת קריאה ברשת Google Ad Manager. אם אתם צריכים עזרה כדי לקבוע את הגישה לרשת, פנו לתמיכה של Google Ad Manager.

שגיאה: Error code 9 : Field field_name?field_name?field_name?RefererURL is unknown.; Table: table_name

פתרון: ודאו שאתם לא משתמשים בתו המפריד thorn ‏ (þ). אין תמיכה בתו המפריד thorn. השימוש בקוץ מסומן על ידי ? בהודעת השגיאה.

שגיאה: Incompatible table partitioning specification. Destination table exists with partitioning specification interval(type:Day,field:) clustering

פתרון: המחבר של Google Ads Manager לא תומך בהעברת נתונים למערך נתונים עם אשכולות. במקום זאת, צריך להשתמש במערך נתונים בלי אשכולות.

בעיות בהעברת נתונים מ-Search Ads 360

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה של Search Ads 360.

שגיאה: No jobs to start for run
פתרון: השגיאה הזו יכולה להתרחש כשמשתמשים במסנן טבלאות כדי לסנן רק טבלאות של מדדים (טבלאות שמכילות את stats), אבל ההעברה מופעלת באמצעות חשבון ניהול או חשבון ניהול משני שלא משויכים אליו חשבונות לקוח פעילים. כדי לפתור את השגיאה, צריך להסיר את מסנן הטבלה או לשנות אותו כך שיכלול טבלאות התאמה (טבלאות שלא מכילות את stats).

בעיות בהעברה מ-Google Merchant Center

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה של Google Merchant Center.

שגיאה: No data to transfer found for the Merchant account. If you have just created this transfer - you may need to wait for up to 90 minutes before the data of your Merchant account are prepared and available for the transfer.
פתרון: השגיאה הזו מופיעה אם מגדירים העברה באמצעות תאריך ושעת ההתחלה שמוגדרים כברירת מחדל בקטע Schedule. אם משתמשים בערכי ברירת המחדל של התזמון, הפעלת ההעברה הראשונה מתחילה מיד אחרי שיוצרים את ההעברה, אבל היא נכשלת כי צריך להכין את הנתונים בחשבון של המוכר/ת לפני שאפשר להעביר אותם. צריך להמתין 90 דקות ואז להגדיר מילוי חוסרים להיום, או להמתין עד מחר להפעלה המתוזמנת הבאה.
שגיאה: No data to transfer found for Merchant account. This can be because your account currently doesn't have any products.
הפתרון: השגיאה הזו מציינת שאין מוצרים בחשבון של מוכר/ת. ההעברה תתחיל לפעול אחרי שתוסיפו מוצרים לחשבון Merchant Center.
שגיאה: Transfer user doesn't have access to the Merchant account. Please verify access in the Users section of the Google Merchant Center.
פתרון: השגיאה הזו מציינת שלמשתמש שהגדיר את ההעברה אין גישה לחשבון של מוכר/ת שמשמש להעברה. כדי לפתור את הבעיה, צריך לאמת את הגישה לחשבון ולהעניק את הגישה החסרה ב-Google Merchant Center.
שגיאה: Transfer user doesn't have user roles that allows access to the product data of the Merchant account. Please verify access and roles in the Users section of the Google Merchant Center.
פתרון: השגיאה הזו מציינת שלמשתמש שהגדיר את ההעברה אין גישה לנתוני המוצרים של חשבון של מוכר/ת שמשמש להעברה. כדי לפתור את הבעיה, צריך לאמת ולהעניק את תפקידי המשתמשים החסרים ב-Google Merchant Center.
שגיאה: Historical backfills are not supported.
פתרון: השגיאה הזו מופיעה אם מגדירים מילוי חוסרים לימים קודמים. השגיאה הזו צפויה. אין תמיכה במילוי חוסרים היסטוריים. אפשר להגדיר מילוי חוסרים רק להיום כדי לרענן את הנתונים של היום אחרי שההרצה היומית המתוזמנת כבר הסתיימה.

בעיות בהעברה ב-Google Play

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-Google Play.

שגיאה: No jobs to start for run
פתרון: מוודאים שלמשתמש יש הרשאות מספיקות כדי להתחיל העברה מ-Google Play, ואז מוודאים שהמשתמש ציין את הקטגוריה הנכונה של Cloud Storage כשהוא הגדיר את ההעברה. אם המשתמש עדיין נתקל בשגיאה, אפשר לבקש תמיכה.
הבעיה: דוחות ההכנסות והדוחות הפיננסיים לא נטענו ב-BigQuery
פתרון: כדי לגשת לדוחות הפיננסיים של Google Play, למשתמשים צריכה להיות ההרשאה View financial data. כדי לנהל את ההרשאות בחשבון הפיתוח, קראו את המאמר הוספת משתמשים לחשבון הפיתוח וניהול הרשאות.

בעיות בהעברה מ-HubSpot

שגיאה: PERMISSION_DENIED: Permission denied. Your Access Token may lack required access to the provided account. Please also check for typos like whitespace or if the provided accountId even exists
פתרון: מוודאים שאסימון הגישה של האפליקציה הפרטית תקין, שלמשתמש ב-HubSpot יש תפקיד סופר-אדמין ושהאפליקציה הפרטית כוללת את כל ההיקפים הנדרשים. מידע נוסף זמין במאמר דרישות מוקדמות של HubSpot.
שגיאה: INVALID_ARGUMENT: Table 'NAME' does not exist in asset "ASSET"
פתרון: מוודאים ששם הנכס שצוין תקין ולא מכיל רווחים בתחילת השם או בסופו. כשיוצרים העברה מ-HubSpot, מומלץ ללחוץ על Browse כדי לבחור את הנכס מרשימת האובייקטים הזמינים.
שגיאה: FAILED_PRECONDITION: Rate limit exceeded.
פתרון: חרגתם מהמגבלה על קצב הבקשות של HubSpot API. צריך להמתין קצת לפני שמנסים שוב להעביר את הנתונים. אפשר גם להפחית את התדירות של משימות העברת הנתונים ולהגביל את מספר ההעברות שמתבצעות בו-זמנית בחשבונות דומים.
שגיאה: UNAUTHENTICATED: Authentication failed. Please verify your HubSpot access token.
פתרון: מוודאים שאסימון הגישה לאפליקציה הפרטית נכון. מידע נוסף זמין במאמר דרישות מוקדמות של HubSpot.
שגיאה: UNKNOWN: An unknown error occurred while processing the request.
פתרון: מוודאים שאסימון הגישה לאפליקציה הפרטית של HubSpot נכון, ושההרשאות הנדרשות קיימות לאובייקטים שאליהם ניגשים. לאחר מכן מנסים שוב את משימת ההעברה.

בעיות בהעברה מ-Klaviyo

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה מ-Klaviyo.

שגיאה: PERMISSION_DENIED: Permission denied. Your API key may lack required access scopes
פתרון: מוודאים שלמפתח ה-API הפרטי של Klaviyo יש לפחות את רמת הגישה READ ONLY. מידע נוסף זמין במאמר דרישות מוקדמות של Klaviyo.
שגיאה: FAILED_PRECONDITION
פתרון: מנסים שוב את ההעברה עם טווח תאריכים קצר יותר.
שגיאה: UNKNOWN: An unknown error occurred while processing the request.
פתרון: מוודאים שמפתח ה-API של החשבון תקין ומנסים שוב להפעיל את משימת ההעברה.
שגיאה: INTERNAL: An unknown error occurred while processing the request.
פתרון: מוודאים שמפתח ה-API של החשבון תקין ומנסים שוב להפעיל את משימת ההעברה.

בעיות בהעברה מ-Microsoft SQL Server

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה של Microsoft SQL Server.

שגיאה: FAILED PRECONDITION: A TLS/SSL handshake error occurred: unable to find valid certification path to requested target. Please check your TLS/SSL configuration and certificate validity.

פתרון: כדי לוודא שהאישור תקין:

  1. מחליפים את אישור ה-SSL או ה-TLS ב-SQL Server באישור שהונפק על ידי רשות ציבורית מהימנה להנפקת אישורים. מידע נוסף זמין במאמר הגדרת TLS.
  2. מוודאים שהאישור החדש כולל את שרשרת האישורים המלאה, כולל כל אישורי הביניים ואישורי הבסיס.
  3. אחרי שמעדכנים את האישור, מפעילים מחדש את שירות SQL Server כדי להחיל את הגדרת ה-SSL או ה-TLS החדשה.
  4. אחרי שהשרת יופעל מחדש, צרו שוב את הגדרת ההעברה כדי לוודא שהאישור המעודכן מהימן ושלחיצת היד של TLS/SSL הושלמה בהצלחה.
שגיאה: INVALID_ARGUMENT: Catalog 'SCHEMA' does not exist in asset "SCHEMA/TABLE"

פתרון: מוודאים שהקטלוג והטבלה קיימים ב-SQL Server ומאויתים נכון. חשוב גם לוודא שלמשתמש יש הרשאות גישה מספיקות כדי לעיין בקטלוג ובתוכן שלו או לשלוח שאילתות לגביהם.

בעיות בהעברה מ-Mailchimp

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה מ-Mailchimp.

שגיאה: INVALID_ARGUMENT: Invalid request. Please check the input parameters (Credentials, Table, etc.) and try again.
פתרון: מוודאים ששם הנכס שצוין תקין ולא מכיל רווחים בתחילת השם או בסופו. כשיוצרים העברה מ-Mailchimp, מומלץ ללחוץ על Browse כדי לבחור את הנכס מרשימת האובייקטים הזמינים.
שגיאה: PERMISSION_DENIED: Permission denied. Your credentials may lack required access.
פתרון: מוודאים שלמשתמש ב-Mailchimp יש את כל ההרשאות הנדרשות. רמת המשתמש Admin ב-Mailchimp היא רמת הגישה המינימלית שנדרשת כדי להעביר את כל האובייקטים של Mailchimp.
שגיאה: FAILED_PRECONDITION: Operation failed due to precondition violation (ex- Rate limit exceeded, Server Error). Please try again later.
פתרון: ממתינים קצת ומנסים שוב לבצע העברת נתונים. אפשר גם לבדוק את הסטטוס של Mailchimp כדי לראות אם יש הפסקות בשירות.
שגיאה: UNKNOWN: An unknown error occurred while processing the request.
פתרון: ודאו שמפתח ה-API תקין ושלמשתמש יש את כל ההרשאות הנדרשות, ואז נסו שוב להפעיל את משימת העברת הנתונים.

בעיות בהעברה מ-MySQL

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה של MySQL.

שגיאה: PERMISSION_DENIED. Failed to authenticate or permission denied with the provided credentials when starting to transfer asset asset-name.
פתרון: בודקים אם הפרמטרים connector.authentication.username ו-connector.authentication.password שציינתם תקינים ופועלים.
שגיאה: NOT_FOUND. Invalid data source configuration provided when starting to transfer asset asset-name: APPLICATION_ERROR;google.cloud.bigquery.federationv1alpha1/ConnectorService.StartQuery;INVALID_ARGUMENT:Exception was thrown by the Connector implementation: Table table-name does not exist in asset asset-name.

פתרון: בודקים שהאיות של שם הטבלה או התצוגה נכון, שהשם של הטבלה או התצוגה שאליהם מפנים קיים, ושהמילה הנרדפת (כינוי) מפנה לטבלה או לתצוגה קיימת.

אם הטבלה או התצוגה קיימות, ודאו שלמשתמש במסד הנתונים שצריך גישה לטבלה יש את הרשאות הגישה המתאימות. אם הטבלה או התצוגה לא קיימות, יוצרים את הטבלה.

אם אתם מנסים לגשת לטבלה או לתצוגה בסכימה אחרת, ודאו שאתם מפנים לסכימה הנכונה ושיש לכם גישה לאובייקט.

אם צוין שם של טבלה או תצוגה, צריך לוודא שהוא צוין בתור object_name, אחרת הוא יהיה ריק.

שגיאה: SERVICE_UNAVAILABLE. Timed out when starting to transfer asset asset-name. Ensure the datasource is reachable and the datasource configuration (Credentials, Network Attachment etc.) is correct.
שגיאה: DEADLINE_EXCEEDED. Timed out when starting to transfer asset asset-name. Ensure the datasource is reachable and the datasource configuration (Credentials, Network Attachment etc.) is correct.

פתרון: בודקים אם פרטי מסד הנתונים שצוינו נכונים, ומוודאים שמחבר הרשת שמשמש להגדרות ההעברה מוגדר בצורה נכונה. יכול להיות גם שההעברה לא הסתיימה לפני המועד האחרון.

שגיאה: INTERNAL

פתרון: סיבה אחרת גרמה להעברה להיכשל. כדי לפתור את הבעיה, פנו ל-Cloud Customer Care.

שגיאה: INVALID_ARGUMENT. Connection to the host and port failed. Please check that the host, port, encryptionMode and network attachment are correct.

פתרון: ודאו שהמארח, היציאה, מצב ההצפנה והגדרות הרשת מוגדרים בצורה נכונה. בודקים את החיבור לרשת ומוודאים שיש גישה לשרת של מסד הנתונים. אם המדיניות EncryptionMode מוגדרת לערך FULL, צריך לוודא שהשרת תומך בפרוטוקולים הנדרשים, שיש לו אישור תקף ושהוא מאפשר חיבורים מאובטחים. אם המדיניות EncryptionMode מוגדרת לערך DISABLE, צריך לוודא שהשרת מאפשר חיבורים ללא SSL. בודקים את יומני האפליקציה ומסד הנתונים כדי לאתר שגיאות שקשורות לחיבור או ל-SSL/TLS.

שגיאה: Failed to connect to MySQL instance INSTANCE_NAME. : Failed to connect to MySQL instance. Please ensure provided instance details are correct.

פתרון: ודאו שפרטי המכונה בהגדרות ההעברה נכונים. פרטי המכונה כוללים פרמטרים כמו השם, שם המארח, כתובת ה-IP ומספר היציאה של מסד הנתונים ב-MySQL, או שם המשתמש והסיסמה של המשתמש במסד הנתונים.

בעיות בהעברה מ-Oracle

ריכזנו כאן כמה בעיות נפוצות שאתם עשויים להיתקל בהן כשאתם יוצרים העברה מ-Oracle.

שגיאה: PERMISSION_DENIED. ORA-01017: invalid username/password; logon denied
פתרון: מוודאים שפרטי הכניסה ל-Oracle תקינים.
שגיאה: PERMISSION_DENIED. ORA-01045: user lacks CREATE SESSION privilege; logon denied
פתרון: נותנים למשתמש Oracle את הרשאות המערכת CREATE SESSION. מידע נוסף על הענקת הרשאות ב-Oracle זמין במאמר GRANT.
שגיאה: SERVICE_UNAVAILABLE. ORA-12541: Cannot connect. No listener at host HOSTNAME port PORT או SERVICE_UNAVAILABLE. Connection failed: IO Error. The Network Adapter could not establish the connection
פתרון: מוודאים ששם המארח והיציאה נכונים, ושהחיבור לרשת מוגדר כמו שצריך.
שגיאה: NOT_FOUND. ORA-00942: table or view does not exist

פתרון: בודקים את הדברים הבאים:

  • האיות של שם הטבלה או התצוגה נכון.
  • שם הטבלה או התצוגה שאליהם מפנים קיים.
  • מילה נרדפת שמפנה לטבלה או לתצוגה קיימת. אם הטבלה או התצוגה קיימות, ודאו שהמשתמש במסד הנתונים שצריך גישה לטבלה קיבל את הרשאות הגישה הנכונות. אם לא, יוצרים את הטבלה.
  • אם אתם מנסים לגשת לטבלה או לתצוגה בסכימה אחרת, ודאו שאתם מפנים לסכימה הנכונה ושיש לכם גישה לאובייקט.
שגיאה: NOT_FOUND. Schema schema does not exist.
פתרון: הסכימה שצוינה לא קיימת.
שגיאה: DEADLINE_EXCEEDED
פתרון: הפעלת ההעברה לא הסתיימה במסגרת הזמן המקסימלית של שש שעות. כדי לקצר את זמני ההרצה של ההעברות, אפשר לפצל העברות גדולות לכמה העברות קטנות יותר.
שגיאה: INTERNAL
פתרון: סיבה אחרת גרמה להעברה להיכשל. פנו ל-Cloud Customer Care כדי לקבל עזרה בפתרון הבעיה.
שגיאה: INVALID_ARGUMENT
פתרון: אחד מהערכים שסופקו בהגדרות ההעברה לא תקין, ולכן ההעברה נכשלה. למידע על ערכים תקינים של הגדרות העברה, קראו את המאמר הגדרת העברה מ-Oracle.
שגיאה: SQL Error [1950] [42000]: ORA-01950: no privileges on tablespace 'TablespaceName'
פתרון: מקצים את ברירת המחדל של מרחב הטבלאות למשתמש. מידע נוסף מופיע במאמר הקצאת מרחב טבלאות שמוגדר כברירת מחדל.
שגיאה: 403 PERMISSION_DENIED. Required 'compute.subnetworks.use' permission for project

פתרון: השגיאה הזו יכולה להתרחש אם מחבר הרשת נמצא בפרויקט אחר מזה שבו נמצאות הגדרות ההעברה. כדי לפתור את הבעיה, צריך לתת לחשבון השירות (לדוגמה, service-customer_project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאות הבאות בפרויקט שבו נמצא חיבור הרשת:

  • compute.networkAttachments.get
  • compute.networkAttachments.update
  • compute.subnetworks.use
  • compute.regionOperations.get

השגיאה הזו יכולה להתרחש גם אם מחבר הרשת מנסה להתחבר לענן וירטואלי פרטי (VPC) שנמצא בפרויקט אחר, כמו VPC משותף. במקרה כזה,צריך לתת לחשבון השירות (לדוגמה, service-customer_project_number@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה compute.subnetworks.use בפרויקט המארח של ה-VPC המשותף.

בעיות בהעברות בפייפאל

ריכזנו כאן כמה בעיות נפוצות שאתם עלולים להיתקל בהן כשאתם יוצרים העברה של פייפאל.

שגיאה: PERMISSION_DENIED: Authorization failed due to insufficient permissions.
פתרון: מוודאים שללקוח ולסוד הלקוח יש את ההרשאות הנדרשות כדי לגשת לאובייקט של פייפאל שמועבר.
שגיאה: INVALID_ARGUMENT: Table 'OBJECT' does not exist in asset "OBJECT"
הפתרון: מוודאים ששם האובייקט תקין.
שגיאה: INVALID_ARGUMENT: The given start date 'DATE' cannot be parsed. Please provide it in 'yyyy-MM-dd' format.
פתרון: מוודאים שהתחביר של תאריך ההתחלה נכון.
שגיאה: UNAUTHENTICATED: Please provide a valid clientId and client secret.
פתרון: מוודאים שמזהה הלקוח וסוד הלקוח נכונים.
שגיאה: UNKNOWN: An unknown error occurred while processing the request.
פתרון: מוודאים שהמפתח הסודי ומזהה החשבון תקינים, ושהאובייקטים שנבחרו קיבלו את ההרשאות הנדרשות. לאחר מכן מנסים שוב להפעיל את משימת ההעברה. אם הבעיה נמשכת, פנו ל-Cloud Customer Care.
שגיאה: INTERNAL: An unknown error occurred while processing the request.
פתרון: מוודאים שהמפתח הסודי ומזהה החשבון תקינים, ושהאובייקטים שנבחרו קיבלו את ההרשאות הנדרשות. לאחר מכן מנסים שוב להפעיל את משימת ההעברה. אם הבעיה נמשכת, פנו ל-Cloud Customer Care.

בעיות בהעברות מ-PostgreSQL

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה מ-PostgreSQL.

שגיאה: PERMISSION_DENIED. Failed to authenticate or permission denied with the provided credentials when starting to transfer asset asset-name.
פתרון: בודקים אם הפרמטרים connector.authentication.username ו-connector.authentication.password שציינתם תקינים ופועלים.
שגיאה: NOT_FOUND. Invalid data source configuration provided when starting to transfer asset asset-name: APPLICATION_ERROR;google.cloud.bigquery.federationv1alpha1/ConnectorService.StartQuery;INVALID_ARGUMENT:Exception was thrown by the Connector implementation: Table table-name does not exist in asset asset-name.

פתרון: בודקים שהאיות של שם הטבלה או התצוגה נכון, שהשם של הטבלה או התצוגה שאליהם מפנים קיים, ושהמילה הנרדפת (כינוי) מפנה לטבלה או לתצוגה קיימת.

אם הטבלה או התצוגה קיימות, ודאו שלמשתמש במסד הנתונים שצריך גישה לטבלה יש את הרשאות הגישה המתאימות. אם הטבלה או התצוגה לא קיימות, יוצרים את הטבלה.

אם אתם מנסים לגשת לטבלה או לתצוגה בסכימה אחרת, ודאו שאתם מפנים לסכימה הנכונה ושיש לכם גישה לאובייקט.

אם צוין שם של טבלה או תצוגה, צריך לוודא שהוא צוין בתור object_name, אחרת הוא יהיה ריק.

שגיאה: SERVICE_UNAVAILABLE. Timed out when starting to transfer asset asset-name. Ensure the datasource is reachable and the datasource configuration (Credentials, Network Attachment etc.) is correct.
שגיאה: DEADLINE_EXCEEDED. Timed out when starting to transfer asset asset-name. Ensure the datasource is reachable and the datasource configuration (Credentials, Network Attachment etc.) is correct.

פתרון: בודקים אם פרטי מסד הנתונים שצוינו נכונים, ומוודאים שמחבר הרשת שמשמש להגדרות ההעברה מוגדר בצורה נכונה. יכול להיות גם שההעברה לא הסתיימה לפני המועד האחרון.

שגיאה: INTERNAL

פתרון: סיבה אחרת גרמה להעברה להיכשל. כדי לפתור את הבעיה, פנו ל-Cloud Customer Care.

שגיאה: INVALID_ARGUMENT. Connection to the host and port failed. Please check that the host, port, encryptionMode and network attachment are correct.

פתרון: ודאו שהמארח, היציאה, מצב ההצפנה והגדרות הרשת מוגדרים בצורה נכונה. בודקים את החיבור לרשת ומוודאים שיש גישה לשרת של מסד הנתונים. אם המדיניות EncryptionMode מוגדרת לערך FULL, צריך לוודא שהשרת תומך בפרוטוקולים הנדרשים, שיש לו אישור תקף ושהוא מאפשר חיבורים מאובטחים. אם המדיניות EncryptionMode מוגדרת לערך DISABLE, צריך לוודא שהשרת מאפשר חיבורים ללא SSL. בודקים את יומני האפליקציה ומסד הנתונים כדי לאתר שגיאות שקשורות לחיבור או ל-SSL/TLS.

שגיאה: INVALID_ARGUMENT: For Asset "postgres"."auth"."sessions", row count exceeds the max supported unIndexed read size of 2000000 records.

פתרון: השגיאה הזו יכולה להתרחש כשמנסים להעביר יותר מ-2,000,000 רשומות מטבלה ב-PostgreSQL לטבלה ב-BigQuery, ואין מפתח ראשי או עמודה שנוסף לה אינדקס בטבלה ב-PostgreSQL. כדי לפתור את הבעיה, צריך להוסיף מפתח ראשי או עמודה שנוסף לה אינדקס בטבלה. מידע נוסף מופיע בקטע מגבלות.

בעיות בהעברה מ-Salesforce

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-Salesforce.

שגיאה: Permission Denied: invalid_client. invalid client credentials
פתרון: מוודאים שה-ClientSecret שצוין תקין.
שגיאה: Permission Denied: invalid_client. client identifier invalid
פתרון: מוודאים שהערך של ClientId שצוין תקין.
שגיאה: Permission Denied: Error encountered while establishing connection
פתרון: בודקים אם השם שצוין ב-Salesforce MyDomain נכון.
שגיאה: NOT_FOUND. asset type asset_name is not supported. If you are attempting to use a custom object, be sure to append the "__c" after the entity name. Please reference your WSDL or use the describe call for the appropriate names.
פתרון: פועלים לפי ההנחיות בקוד השגיאה ומוודאים ששם הנכס שצוין נכון.
שגיאה: SERVICE_UNAVAILABLE
פתרון: השירות לא יכול לטפל בבקשה באופן זמני. צריך לחכות כמה דקות ולנסות שוב.
שגיאה: DEADLINE_EXCEEDED
פתרון: הפעלת ההעברה לא הסתיימה במסגרת הזמן המקסימלית של שש שעות. כדי לצמצם את זמני ההרצה של ההעברות, כדאי לפצל העברות גדולות לכמה העברות קטנות יותר.
שגיאה: Failed to create recordReader to read partition : Batch failed. BatchId='batch_id', Reason='FeatureNotEnabled : Binary field not supported'
פתרון: המחבר לא תומך במבני נתונים של sObject שמכילים שדות בינאריים. מסירים ממשימות ההעברה מבני נתונים של sObject שמכילים שדות בינאריים. מידע נוסף זמין במאמר Error 'Batch failed: FeatureNotEnabled: Binary field not supported' when you export related object במסמכי התיעוד של Salesforce.
שגיאה: RESOURCE_EXHAUSTED: PrepareQuery failed : ExceededQuota : ApiBatchItems Limit exceeded
פתרון: השגיאה הזו מופיעה כשחורגים ממכסת בקשות ה-API היומית של ApiBatchItems להרצת משימות. ל-Salesforce יש מכסת בקשות API יומית שמתאפסת כל 24 שעות. כדי לפתור את השגיאה הזו, מומלץ לפצל את הרצות ההעברה ולתזמן אותן כך שלא יחרגו ממכסת בקשות ה-API היומית של האצווה. אפשר גם לפנות לתמיכה של Salesforce כדי להגדיל את המגבלה היומית.
שגיאה: Permission Denied: invalid_grant. no client credentials user enabled
פתרון: מוודאים שהשדה Run as בקטע Client Credentials Flow של האפליקציה המקושרת ל-Salesforce מכיל את שם המשתמש הנכון. מידע נוסף זמין במאמר איך יוצרים אפליקציה מקושרת ב-Salesforce.
שגיאה: FAILED_PRECONDITION: BatchId='batch-id', Reason='InvalidBatch : Failed to process query: OPERATION_TOO_LARGE: exceeded 100000 distinct ids'
פתרון: מוודאים שבפרופיל המשתמש לא מוגדרות מגבלות שאילתה מוגבלות ל-sObject שחולץ. אם הבעיה נמשכת, צריך להשתמש בפרטי הכניסה של משתמש Salesforce עם הרשאות אדמין כדי להשלים את החילוץ.
שגיאה: FAILED_PRECONDITION: Batch failed. BatchId='batch-id', Reason='InvalidBatch : Failed to process query: TXN_SECURITY_NO_ACCESS: The operation you requested isn't allowed due to a security policy in your organization. Contact your administrator for more information about security policies.
פתרון: ודאו שהפרופיל או קבוצת ההרשאות של המשתמש כוללים את ההרשאות הנדרשות ברמת האובייקט והשדה בשביל ה-sObject שחולץ. כדי לעדכן את ההרשאות האלה או להקצות תפקיד עם הגישה הנדרשת, צריך לפנות לאדמין.
שגיאה: FAILED_PRECONDITION: Cannot establish connection to Salesforce to describe SObject: 'SObject_Name' due to error: TotalRequests Limit exceeded., Cause:null Retry after some time post quota reset.
פתרון: השגיאה הזו יכולה להתרחש כשחורגים ממגבלת משימות הטעינה. צריך להמתין עד שהמכסה תתאפס לפני שמנסים שוב.
שגיאה: FAILED_PRECONDITION: There was an issue connecting to Salesforce Bulk API.
פתרון: השגיאה הזו יכולה להתרחש כשכוללים בהעברה חיבור לרשת, אבל לא מגדירים את ה-NAT הציבורי ואת רשימת ההיתרים של כתובות ה-IP. כדי לפתור את השגיאה, צריך לבצע את כל השלבים שמפורטים בקטע הגדרת רשימת היתרים של כתובות IP להעברות מ-Salesforce.
שגיאה: SYSTEM ERROR when starting to transfer asset asset_name, try again later.
פתרון: השגיאה הזו יכולה להתרחש כש-Bulk API לא מופעל בארגון שלכם ב-Salesforce. כדי לפתור את השגיאה, צריך לעדכן את הרישיון של Salesforce כך שיכלול תמיכה ב-Bulk API. מידע נוסף זמין במאמר הפעלת API אסינכרוני.

בעיות בהעברה מ-Shopify

שגיאה: [NOT_FOUND] Your app doesn't have a publication for this shop.

פתרון: השגיאה הזו יכולה להתרחש כשיש בעיה באופן שבו האפליקציה המותאמת אישית מוגדרת. מומלץ להסיר את האפליקציה המותאמת אישית ולהתקין אותה מחדש לפי השלבים הבאים.

  1. מסירים את אפליקציית Shopify.
  2. יוצרים אפליקציה בהתאמה אישית עם ההגדרות הבאות.
    1. במהלך יצירת האפליקציה, בוחרים באפשרות הפצה בהתאמה אישית. תצטרכו לספק את הדומיין של החנות או את כתובת ה-URL של דף הניהול. אחרי ההגדרה, מערכת Shopify יוצרת קישור להשלמת ההתקנה של האפליקציה. מידע נוסף זמין בקטע בחירת שיטת הפצה.
    2. במהלך יצירת האפליקציה, לוחצים על API access request, בוחרים באפשרות Enable storefront ומפעילים את ההיקף read_all_orders.
    3. מתקינים את האפליקציה בהתאמה אישית.
  3. אחרי שמתקינים מחדש את האפליקציה בהתאמה אישית, מפעילים מחדש את העברת הנתונים.
שגיאה: PERMISSION_DENIED: Permission denied. Your API key may lack required access to the provided account. Please also check for typos like whitespace or if the provided accountId even exists

פתרון: מוודאים שהאסימון לגישה ל-Shopify Admin API נכון, ושאפליקציית Shopify כוללת את כל תפקידי הגישה הנדרשים.

שגיאה: INVALID_ARGUMENT: Table 'NAME' does not exist in asset "ASSET"

פתרון: מוודאים ששם הנכס שצוין תקין ושהוא לא מכיל רווחים בתחילת השם או בסופו. כשיוצרים העברה מ-Shopify, מומלץ ללחוץ על Browse כדי לבחור את הנכס מרשימת האובייקטים הזמינים.

שגיאה: UNAUTHENTICATED: Authentication failed. Please verify your Shopify access token.

פתרון: מוודאים שאסימון הגישה ל-Shopify Admin API תקין. מידע נוסף זמין במאמר דרישות מוקדמות של Shopify.

שגיאה: UNKNOWN: An unknown error occurred while processing the request.

פתרון: מוודאים שטוקן הגישה ל-Shopify Admin API ושם החנות נכונים, ואז מנסים שוב להפעיל את משימת ההעברה. אם הבעיה נמשכת, פנו ל-Cloud Customer Care.

בעיות בהעברות ב-Stripe

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה ב-Stripe.

שגיאה: PERMISSION_DENIED: Permission denied. Your API key may lack required access to the provided account. Please also check for typos like whitespace or if the provided accountId even exists
פתרון: אם אתם משתמשים במפתח API מוגבל, ודאו שלמפתח יש הרשאה לגשת לאובייקט Stripe שמועבר. אחרי שמעדכנים את ההרשאות במפתח המוגבל, מנסים להפעיל שוב את העברת הנתונים. למידע על ניהול מפתחות סודיים, קראו את המאמר מפתחות סודיים ומוגבלים.
שגיאה: INVALID_ARGUMENT: Table 'NAME' does not exist in asset "ASSET"
פתרון: בודקים ששם הנכס שצוין תקין ולא מכיל רווחים בתחילת השם או בסופו. כשיוצרים העברה מ-Stripe, מומלץ ללחוץ על Browse כדי לבחור את הנכס מרשימת האובייקטים הזמינים.
שגיאה: UNAUTHENTICATED: Authentication failed. Please verify your Stripe API key.
פתרון: בודקים שהמפתח הסודי ומספר החשבון נכונים. במאמר דרישות מוקדמות של Stripe מוסבר איך לאחזר את המידע הזה.
שגיאה: RESOURCE_EXHAUSTED: Rate limit exceeded.
פתרון: יכול להיות שחרגתם ממגבלת הקצב של יצירת בקשות ב-Stripe API. צריך להמתין קצת לפני שמנסים שוב לשלוח את הבקשה להעברת הנתונים. כדי למנוע את הבעיה הזו, כדאי להפחית את התדירות של משימות העברת הנתונים ולהגביל את מספר ההעברות שמתבצעות בו-זמנית מאותו חשבון.
שגיאה: UNAVAILABLE: Stripe service is temporarily unavailable. Please try again shortly.
פתרון: ממתינים קצת ומנסים שוב לבצע העברת נתונים. אפשר לבדוק את הסטטוס של Stripe כדי לראות אם יש הפסקות זמניות בשירות.
שגיאה: UNKNOWN: An unknown error occurred while processing the request.
פתרון: מוודאים שהמפתח הסודי ומזהה החשבון תקינים, ושההרשאות הנדרשות קיימות לאובייקטים שנבחרו, ואז מנסים שוב להפעיל את משימת ההעברה. אם הבעיה נמשכת, פנו ל-Cloud Customer Care.
שגיאה: INTERNAL: An unknown error occurred while processing the request.
פתרון: מוודאים שהמפתח הסודי ומזהה החשבון תקינים, ושההרשאות הנדרשות קיימות לאובייקטים שנבחרו, ואז מנסים שוב להפעיל את משימת ההעברה. אם הבעיה נמשכת, פנו ל-Cloud Customer Care.

בעיות בהעברה של ServiceNow

כאן אנחנו מציגים בעיות נפוצות שאפשר להיתקל בהן כשיוצרים העברה של ServiceNow.

שגיאה: UNAUTHENTICATED. Required authentication credentials were not provided when starting to transfer asset asset-name.
פתרון: מוודאים שפרטי הכניסה שצוינו (username,‏ password,‏ ClientID ו-Client Secret) תקינים, מוגדרים נכון ובתוקף.
שגיאה: INVALID_ARGUMENT. Invalid datasource configuration provided when starting to transfer asset
שגיאה: INVALID_ARGUMENT: Http call to ServiceNow instance returned status code 400.. Please make sure the instance/endpoint provided exists/is correct.
פתרון: מוודאים שכתובת ה-URL של המכונה של ServiceNow ונקודת הקצה ל-API נכונות, ושהטבלה שאליה מפנים קיימת ונגישה באמצעות פרטי הכניסה שסופקו.
שגיאה: PERMISSION_DENIED. User credentials don't have permission or are invalid for accessing the ServiceNow asset or API.
פתרון: מוודאים שפרטי הכניסה שצוינו נכונים, ושלחשבון ServiceNow יש הרשאות מספיקות כדי לגשת לנכסים או לטבלאות שצוינו.
שגיאה: UNAVAILABLE. ServiceNow instance is temporarily unreachable or experiencing downtime.
פתרון: מוודאים שהחיבור לרשת יציב ומנסים שוב אחרי כמה זמן. השגיאה הזו נגרמת כנראה בגלל הפסקה זמנית בשירות של ServiceNow או בעיה זמנית בקישוריות.
שגיאה: RESOURCE EXHAUSTED. ServiceNow API rate limit or quota has been exceeded, or operations are too large.
פתרון: חרגתם מהמכסה או ממגבלת הקצב של ServiceNow API. כדאי לנסות להפחית את נפח או תדירות הבקשות ולנסות שוב.
שגיאה: FAILED_PRECONDITION: There was an issue connecting to API.
פתרון: השגיאה הזו יכולה להתרחש כשכוללים בהעברה חיבור לרשת, אבל לא מגדירים את ה-NAT הציבורי ואת רשימת ההיתרים של כתובות ה-IP. כדי לפתור את השגיאה, יוצרים חיבור לרשת על ידי הגדרת כתובת IP סטטית.

בעיות בהעברות מ-Amazon Redshift

יכול להיות שתיתקלו בשגיאות הבאות כשתגדירו או תפעילו העברה מ-Amazon Redshift.

שגיאה: Cannot connect to Amazon Redshift cluster או שהזמן הקצוב לתפוגה של החיבור חלף

פתרון: בודקים את הדברים הבאים:

  • מוודאים שהגדרתם את הכללים של קבוצת האבטחה של האשכול כך שיאפשרו חיבורים נכנסים דרך TCP ביציאה שבה האשכול משתמש (כברירת מחדל, 5439). למידע נוסף, קראו את המאמר מתן גישה לאשכול Amazon Redshift.
  • אם אתם מתחברים באמצעות כתובות IP ציבוריות, ודאו שהאשכול נגיש לכולם ושהכללים של קבוצת האבטחה מאפשרים חיבורים נכנסים מכל כתובות ה-IP הנדרשות להעברה שבבעלות Google.
  • אם אתם מתחברים באמצעות VPC, ודאו שאין חפיפה בין ה-VPC וטווח כתובות ה-IP השמורות לבין רשת משנה כלשהי, שהמסלולים בהתאמה אישית מפורסמים ושהחיבור שלכם לרשתות שכנות (peering) ב-VPC פעיל.
  • מוודאים שכתובת ה-URL של חיבור ה-JDBC בפורמט הנכון (jdbc:postgresql://endpoint-host:port/database-name).
שגיאה: Authentication failure: User Id not found או PERMISSION_DENIED כשמתחברים ל-Amazon Redshift

פתרון: מוודאים שהערכים של שם המשתמש של מסד הנתונים והסיסמה של מסד הנתונים שייכים למשתמש במסד הנתונים שיש לו הרשאות SELECT בסכימה ובטבלאות של Amazon Redshift. צריך גם לוודא שהערכים של Access key ID ו-Secret access key ב-AWS תואמים לישות IAM שיש לה הרשאות ל-UNLOAD נתונים מ-Amazon Redshift ולכתיבת קבצים זמניים בקטגוריית ה-staging של Amazon S3.

שגיאה: AccessDenied כשניגשים לקטגוריית ה-Staging של Amazon S3

פתרון: ודאו שצמד מפתחות הגישה ל-AWS שסיפקתם תואם למשתמש או לתפקיד ב-IAM עם הרשאת קריאה וכתיבה (PutObject,‏ GetObject, ‏ ListBucket ו-DeleteObject) בקטגוריית ה-Staging של Amazon S3‏ (s3://bucket-name/prefix), כדי ששירות העברת הנתונים ל-BigQuery יוכל להעביר קבצים ל-BigQuery.

שגיאה: ייבוא קובץ ה-CSV נכשל בגלל תווים מסוג ASCII 0 (NUL)

פתרון: אם שירות העברת הנתונים ל-BigQuery מייצא את הטבלאות של Amazon Redshift כקובצי CSV שמכילים תווים מסוג ASCII 0 (\0), הטעינה שלהם ל-BigQuery נכשלת. כדי לעקוף את הבעיה, אפשר לייצא את הנתונים ל-Amazon S3 כקובצי Parquet. מידע נוסף זמין במאמר הערכת הנתונים.

בעיות בהעברה מ-Teradata

ריכזנו כאן כמה בעיות נפוצות שאתם עשויים להיתקל בהן כשאתם יוצרים העברה מ-Teradata.

שגיאה: Skipping extraction since table does not have change tracking column.

פתרון: ההודעה הזו יכולה להופיע כשמנסים לבצע העברה מ-Teradata בטבלה שכבר הועברה, באמצעות הגדרת העברה קיימת על פי דרישה. אם אתם רוצים להתחיל העברה חדשה בטבלה שכבר הועברה, צרו הגדרת העברה חדשה עם ההגדרות של על פי דרישה.

כשחוזרים על העברה באמצעות הגדרת העברה על פי דרישה, שירות העברת הנתונים ל-BigQuery מנסה להריץ אותה כהעברה מצטברת, אבל מדלג על הטבלה כי לא הוחלו על הגדרת ההעברה ההגדרות המצטברות הנכונות. למידע נוסף על סוגי ההעברות השונים, קראו את המאמר העברות מצטברות או על פי דרישה.

הבעיה: העברה של סוגי נתונים מסוג CHAR(N) מוסיפה רווחים עד למספר התווים N במחרוזות קצרות יותר.

פתרון: צריך להמיר את הנתונים של CHAR ל-VARCHAR ולהסיר את הרווחים המיותרים במקור. הבעיה הזו מתרחשת כי CHAR הוא מחרוזת באורך קבוע, ואילו VARCHAR מיועד למחרוזות באורך משתנה. אפשר גם להסיר את הרווחים ב-BigQuery אחרי ההעברה באמצעות הפונקציה RTRIM. השאילתה לשימוש בפונקציה RTRIM דומה לדוגמה הבאה:

UPDATE migrated_table
SET migrated_char_column = RTRIM(migrated_char_column)
WHERE true;

בעיות בהעברה של YouTube

בהמשך מפורטות שגיאות נפוצות שמתרחשות כשיוצרים העברה מ-YouTube.

שגיאה: Import failed - no data was available for import. Please verify that data existence was expected.
שגיאה: No data available for requested date. Please try an earlier run date or verify that data existence was expected.

פתרון: אם לא יצרתם בעבר משימות דיווח ב-YouTube, תנו ל-YouTube לפחות יומיים כדי ששירות העברת הנתונים ל-BigQuery ייצור את הדוחות בשבילכם. אין צורך לבצע פעולה נוספת. ההעברות ייכשלו ביומיים הראשונים, וביום השלישי הן אמורות להצליח. אם יצרתם בעבר משימות דיווח ב-YouTube, ודאו שלמשתמש שיוצר את ההעברות יש גישת קריאה לדוחות.

בנוסף, צריך לוודא שההעברה הוגדרה לחשבון הנכון. בתיבת הדו-שיח של OAuth, צריך לבחור את הערוץ שרוצים לטעון את הנתונים שלו.

שגיאה: No reports for reporting job with name name.

פתרון: זו לא שגיאה. זו אזהרה שמציינת שלא נמצאו נתונים בדוח שצוין. אפשר להתעלם מהאזהרה הזו. העברות עתידיות ימשיכו לפעול.

הבעיה: הטבלאות שנוצרו כתוצאה מההעברה לא מלאות, או שהתוצאות לא צפויות.
פתרון: אם יש לכם כמה חשבונות, אתם צריכים לבחור את החשבון הנכון כשמופיעה תיבת הדו-שיח של ההרשאות ב-YouTube.
הבעיה: הנתונים ב-YouTube Analytics לא תואמים לנתונים בהעברות של YouTube ל-BigQuery.

רקע: העברות של YouTube ל-BigQuery משתמשות ב-YouTube Reporting API כדי להטמיע נתונים ישירות במערך נתונים של BigQuery. לעומת זאת, מרכז הבקרה של YouTube Analytics שולף נתונים באמצעות YouTube Analytics API. המספרים שמופיעים ב-Reporting API של YouTube הם המספרים הסופיים, והמספרים שמופיעים במרכז הבקרה או ב-API של YouTube Analytics הם מספרים משוערים. צפויה רמה מסוימת של אי-התאמה בין שני ממשקי ה-API.

פתרון: אם המספרים שדווחו אכן שגויים, גם המערכת של YouTube וגם שירות העברת הנתונים ל-BigQuery מוגדרים למלא את המספרים החסרים ולהציג אותם בדוחות חדשים שנוצרו לימים שבהם מולאו הנתונים החסרים. מכיוון שההגדרה של YouTube בשירות העברת הנתונים ל-BigQuery טוענת את כל הדוחות הזמינים שנוצרו על ידי YouTube Reporting API, כשמייבאים באופן אוטומטי דוחות של YouTube שנוצרו בעתיד, המערכת גם מביאה בחשבון את הנתונים החדשים שנוצרו ועודכנו, ומטמיעה אותם בטבלת המחיצות הנכונה של התאריכים.

בעיות בהרשאות ב-YouTube

בדוחות של מערכת ניהול התוכן ב-YouTube, למשתמש שמגדיר את ההעברה צריכות להיות לפחות הרשאות CMS user. צריך להעניק הרשאות CMS user לכל מנהל תוכן שאתם יוצרים בשבילו העברה.

בעיות במכסות

שגיאה: Quota exceeded: Your project exceeded quota for imports per project.
פתרון: מוודאים שלא תזמנתם יותר מדי העברות לבעלות בפרויקט. במאמר מכסות ומגבלות מוסבר איך לחשב את מספר משימות הטעינה שמופעלות על ידי העברה.
שגיאה: RESOURCE_EXHAUSTED: Rate limit exceeded. (או שגיאות דומות של הגבלת קצב של יצירת בקשות כשמעבירים נתונים מאפליקציות של צד שלישי כמו ServiceNow,‏ Facebook Ads,‏ Confluence או PayPal)

פתרון: כשמשתמשים בשירות העברת הנתונים ל-BigQuery כדי להטמיע נתונים מאפליקציות של צד שלישי, שגיאות של הגבלת קצב של יצירת בקשות יכולות לנבוע מוויסות קצב הנתונים (throttling) של חילוץ הנתונים באפליקציית המקור החיצונית, ולא ממגבלות ההטמעה של BigQuery. כדי לפתור את השגיאה:

  • אימות מקור השגיאה: בודקים את יומני ההרצה של ההעברה. אם הודעת השגיאה מתייחסת למחבר החיצוני או למקור הנתונים של הצד השלישי, הגבלת הקצב נאכפה על ידי הפלטפורמה החיצונית.
  • בודקים את הגבלת קצב של יצירת בקשות של ה-API בפלטפורמה של הצד השלישי: נכנסים לפלטפורמה החיצונית כדי לבדוק את השימוש ב-API ואת הגבלת קצב של יצירת בקשות (לדוגמה, שדרוג אפליקציית פייסבוק Ads ל-Advanced Access או בדיקת הגבלת קצב של יצירת בקשות של ה-API בארכיטקטורת REST הנכנס ב-ServiceNow), ומוודאים שאין תהליכי עבודה מקבילים שמשתמשים באותם פרטי כניסה.
  • להפחית את תדירות ההעברות או לפרוס את לוחות הזמנים: משנים את לוח הזמנים של הגדרות ההעברה כך שההעברות יפעלו בתדירות נמוכה יותר, ונמנעים מהפעלת העברות מקבילות לאותו חשבון חיצוני בו-זמנית.