אימות ההעברה של מחסן הנתונים

שירות האימות של שירות ההעברה ל-BigQuery מאפשר לכם לוודא שהטבלאות שהועברו ממחסן הנתונים (data warehouse) של המקור תואמות לטבלאות היעד ב-BigQuery. אתם יכולים להשוות בין סכימות ונתוני טבלאות כדי לזהות פערים במהלך ההעברה.

הלקוח של שירות האימות מתחבר למסד הנתונים של המקור, ומחלץ את הסכימה של המקור ואת נתוני השורות לקטגוריה של Cloud Storage שבשליטתכם. אחרי החילוץ, שירות האימות משווה בין הסכימה והנתונים שחולצו בקטגוריה של Cloud Storage לבין הטבלאות שהועברו ל-BigQuery.

תהליך עבודה של אימות משווה בין טבלאות המקור לבין טבלאות היעד ב-BigQuery, לפי שלושה עמודי תווך של אימות:

  • ‫אימות סכימה (--schema): השוואה בין שמות העמודות, סוגי הנתונים והתאימות של הסוגים בין טבלת המקור לבין טבלה ב-BigQuery.
  • אימות צבירה (--aggregate): חישוב והשוואה של מדדי צבירה ברמת הטבלה וברמת העמודה – כמו ספירת שורות, SUM, AVG, MIN, MAX, התפלגויות בוליאניות ואורכי מחרוזות – בכל הטבלה.
  • אימות נתונים (--data): מבצע השוואה בין שורות באמצעות סריקה מקיפה של טבלה מלאה (BRUTE_FORCE) או דגימה אקראית שמבוססת על מפתחות (SAMPLE) כדי לזהות שורות חסרות ושינויים בערכים ברמת התא.

תוצאות של אימות העברה

מיקומים נתמכים

שירות האימות זמין במיקומים נבחרים. למידע נוסף, קראו את המאמר מיקומים של שירות ההעברה ל-BigQuery.

שיקולים לגבי טיפול בנתונים ואבטחה

שירות האימות מחלץ ומכין נתונים שונים בהתאם לעמוד התווך של האימות שאתם מריצים:

  • אימות סכימה (--schema): העלאה של שמות עמודות, סוגי נתונים ונתונים סטטיסטיים של טבלאות בלבד לקובץ source_query_result.json, בלי לחלץ ערכי תאים.
  • אימות מצטבר (--aggregate): מעלה מדדים מצטברים מחושבים לקובץ source_aggregates.parquet, כולל ערכי תאים בפועל של MIN ו-MAX מהעמודות הכלולות.
  • אימות נתונים (--data): חילוץ ערכי תאים גולמיים ולא מוסתרים משורות שנדגמו, או מכל השורות כשמשתמשים באסטרטגיה BRUTE_FORCE. הוא מעלה את הערכים האלה בפורמט Apache Parquet או CSV לקטגוריית ה-Staging ב-Cloud Storage, וטוען אותם למערך הנתונים validation_results ב-BigQuery.

כדי להגן על הנתונים ולאבטח את סביבת האימות, צריך לקבוע את ההגדרות הבאות:

  • החרגת עמודות רגישות: מוסיפים עמודות רגישות לשדה columnSettings.exclude כדי להשמיט אותן משאילתות לחילוץ מקורות, מהשוואות של יעדים ומדוחות אימות.
  • צמצום שמירת נתונים במאגר מקומי: מגדירים את השדה googleCloudStorage.gcsPath בקובץ settings.yaml כדי להעביר שורות שנדגמו ישירות ל-Cloud Storage בלי לכתוב אותן בדיסק המקומי. במארחים משותפים, מחקו את ספריית העבודה המקומית של --output-dir אחרי כל הפעלה כדי להסיר מטא-נתונים מקומיים, קובצי צבירה וקובצי יומן.
  • הצפנת נתונים ותוצאות בשלב הביניים: לפני שמריצים את האימות, מגדירים מפתחות הצפנה בניהול הלקוח (CMEK) באמצעות Cloud Key Management Service בקטגוריית ה-Staging של Cloud Storage ובמערך הנתונים של התוצאות ב-BigQuery (כברירת מחדל validation_results, או מערך הנתונים שצוין בשדה results.dataset).
  • הגבלת הגישה להגדרות האישיות: מאחסנים את קובצי התצורה של האימות במאגר עם ניהול גרסאות שדורש סקירת קוד, או בקטגוריה של Cloud Storage שבה רק למשתמשים מהימנים יש את ההרשאה storage.objects.create.
  • אכיפת גישה עם הרשאות מינימליות: מקצים ליוצר תהליך העבודה את התפקיד roles/bigquery.dataViewer רק בקבוצות הנתונים או בטבלאות היעד שעוברות אימות, ולא בפרויקט. משתמשים במשתמש של מסד נתונים לקריאה בלבד, כמו שמתואר בקטע הגדרת הרשאות למסד הנתונים של המקור.

לפני שמתחילים

  1. במסוף Google Cloud , בדף לבחירת הפרויקט, בוחרים או יוצרים פרויקט ב- Google Cloud שמכיל את מערכי הנתונים שלכם ב-BigQuery.

    כניסה לדף לבחירת הפרויקט

  2. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

  3. מפעילים את ממשקי ה-API של BigQuery,‏ BigQuery Migration Service,‏ Cloud Storage ו-Secret Manager (אם מאחסנים סיסמאות של מסדי נתונים ב-Secret Manager).

    הפעלת ממשקי ה-API

  4. יוצרים או בוחרים קטגוריה של Cloud Storage באותו מיקום של מערך הנתונים של היעד ב-BigQuery, כדי להעביר את המטא-נתונים שחולצו ואת דגימות הנתונים. מידע נוסף זמין במאמר יצירת קטגוריה.

תפקידים והרשאות נדרשים

הרצת אימות כוללת שלושה חלקים, וכל אחד מהם יכול להתבצע על ידי חשבון משתמש אחר:

  • איסוף נתונים: לקוח האימות קורא את מסד הנתונים של המקור ומעלה מטא-נתונים, צבירות ושורות שנדגמו לקטגוריית ה-staging של Cloud Storage. הוא לא קורא ל-BigQuery.
  • אימות: תהליך עבודה לאימות של שירות ההעברה ל-BigQuery משווה בין הנתונים בשלב הביניים לבין טבלאות היעד. תהליך העבודה פועל עם פרטי הכניסה של חשבון המשתמש שיצר אותו, בין אם חשבון המשתמש הוא לקוח האימות, gcloud או מסוף Google Cloud .
  • צפייה בתוצאות: קריאת מערך הנתונים של התוצאות והדוחות של Cloud Storage.

לאפליקציה generate-config לא נדרשות Google Cloud הרשאות.

איסוף נתונים

כדי לקבל את ההרשאות שצריך בשביל לאסוף נתוני מקור, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש כוללים את ההרשאות שנדרשות לאיסוף נתוני מקור. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לאסוף נתוני מקור, נדרשות ההרשאות הבאות:

  • storage.objects.create בקטגוריית ה-staging
  • storage.objects.get בקטגוריית ה-staging
  • קריאת קובצי תצורה מ-Cloud Storage:
    • ‫storage.objects.get בקטגוריית ההגדרות האישיות
    • storage.objects.list בקטגוריית ההגדרות האישיות
  • קריאת סיסמאות של מסד נתונים מ-Secret Manager: secretmanager.versions.access בסוד

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

ב---extract-only, לא נדרשות הרשאות של BigQuery או של BigQuery Migration Service כדי לאסוף נתונים. בלעדיו, הלקוח גם יוצר את תהליכי העבודה של האימות וצריך את תפקידי האימות.

אימות

כדי לקבל את ההרשאות שדרושות ליצירה ולהפעלה של תהליכי עבודה לאימות, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי ליצור ולהריץ תהליכי עבודה של אימות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור ולהריץ תהליכי עבודה של אימות, נדרשות ההרשאות הבאות:

  • ‫bigquerymigration.workflows.create בפרויקט
  • ‫bigquerymigration.workflows.get בפרויקט
  • ‫bigquery.jobs.create בפרויקט
  • bigquery.tables.get בכל קבוצת נתונים של יעד
  • bigquery.tables.getData בכל קבוצת נתונים של יעד
  • bigquery.datasets.get במערך הנתונים של התוצאות
  • bigquery.tables.get במערך הנתונים של התוצאות
  • bigquery.tables.create במערך הנתונים של התוצאות
  • bigquery.tables.update במערך הנתונים של התוצאות
  • bigquery.tables.updateData במערך הנתונים של התוצאות
  • bigquery.tables.getData במערך הנתונים של התוצאות
  • storage.objects.get בקטגוריית ה-staging
  • storage.objects.create בקטגוריית ה-staging
  • storage.objects.delete בקטגוריית ה-staging
  • אם מערך הנתונים של התוצאות לא קיים: bigquery.datasets.create בפרויקט

התפקיד roles/bigquerymigration.editor מכיל הרבה הרשאות שלא משמשות לאימות. כדי להעניק הרשאות מינימליות, מקצים תפקיד בהתאמה אישית עם ההרשאות bigquerymigration.workflows.create ו-bigquerymigration.workflows.get בלבד.

האימות רק קורא את טבלאות היעד וכותב רק במערך הנתונים של התוצאות. מומלץ ליצור מראש את מערך הנתונים של התוצאות, כדי שאף חשבון משתמש לא יצטרך הרשאה ליצירת מערכי נתונים בפרויקט.

צפייה בתוצאות

כדי לקבל את ההרשאות שדרושות לצפייה בתוצאות האימות, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

  • ‫BigQuery Job User ‏(roles/bigquery.jobUser) בפרויקט שמכיל את מערך הנתונים של התוצאות
  • ‫BigQuery Data Viewer ‏(roles/bigquery.dataViewer) במערך הנתונים של התוצאות
  • קריאת דוחות ב-Cloud Storage: צפייה באובייקטים באחסון (roles/storage.objectViewer) בקטגוריית ה-Staging
  • הצגה של רשימת תהליכי העבודה לאימות במסוף Google Cloud : MigrationWorkflow Viewer (roles/bigquerymigration.viewer) בפרויקט

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לראות את תוצאות האימות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לראות את תוצאות האימות, צריך את ההרשאות הבאות:

  • ‫bigquery.jobs.create בפרויקט
  • bigquery.tables.get במערך הנתונים של התוצאות
  • bigquery.tables.getData במערך הנתונים של התוצאות
  • קריאת דוחות ב-Cloud Storage:
    • ‫storage.objects.get בקטגוריית ה-staging
    • ‫storage.objects.list בקטגוריית ה-staging
  • מציגים את תהליכי העבודה של האימות במסוף Google Cloud :
    • bigquerymigration.workflows.list בפרויקט
    • bigquerymigration.workflows.get בפרויקט

הגדרת הרשאות למסד הנתונים של המקור

צריך להגדיר הרשאת קריאה בלבד למשתמש במסד הנתונים של המקור עם ההרשאות הבאות:

  • SELECT בכל טבלת מקור שעוברת אימות.
  • גישת קריאה לתצוגות של קטלוג המערכת שמשמשות לגילוי סכימה ומפתח ראשי (כמו טבלאות information_schema,‏ ALL_CONSTRAINTS ו-ALL_TAB_COLUMNS ב-Oracle, או SVV_COLUMNS ו-pg_attribute ב-Amazon Redshift).

אל תתנו למשתמש הזה הרשאות כתיבה, DDL או הרשאות אדמין. לקוח האימות מריץ SQL מהגדרות האימות שלכם בתור המשתמש הזה. מידע נוסף זמין במאמר שיקולים בנושא טיפול בנתונים ואבטחה.

מגבלות

שירות האימות כפוף למגבלות הבאות:

  • מסד הנתונים היחיד שאפשר להשתמש בו כיעד הוא BigQuery. אי אפשר לאמת בין שני מסדי נתונים שהם לא BigQuery, או להשתמש ב-BigQuery כמקור לאימות.
  • מערך הנתונים שלכם ב-BigQuery, מערך הנתונים של התוצאות (validation_results כברירת מחדל, או מערך הנתונים בהתאמה אישית שהוגדר בקטע results ב-settings.yaml), קטגוריית ה-Staging ב-Cloud Storage והמיקום של תהליך העבודה לאימות (BQMS_VALIDATION_LOCATION) צריכים להיות באותו מיקום. כששירות האימות יוצר את מערך הנתונים של התוצאות, הוא מגדיר כברירת מחדל את מיקום מערך הנתונים לאזור שבו נמצאים קטגוריית ה-Staging ב-Cloud Storage ומערך הנתונים של היעד ב-BigQuery, או ל-results.location אם הוא הוגדר באופן מפורש.
  • התמיכה בסוגי הנתונים משתנה בהתאם למקור. עמודות עם סוגים לא נתמכים לא נכללות באימות. לפרטים נוספים, ראו מחסני נתונים נתמכים.
  • התפוגה של טבלאות ההשוואה שנוצרו ב-BigQuery לכל הרצה מתרחשת באופן אוטומטי על סמך resultTtlHours ב-settings.yaml, שמוגדר כברירת מחדל ל-168.0 שעות או לשבעה ימים. אל תגדירו תפוגת ברירת מחדל לטבלה ברמת מערך הנתונים במערך הנתונים validation_results, כי זה יגרום גם לתפוגה של טבלאות ביקורת עם משך חיים ארוך, כמו run_history,‏ run_metrics ו-column_history.
  • שמות של טבלאות ב-BigQuery הם תלויי אותיות רישיות. כש-generate-config יוצר הגדרות מארכיון מטא-נתונים של כלי dwh-migration-dumper בלי מיפוי תרגום של tables.yaml, שמות טבלאות היעד שומרים על אותיות רישיות או קטנות של מזהה המקור. לדוגמה, שמות של טבלאות באותיות רישיות מ-Oracle או מ-Snowflake. מוודאים שהערך של targetTable.name תואם בדיוק לאותיות הרישיות והקטנות של הטבלה ב-BigQuery.

מחסני נתונים נתמכים

שירות האימות תומך במסדי הנתונים הבאים כמקור. כל קטע כולל את מנהל ההתקן של JDBC שמצורף להתקנה, אם אפשר ליצור הגדרות של טבלאות באופן אוטומטי מארכיון מטא-נתונים של כלי dwh-migration-dumper, סוגי החלוקה למחיצות שנתמכים בטבלאות גדולות ממסד הנתונים הזה וסוגי הנתונים שנתמכים לאימות.

  • Teradata
  • פתית שלג
  • Amazon Redshift
  • Databricks
  • Apache Hive
  • שרת SQL
  • MariaDB
  • MySQL
  • Oracle
  • PostgreSQL

יש גם תמיכה בווריאציות עם פרמטרים של סוגי הנתונים הנתמכים, כמו VARCHAR(255) או DECIMAL(10,2).

שירות האימות טוען את כל קובצי ה-JAR בספרייה drivers/ לפני מנהלי ההתקנים שהורדו באופן אוטומטי, כך שאפשר גם להשתמש ב-drivers/ כדי לשנות גרסה של מנהל התקן שמצורף לחבילה.

אם יוצרים באופן אוטומטי קובץ תצורה של אימות, עמודות עם סוגי נתונים לא נתמכים מתווספות באופן אוטומטי אל columnSettings.exclude. בהגדרות ידניות, צריך להחריג אותם באופן מפורש ב-columnSettings.exclude.

ברוב מסדי הנתונים הנתמכים של המקור, כלי האימות מוריד באופן אוטומטי את מנהל ההתקן הנדרש של JDBC מ-Maven Central בשימוש הראשון, מאמת את סיכום הביקורת (checksum) שלו ב-SHA-256 ושומר אותו במטמון באופן מקומי ב-~/.cache/google-cloud-bqms/drivers/ (או ב-$XDG_CACHE_HOME/google-cloud-bqms/drivers/). במחסני נתונים שמשתמשים במנהלי התקנים קנייניים, כמו Teradata, או כשפועלים בסביבה אופליין או עם air gap, צריך לבצע את הפעולות הבאות:

  1. ממקמים את קובץ ה-JAR של הדרייבר הנדרש ב-./drivers/, ב-<sdk_root>/platform/bqms/drivers/ או בספרייה שצוינה על ידי משתנה הסביבה BQMS_DRIVER_DIR. כל קובץ JAR של מנהל התקן שמוצב בספריות המקומיות האלה מקבל עדיפות על פני הורדות אוטומטיות של Maven Central.
  2. כדי להשבית לחלוטין הורדות אוטומטיות מהרשת בסביבות עם air gap, צריך להגדיר את BQMS_AUTO_DOWNLOAD_DRIVERS=false או להגדיר את BQMS_MAVEN_MIRROR כך שיצביע על מאגר Maven פנימי.

כדי לקבל מידע על כל מקור נתונים שנתמך בשירות האימות, בוחרים באחת מהאפשרויות הבאות:

Teradata

האימותים של העברות מ-Teradata נתמכים באופן הבא:

  • ערך dialect: teradata
  • מנהל התקן JDBC: מסופק על ידי המשתמש. מורידים את קובץ ה-JAR של מנהל ההתקן של Teradata JDBC, כמו terajdbc4.jar או terajdbc.jar, מ-Teradata ומעתיקים אותו לספרייה drivers/ או לספרייה שצוינה על ידי BQMS_DRIVER_DIR.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector teradata).
  • חילוץ מחולק למחיצות: INTEGER_RANGE, PHYSICAL
קטגוריה סוגי הנתונים
Numeric ‫BYTEINT, SMALLINT, INTEGER, INT, BIGINT, DECIMAL, DEC, NUMERIC, NUMBER, FLOAT, REAL, DOUBLE PRECISION
String CHAR, CHARACTER, VARCHAR, CHARACTER VARYING, LONG VARCHAR
תאריך ושעה DATE, TIME, TIME WITH TIME ZONE, TIMESTAMP, TIMESTAMP WITH TIME ZONE

כשמאמתים העברות מ-Teradata, חשוב לשים לב לנקודות הבאות:

  • אם לטבלה אין מפתח ראשי מפורש, מפתחות ההשוואה מזוהים מאינדקסים ראשיים ייחודיים (UPI) או מאינדקסים משניים ייחודיים (USI). אינדקסים ראשיים לא ייחודיים (NUPI) לא משמשים כמפתחות השוואה.
  • יש תמיכה ב-NUMBER(P,S) עם דיוק קבוע, אבל אין תמיכה ב-NUMBER ללא אילוצים (בלי דיוק). עמודות לא מוגבלות מסוג NUMBER,‏ CLOB,‏ BLOB,‏ BYTE,‏ VARBYTE,‏ INTERVAL,‏ PERIOD,‏ JSON ו-XML מוחרגות באופן אוטומטי על ידי generate-config (או שצריך לציין אותן ב-columnSettings.exclude בהגדרות ידניות).
  • עמודות CHAR ברוחב קבוע נחתכות באופן אוטומטי. יש תמיכה בקבוצות התווים LATIN ו-UNICODE ובמאפיינים CASESPECIFIC ו-NOT CASESPECIFIC.
  • הערכים של TIME WITH TIME ZONE ו-TIMESTAMP WITH TIME ZONE עוברים נורמליזציה ל-UTC‏ (AT 0) לפני ההשוואה.

פתית שלג

אלה סוגי האימותים שנתמכים בהעברות מ-Snowflake:

  • ערך dialect: snowflake
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (net.snowflake:snowflake-jdbc), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector snowflake).
  • חילוץ מחולק למחיצות: INTEGER_RANGE, DATE_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-Snowflake:

קטגוריה סוגי הנתונים
Numeric NUMBER,‏ DECIMAL,‏ NUMERIC,‏ FLOAT,‏ REAL,‏ DOUBLE
String CHAR,‏ VARCHAR,‏ STRING,‏ TEXT
תאריך ושעה DATE, TIME, TIMESTAMP_NTZ, TIMESTAMP_LTZ, TIMESTAMP_TZ
בוליאני BOOLEAN

כשמאמתים העברות מ-Snowflake, חשוב להביא בחשבון את הדברים הבאים:

  • עמודות CHAR ברוחב קבוע נחתכות באופן אוטומטי.
  • אם שכפלתם נתונים באמצעות שירות העברת הנתונים ל-BigQuery, הגדירו את tolerances.timestamp: 0.001 כך שיספוג עיגול של פחות מאלפית השנייה.

Amazon Redshift

האימותים של העברות מ-Amazon Redshift נתמכים באופן הבא:

  • ערך dialect: redshift
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (com.amazon.redshift:redshift-jdbc42), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector redshift).
  • חילוץ מחולק למחיצות: INTEGER_RANGE, PHYSICAL

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-Amazon Redshift:

קטגוריה סוגי הנתונים
Numeric ‫SMALLINT, INTEGER, BIGINT, DECIMAL, NUMERIC, REAL, DOUBLE PRECISION
String CHAR, VARCHAR, TEXT
תאריך ושעה DATE, TIME, TIMETZ, TIMESTAMP, TIMESTAMPTZ
בוליאני BOOLEAN
מובנה למחצה SUPER

כשמאמתים העברות מ-Amazon Redshift, חשוב להביא בחשבון את הדברים הבאים:

  • בדיקת הסכימה משתמשת ב-SVV_COLUMNS, ולכן יש תמיכה בתצוגות עם קישור מאוחר.
  • אם בטבלה אין מפתח ראשי, מפתחות ההשוואה חוזרים באופן אוטומטי לעמודה אחת מסוג DISTKEY או SORTKEY.
  • אין תמיכה בעמודות מסוג GEOMETRY.

Databricks

אפשר לבצע אימותים של העברות מ-Databricks באופן הבא:

  • ערך dialect: databricks
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (com.databricks:databricks-jdbc), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: לא נתמכת. יוצרים קובץ תצורה ידני לטבלה.
  • חילוץ מחולק למחיצות: INTEGER_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-Databricks:

קטגוריה סוגי הנתונים
Numeric ‫BYTE, TINYINT, SHORT, SMALLINT, INT, INTEGER, LONG, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String CHAR, VARCHAR, STRING
תאריך ושעה DATE, TIMESTAMP
בוליאני BOOLEAN
בינארי BINARY
רמה למתקדמים מאוד ARRAY, MAP, STRUCT

כשמאמתים העברות מ-Databricks, חשוב להביא בחשבון את הדברים הבאים:

  • אימות באמצעות אסימון גישה אישי: מגדירים את user: token ומספקים את האסימון דרך passwordSecret.
  • בדיקת הסכימה מבוססת על שאילתות (SELECT * ... WHERE 1=0), ולכן יש תמיכה גם בסביבות עבודה של Unity Catalog וגם בסביבות עבודה של Hive metastore.

Apache Hive

אלה סוגי האימותים שנתמכים בהעברות של Apache Hive:

  • ערך dialect: hive
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (קובץ JAR עצמאי של org.apache.hive:hive-jdbc), או קובץ שהמשתמש מספק בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector hiveql).
  • חילוץ מחולק למחיצות: INTEGER_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-Hive:

קטגוריה סוגי הנתונים
Numeric ‫TINYINT, SMALLINT, INT, INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String CHAR, VARCHAR, STRING
תאריך ושעה DATE, TIMESTAMP
בוליאני BOOLEAN
בינארי BINARY
רמה למתקדמים מאוד ARRAY, MAP, STRUCT

כשמאמתים העברות מ-Hive, חשוב להביא בחשבון את הדברים הבאים:

  • בדיקת הסכימה מבוססת על שאילתות (SELECT * ... WHERE 1=0).
  • בטבלאות Hive כמעט אף פעם לא מוגדרים מפתחות ראשיים. בטבלאות ללא מפתחות השוואה, המערכת משתמשת באופן אוטומטי בצבירת גיבוב (hash) של שורה מלאה בעמודת הנתונים.

שרת SQL

אלה סוגי האימותים שנתמכים בהעברות של SQL Server:

  • ערך dialect: sqlserver
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (com.microsoft.sqlserver:mssql-jdbc), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector sqlserver).
  • חילוץ מחולק למחיצות: INTEGER_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות של SQL Server:

קטגוריה סוגי הנתונים
Numeric INT,‏ BIGINT,‏ DECIMAL,‏ NUMERIC,‏ FLOAT,‏ REAL
String CHAR, VARCHAR, TEXT
תאריך ושעה DATE, DATETIME, TIMESTAMP
בוליאני BIT

כשמאמתים העברות מ-SQL Server, חשוב לשים לב לדברים הבאים:

  • כתובת ה-URL של JDBC שמוגדרת כברירת מחדל מגדירה את encrypt=true;trustServerCertificate=true;. אם נדרש אימות מחמיר של אישור TLS, אפשר לשנות את ההגדרה הזו באמצעות מפתח החיבור url.

MariaDB

אלה סוגי האימותים שנתמכים בהעברות של MariaDB:

  • ערך dialect: mariadb
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (org.mariadb.jdbc:mariadb-java-client), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת תצורה אוטומטית: יוצרים קובץ תצורה של טבלה ידנית.
  • חילוץ מחולק למחיצות: INTEGER_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-MariaDB:

קטגוריה סוגי הנתונים
Numeric ‫TINYINT, SMALLINT, MEDIUMINT, INT, INTEGER, BIGINT, FLOAT, DOUBLE, DECIMAL, NUMERIC
String ‫CHAR, VARCHAR, TINYTEXT, TEXT, MEDIUMTEXT, LONGTEXT, ENUM, SET
תאריך ושעה DATE, TIME, DATETIME, TIMESTAMP, YEAR
אובייקטים בינאריים וגדולים BINARY,‏ VARBINARY,‏ TINYBLOB,‏ BLOB,‏ MEDIUMBLOB,‏ LONGBLOB

MySQL

אלה סוגי האימותים שנתמכים בהעברות של MySQL:

  • ערך dialect: mysql
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (com.mysql:mysql-connector-j), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת תצורה אוטומטית: יוצרים קובץ תצורה של טבלה ידנית.
  • חילוץ מחולק למחיצות: INTEGER_RANGE

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-MySQL:

קטגוריה סוגי הנתונים
Numeric INT, BIGINT, DECIMAL, FLOAT, DOUBLE
String CHAR, VARCHAR, TEXT
תאריך ושעה DATE,‏ TIME,‏ DATETIME,‏ TIMESTAMP
בוליאני BOOLEAN

Oracle

האימותים של העברות מ-Oracle נתמכים באופן הבא:

  • ערך dialect: oracle
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (com.oracle.database.jdbc:ojdbc11), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector oracle).
  • חילוץ מחולק למחיצות: INTEGER_RANGE, PHYSICAL

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-Oracle:

קטגוריה סוגי הנתונים
Numeric NUMBER, NUMERIC, INTEGER, FLOAT, DOUBLE
String CHAR, NCHAR, VARCHAR, VARCHAR2, NVARCHAR2
תאריך ושעה DATE, TIMESTAMP, TIMESTAMP WITH TIME ZONE
אובייקטים בינאריים וגדולים RAW, BINARY, BLOB, CLOB, NCLOB

כשמאמתים העברות מ-Oracle, חשוב לשים לב לדברים הבאים:

  • עמודות מסוג DATE כוללות רכיב זמן ב-Oracle. כלי האימות מחלץ עמודות DATE של Oracle ברמת דיוק של יום (YYYY-MM-DD), כך שההבדלים בשעה ביום נחתכים.

PostgreSQL

אלה סוגי האימותים שנתמכים בהעברות של PostgreSQL:

  • ערך dialect: postgresql
  • מנהל התקן JDBC: הורדה אוטומטית בשימוש הראשון (org.postgresql:postgresql), או שהמשתמש מספק אותו בספרייה drivers/ לסביבות אופליין.
  • יצירת הגדרות באופן אוטומטי: נתמכת מארכיון מטא-נתונים של כלי dwh-migration-dumper (--connector postgres).
  • חילוץ מחולק למחיצות: INTEGER_RANGE, DATE_RANGE, PHYSICAL

שירות האימות תומך בסוגי הנתונים הבאים להעברות מ-PostgreSQL:

קטגוריה סוגי הנתונים
Numeric SMALLINT, INTEGER, BIGINT, NUMERIC, DOUBLE PRECISION
String CHAR, CHARACTER, VARCHAR, CHARACTER VARYING, TEXT
תאריך ושעה DATE,‏ TIME,‏ TIMESTAMP,‏ TIMESTAMP WITHOUT TIME ZONE,‏ TIMESTAMP WITH TIME ZONE,‏ TIMESTAMPTZ
בוליאני BOOLEAN
אחר UUID

כשמאמתים העברות מ-PostgreSQL, חשוב לשים לב לנקודות הבאות:

  • ערכי BIGINT שגדולים מ-2 בחזקת 53 יכולים להציג הבדלים קלים ברמת הדיוק ב-AVG(). הערכים של SUM ו-COUNT נשארים מדויקים.

הגדרת ספרייה וקבצים של הגדרות אימות

שירות האימות קורא מספריית הגדרות מודולרית בשם validation_config/, שמכילה את הקבצים הבאים:

  • קובץ חיבורים למסדי נתונים: מגדיר את פרופיל החיבור למחסן הנתונים ב-source ואת פרופיל החיבור ל-BigQuery ב-target.
  • קובץ הגדרות של שלב הביניים והתוצאות: מגדיר את נתיב שלב הביניים ב-Cloud Storage‏ (googleCloudStorage), את הגדרת מערך הנתונים של התוצאות ב-BigQuery‏ (results), את התפוגה של טבלת ההשוואה לכל הרצה (resultTtlHours) ואת ברירות המחדל הגלובליות האופציונליות (tolerances,‏ aggregate,‏ labels).
  • קובץ תצורה לאימות טבלאות: מכיל מיפויים לכל טבלה (sourceTable ו-targetTable), מפתחות השוואה (comparisonKeys), אסטרטגיית אימות (strategy), הגדרות חילוץ מחולקות למחיצות (partitioning) והגדרות עמודות (columnSettings).

בקטעים הבאים מוסבר איך להגדיר את ספריית ההגדרות של האימות ואיך ליצור את קובצי התצורה שנדרשים לאימות ההעברה.

יצירת ספריית הגדרות אימות

יוצרים ספריית תצורת אימות בשם validation_config/ כדי לאחסן את קובצי התצורה של האימות. אתם יכולים לאחסן את הספרייה הזו במכונה שמריצה את שירות האימות, או לאחסן אותה בקטגוריה של Cloud Storage כדי שצוות יוכל לשתף הגדרה אחת בין הרצות.

יצירת קובץ חיבורים למסד נתונים

בספריית הגדרות האימות, יוצרים קובץ בשם connections.yaml ומגדירים אותו עם המידע להתחברות למסד נתונים של מקור ולמסד נתונים של יעד ב-BigQuery.

לכל מקור של מחסן נתונים יש תכונות ודרישות ספציפיות שצריך להביא בחשבון כשיוצרים את קובץ החיבורים למסד הנתונים. מידע נוסף על כל מקור נתונים זמין במאמר מחסני נתונים נתמכים.

כשמציינים את passwordSecret בפרופיל חיבור, שירות האימות מאחזר את גרסת הסוד מ-Secret Manager במכונה של הלקוח באמצעות Application Default Credentials (‏ADC) מקומיים, ומעביר את הסיסמה שנפתרה ישירות למנהל ההתקן המקומי של JDBC. מסד הנתונים של המקור לא צריך גישה לרשת או גישה ל-IAM אל Google Cloud, ולכן passwordSecret פועל במסדי נתונים מקומיים ובמסדי נתונים שמתארחים בעננים אחרים, כמו Amazon Redshift או Snowflake. לחלופין, אפשר להשמיט את passwordSecret ולהגדיר את משתנה הסביבה BQMS_VALIDATION_SOURCE_PASSWORD במכונה שבה פועל שירות האימות.

כדי ליצור קובץ חיבורים למסד נתונים בשביל מחסן נתונים, בוחרים באחת מהאפשרויות הבאות:

Teradata

כדי לאמת את ההעברה מ-Teradata, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: teradata
  host: SOURCE_HOST
  port: 1025
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של מערכת Teradata.
  • ‫SOURCE_DATABASE: השם הנדרש של מסד הנתונים ב-Teradata.
  • ‫SOURCE_USER: שם המשתמש ב-Teradata.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

פתית שלג

כדי לאמת את ההעברה מ-Snowflake, צריך להגדיר את קובץ החיבורים למסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: snowflake
  account: SNOWFLAKE_ACCOUNT
  warehouse: SNOWFLAKE_WAREHOUSE
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  role: SNOWFLAKE_ROLE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SNOWFLAKE_ACCOUNT: מזהה החשבון ב-Snowflake (לדוגמה: myorg-myaccount).
  • ‫SNOWFLAKE_WAREHOUSE: המחסן הווירטואלי שמשמש להרצת שאילתות החילוץ.
  • ‫SOURCE_DATABASE: השם של מסד הנתונים ב-Snowflake.
  • ‫SOURCE_SCHEMA: שם הסכימה הנדרש של Snowflake.
  • ‫SNOWFLAKE_ROLE: תפקיד אופציונלי ב-Snowflake.
  • ‫SOURCE_USER: שם המשתמש ב-Snowflake.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכיל את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

Amazon Redshift

כדי לאמת את ההעברה מ-Amazon Redshift, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: redshift
  host: SOURCE_HOST
  port: 5439
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח של נקודת הקצה של אשכול Amazon Redshift.
  • ‫SOURCE_DATABASE: השם הנדרש של מסד הנתונים ב-Amazon Redshift.
  • ‫SOURCE_SCHEMA: שם הסכימה שמוגדרת כברירת מחדל (אם לא מציינים שם, ברירת המחדל היא public).
  • ‫SOURCE_USER: שם המשתמש של מסד הנתונים.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

Databricks

כדי לאמת את ההעברה של Databricks, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: databricks
  host: DATABRICKS_HOST
  port: 443
  httpPath: HTTP_PATH
  catalog: CATALOG_NAME
  schema: SCHEMA_NAME
  user: token
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DATABRICKS_HOST: שם המארח של השרת של מחסן הנתונים או האשכול של Databricks SQL.
  • ‫HTTP_PATH: נתיב ה-HTTP של מחסן הנתונים ב-Databricks SQL (לדוגמה, sql/protocolv1/o/1234567890/0123-456789-abcdef).
  • ‫CATALOG_NAME: השם הנדרש של Unity Catalog (או hive_metastore).
  • ‫SCHEMA_NAME: שם הסכימה הנדרשת.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכיל את טוקן הגישה האישית (PAT) של Databricks, או השמטה של passwordSecret והגדרה של BQMS_VALIDATION_SOURCE_PASSWORD. השימוש ב-user: token עם passwordSecret מבטיח שהאסימון לא ייכתב אף פעם לקובצי מטא-נתונים זמניים.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

Apache Hive

כדי לאמת את ההעברה של Apache Hive, צריך להגדיר את קובץ החיבורים למסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: hive
  host: SOURCE_HOST
  port: 10000
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של HiveServer2.
  • ‫SOURCE_DATABASE: השם של מסד הנתונים הנדרש של Hive (לדוגמה, default).
  • ‫SOURCE_USER: שם המשתמש ב-Hive.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

שרת SQL

כדי לאמת את ההעברה של SQL Server, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: sqlserver
  host: SOURCE_HOST
  port: 1433
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של המכונה של SQL Server (אפשר לציין את instanceName למכונות עם שם).
  • ‫SOURCE_DATABASE: שם מסד הנתונים הנדרש.
  • ‫SOURCE_SCHEMA: שם הסכימה שמוגדרת כברירת מחדל (אם לא מציינים שם, ברירת המחדל היא dbo).
  • ‫SOURCE_USER: שם המשתמש של מסד הנתונים.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

MariaDB

כדי לאמת את ההעברה של MariaDB, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: mariadb
  host: SOURCE_HOST
  port: 3306
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של שרת MariaDB.
  • ‫SOURCE_DATABASE: השם של מסד הנתונים הנדרש ב-MariaDB.
  • ‫SOURCE_USER: שם המשתמש ב-MariaDB.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

MySQL

כדי לאמת את ההעברה של MySQL, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: mysql
  host: SOURCE_HOST
  port: 3306
  database: SOURCE_DATABASE
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של שרת MySQL.
  • ‫SOURCE_DATABASE: השם של מסד הנתונים הנדרש ב-MySQL.
  • ‫SOURCE_USER: שם המשתמש ב-MySQL.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

Oracle

כדי לאמת את ההעברה מ-Oracle, צריך להגדיר את קובץ החיבורים למסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: oracle
  host: SOURCE_HOST
  port: 1521
  database: SERVICE_NAME
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של שרת Oracle.
  • ‫SERVICE_NAME: שם השירות של Oracle (שמשמש ליצירת jdbc:oracle:thin:@//HOST:PORT/SERVICE_NAME). בחיבורים מותאמים אישית של TNS או SID, צריך לציין במקום זאת את url עם כתובת ה-URL המלאה של JDBC.
  • ‫SOURCE_SCHEMA: שם סכימה אופציונלי שמוגדר כברירת מחדל.
  • ‫SOURCE_USER: שם המשתמש הנדרש ב-Oracle.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכילים את הסיסמה למסד הנתונים, או הגדרת BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

PostgreSQL

כדי לאמת את ההעברה של PostgreSQL, צריך להגדיר את קובץ החיבורים של מסד הנתונים עם הפרטים הבאים:

connections:
source:
  dialect: postgresql
  host: SOURCE_HOST
  port: 5432
  database: SOURCE_DATABASE
  schema: SOURCE_SCHEMA
  user: SOURCE_USER
  passwordSecret: projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/latest
target:
  dialect: bigquery
  projectId: TARGET_PROJECT_ID
  dataset: TARGET_DATASET

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE_HOST: שם המארח או כתובת ה-IP של שרת PostgreSQL.
  • ‫SOURCE_DATABASE: השם של מסד הנתונים הנדרש ב-PostgreSQL.
  • ‫SOURCE_SCHEMA: שם הסכימה שמוגדרת כברירת מחדל (אם לא מציינים שם, ברירת המחדל היא public).
  • ‫SOURCE_USER: שם המשתמש של מסד הנתונים.
  • ‫SECRET_PROJECT_ID ו-SECRET_ID: מזהה הפרויקט ומזהה הסוד ב-Secret Manager שמכיל את הסיסמה למסד הנתונים. לחלופין, אפשר להשמיט את passwordSecret ולהגדיר את משתנה הסביבה BQMS_VALIDATION_SOURCE_PASSWORD.
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמכיל את הטבלאות שהועברו ל-BigQuery, ושבו ייווצר מערך הנתונים validation_results.
  • ‫TARGET_DATASET: השם של מערך הנתונים ב-BigQuery.

יצירת קובץ הגדרות

כדי להגדיר את נתיב ה-staging ב-Cloud Storage, את מערך הנתונים של התוצאות ב-BigQuery, את תפוגת התוקף של הטבלה לכל הרצה ואת ברירות המחדל הגלובליות האופציונליות, יוצרים קובץ הגדרות של staging ותוצאות בשם settings.yaml בספריית ההגדרות של האימות.

מגדירים את קובץ ההגדרות של שלב הביניים והתוצאות באופן הבא:

googleCloudStorage:
  gcsPath: gs://BUCKET_NAME/PATH_PREFIX
  format: FORMAT

results:
  projectId: RESULTS_PROJECT_ID
  dataset: RESULTS_DATASET
  location: RESULTS_LOCATION

resultTtlHours: RESULT_TTL_HOURS
results: RESULTS_CONFIG

מחליפים את מה שכתוב בשדות הבאים:

  • ‫BUCKET_NAME: השם של קטגוריית ה-Staging ב-Cloud Storage.
  • ‫PATH_PREFIX: הקידומת של ה-URI של Cloud Storage בקטגוריה שמשמשת להכנת מטא-נתונים של סכימה שחולצה, מדדים נצברים, שורות שנדגמו ודוחות סיכום.
  • ‫FORMAT: פורמט הקובץ של דגימות הנתונים בשלב הביניים. הערכים הנתמכים הם parquet (ברירת מחדל) ו-csv.
  • ‫RESULTS_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו נכתבות טבלאות היסטוריית ההרצה ותוצאות האימות. אם לא מציינים את הפרמטר, ערך ברירת המחדל הוא target.projectId מ-connections.yaml.
  • ‫RESULTS_DATASET: השם של מערך הנתונים ב-BigQuery שבו נכתבות טבלאות של תוצאות האימות והיסטוריית ההרצה (run_history,‏ run_metrics ו-column_history). אם לא מציינים ערך, ברירת המחדל היא validation_results. אם מערך הנתונים לא קיים, שירות האימות יוצר אותו באופן אוטומטי.
  • ‫RESULTS_LOCATION: המיקום ב-BigQuery של מערך הנתונים של התוצאות. אם לא מציינים אזור, כברירת מחדל, מערך הנתונים של התוצאות שנוצר באופן אוטומטי מוגדר לאזור של קטגוריית ה-Staging ב-Cloud Storage ומערך הנתונים של היעד ב-BigQuery.
  • ‫RESULT_TTL_HOURS: משך החיים בשעות של טבלאות ההשוואה ואי-ההתאמה שנוצרו במערך הנתונים של התוצאות לכל הרצה. ברירת המחדל היא 168.0 שעות (7 ימים). טבלאות תצפיתיות לטווח ארוך (run_history,‏ run_metrics ו-column_history) לא מושפעות מ-resultTtlHours.
  • ‫RESULTS_CONFIG: מגדיר את קבוצת הנתונים של היעד ב-BigQuery לתוצאות ההשוואה ולהיסטוריית הביקורת. הערכים הנתמכים הם projectId,‏ dataset ו-location. אם משמיטים את הפרמטר, שירות האימות כותב ל-‎TARGET_PROJECT_ID.validation_results` ‎ ויוצר באופן אוטומטי את מערך הנתונים באותו אזור של מערך הנתונים המיועד ושל קטגוריית ה-Staging ב-Cloud Storage, אם הוא עדיין לא קיים.

אפשר גם לציין ברירות מחדל גלובליות לטבלאות על ידי ציון tolerances,‏ aggregate או labels ברמה העליונה של settings.yaml או validation-config.yaml. הגדרות ברירת המחדל האלה חלות על כל הטבלאות, אלא אם משנים אותן בהגדרות של טבלה ספציפית.

יצירת הגדרות אימות לטבלאות

אחרי שמגדירים את קובצי החיבורים וההגדרות, מגדירים את הגדרות האימות של הטבלה. הפקודה generate-config כותבת קובץ YAML אחד לכל טבלה ב-validation_config/databases/DATABASE/SCHEMA/TABLE.yaml עם מפתח table: ברמה העליונה, או שאפשר ליצור קובץ validation_config/tables.yaml באופן ידני.

כדי לקבל מידע על יצירת הגדרות לאימות טבלאות במסד הנתונים של המקור, בחרו אחת מהאפשרויות הבאות:

Teradata

כדי לאמת את ההעברה מ-Teradata, צריך ליצור ארכיון מטא-נתונים של סכימות המקור באמצעות הכלי dwh-migration-dumper:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

פתית שלג

כדי לאמת את ההעברה מ-Snowflake, צריך ליצור ארכיון מטא-נתונים של סכימות המקור באמצעות הכלי dwh-migration-dumper:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מפתחות אשכולות של מקורות (למחיצות של טבלאות בלי מפתח ראשי), מטא-נתונים של מחיצות פיזיות והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

Amazon Redshift

כדי לאמת את ההעברה מ-Amazon Redshift, צריך ליצור ארכיון ZIP של המטא-נתונים של הסכימות במקור:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

Databricks

אין תמיכה ביצירת הגדרות אוטומטיות ב-Databricks. יוצרים קובץ tables.yaml באופן ידני בספרייה validation_config/ עם ההגדרות הבאות:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

Apache Hive

כדי לאמת את ההעברה של Apache Hive, צריך ליצור ארכיון ZIP של המטא-נתונים של הסכימות במקור:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

שרת SQL

כדי לאמת את ההעברה של SQL Server, צריך ליצור ארכיון מטא-נתונים של סכימות המקור באמצעות הכלי dwh-migration-dumper:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

MariaDB

אין תמיכה ביצירת הגדרות אוטומטיות ב-MariaDB. יוצרים קובץ tables.yaml באופן ידני בספרייה validation_config/ עם ההגדרות הבאות:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

MySQL

יצירת הגדרות אוטומטית לא נתמכת ב-MySQL. יוצרים קובץ tables.yaml באופן ידני בספרייה validation_config/ עם ההגדרות הבאות:

tables:

  • sourceTable: name: SOURCE_SCHEMA.SOURCE_TABLE comparisonKeys: - PRIMARY_KEY_COLUMN targetTable: name: TARGET_DATASET.TARGET_TABLE

Oracle

כדי לאמת את ההעברה מ-Oracle, צריך ליצור ארכיון מטא-נתונים של סכימות המקור באמצעות הכלי dwh-migration-dumper:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

PostgreSQL

כדי לאמת את ההעברה של PostgreSQL, צריך ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper לסכימות המקור:

  1. מתקינים את הכלי dwh-migration-dumper.
  2. מריצים את dwh-migration-dumper במסד הנתונים של המקור כדי ליצור ארכיון מטא-נתונים של הכלי dwh-migration-dumper.

מריצים את הפקודה generate-config עם ארכיון המטא-נתונים כדי ליצור קובצי תצורה לכל טבלה. אתם יכולים להשתמש בדגל --update כדי לשמור את הקבצים הקיימים של connections.yaml ו-settings.yaml שיצרתם ב-validation_config/. לדוגמה:

gcloud bq migration validate generate-config \
  --metadata PATH_TO_METADATA_ZIP \
  --target-dataset TARGET_DATASET \
  --update

אם יש לכם גם קובץ מיפוי סכימה של tables.yaml מהמתרגם של SQL באצווה, צריך לכלול את הדגל --tables-yaml, לבד או יחד עם --metadata, כדי להוסיף למיפויים של הטבלאות המתורגמות מטא-נתונים של מחיצות מקור והחרגות של סוגי נתונים מארכיון המטא-נתונים. לדוגמה:

gcloud bq migration validate generate-config \
--metadata PATH_TO_METADATA_ZIP \
--tables-yaml PATH_TO_TABLES_YAML \
--target-dataset TARGET_DATASET \
--update

הפקודה generate-config תומכת בדגלים הבאים:

  • ‫--metadata PATH_TO_METADATA_ZIP: הנתיב לארכיון מטא-נתונים (קובץ ZIP) של כלי dwh-migration-dumper או לספרייה שמכילה ארכיונים של מטא-נתונים.
  • ‫--tables-yaml PATH_TO_TABLES_YAML: הנתיב לקובץ או לספרייה של קובצי התרגום (אם יש כמה, צריך להפריד ביניהם באמצעות פסיקים). tables.yaml
  • ‫--target-dataset TARGET_DATASET: השם של מערך הנתונים ב-BigQuery שרוצים להוסיף בתחילת הרשומות שנוצרו ב-targetTable.name.
  • ‫-o, --output-dir DIRECTORY: ספריית הפלט של קובצי התצורה המודולריים. ערך ברירת המחדל הוא validation_config.
  • ‫--schemas SCHEMA_LIST: רשימה מופרדת בפסיקים של סכימות או מסדי נתונים של מקורות שצריך לכלול (תלוי אותיות רישיות, תומך בתווים כלליים לחיפוש מסוג *).
  • ‫--tables TABLE_LIST: רשימה מופרדת בפסיקים של שמות טבלאות (TABLE,‏ SCHEMA.TABLE או DB.SCHEMA.TABLE) שצריך לכלול (תלוית אותיות רישיות, תומכת בתווים כלליים לחיפוש מסוג *).
  • ‫--filter-file PATH: הנתיב לקובץ שמופרד בשורות חדשות של שמות הטבלאות שרוצים לכלול (שורות שמתחילות ב-# לא נכללות).
  • ‫--update: מיזוג הטבלאות שנמצאו עם ספריית validation_config/ קיימת, תוך שמירה על ההגדרות הקיימות של connections.yaml, settings.yaml וההגדרות האישיות לכל טבלה.
  • ‫--force: מאפשר לכתוב קובצי טבלאות חדשים שהתגלו לספריית פלט לא ריקה, תוך שמירה על קובצי התצורה הקיימים של הטבלאות.
  • ‫--clean: מחיקת כל הקבצים הקיימים בספריית הפלט לפני כתיבת קבצים חדשים שנמצאו.

התאמה אישית של הגדרות הטבלה

כל קובץ טבלה שנוצר על ידי generate-config מכיל קטע table: שאפשר להתאים אישית לפני שמריצים את האימות. בטבלה הבאה מפורטים כל המפתחות האופציונליים שנתמכים בכל רשומה בטבלה.

מפתח YAML אופציונלי ערך ברירת המחדל תיאור
runSchema, runAggregate, runData true ערכים בוליאניים לכל טבלה כדי להפעיל או להשבית עמודי תווך ספציפיים של אימות כשלא מועברות הגדרות flag של עמודי תווך בשורת הפקודה.
maxColumnsPerTile 100 מספר העמודות המקסימלי שמקובצות למשבצת השוואה אחת בטבלאות רחבות.
strategy SMART אסטרטגיית הביצוע של אימות הנתונים: SMART (BRUTE_FORCE פחות מ-100,000 שורות, אחרת SAMPLE), SAMPLE או BRUTE_FORCE.
sampleSize 70000 מספר השורות לחילוץ (לכל פלח כשהוא מחולק למחיצות) כשהאסטרטגיה שנפתרה היא SAMPLE. ברירת המחדל של 70,000 שורות מספקת סבירות של יותר מ-99.9% לזיהוי של לפחות שורה אחת לא תואמת כששיעור הפגמים הוא 0.01% (שורה אחת מתוך 10,000 שורות) או יותר.
whereClause ללא פרדיקט SQL (בלי מילת המפתח WHERE) שמוחל גם על שאילתות החילוץ מהמקור וגם על שאילתות ההשוואה ליעד. אפשר גם להגדיר בנפרד ב-sourceTable.whereClause וב-targetTable.whereClause.
skipRandomization false כאשר true, קורא עד sampleSize שורות בסדר טבעי של טבלה במקום למיין לפי פונקציה אקראית, מה שמפחית את עלות השאילתה בטבלאות גדולות.
maxConcurrency 1 המספר המקסימלי של שרשורי חילוץ פרוסות מקבילים לטבלה מחולקת למחיצות.
maxSlices ‫0 (ללא הגבלה) המספר המקסימלי של פרוסות מחיצה שמותרות בטבלה מחולקת למחיצות. אם מספר הפרוסות המחושב חורג מ-maxSlices (כשהוא גדול מ-0), תכנון המחיצות נכשל ומוצגת שגיאה.
disablePartitioning false כשהערך הוא true, המדיניות משביתה את החלוקה לפרוסות של הטבלה, גם אם מוגדר בלוק partitioning או שמספר השורות חורג מ-1000000.
labels מפה ריקה תוויות של מחרוזות מפתח/ערך שמצורפות למדדי הרצת האימות ב-validation_results.

בקטעים הבאים מוסבר איך להשתמש במפתחות ה-YAML האלה כדי להתאים אישית את הרצות האימות.

בחירת שיטת אימות

משתמשים במפתח strategy ברשומת טבלה כדי לבחור אסטרטגיית אימות שקובעת איך העמודה --data מחלצת שורות ומשווה ביניהן. אלה הערכים הנתמכים:

  • SMART (ברירת המחדל): קודם סופר את השורות בטבלת המקור. אם בטבלה יש פחות מ-100,000 שורות, המערכת מריצה את BRUTE_FORCE. אם בטבלה יש 100,000 שורות או יותר, המערכת מריצה את SAMPLE.
  • ‫SAMPLE: חילוץ מדגם אקראי של שורות על סמך הערך של sampleSize (ברירת המחדל היא 70,000) וצירוף שלהן לטבלת היעד באמצעות comparisonKeys. מדגם של 70,000 שורות נותן רמת סמך של יותר מ-99.9% לזיהוי של לפחות שורה פגומה אחת, כשב-0.01% מהשורות (אחת מתוך 10,000) יש חוסר התאמה.
  • ‫BRUTE_FORCE: חילוץ והשוואה של כל שורה במעבר שאילתה יחיד ללא חלוקה למחיצות. המערכת מתעלמת מהגדרות החלוקה למחיצות כשמשתמשים ב-BRUTE_FORCE.

הגדרת מפתחות השוואה

מפתח השוואה הוא העמודה או העמודות שמשמשות לזיהוי ייחודי ולצירוף של שורות בין מערכת המקור למערכת היעד. מפתח ההשוואה מתאר את המאפיינים שמספקים ייחודיות מספקת לשילוב יציב.

כשמריצים השוואת נתונים ברמת השורה, אפשר להגדיר מפתחות השוואה בדרכים הבאות:

  • זיהוי אוטומטי: משמיטים את comparisonKeys מהקטע sourceTable כדי שכלי האימות יזהה באופן אוטומטי את המפתחות הראשיים במסד הנתונים של המקור במהלך הבדיקה המקדימה (חזרה לאילוצים ייחודיים של NOT NULL ב-Oracle וב-Snowflake, אינדקסים ייחודיים ב-Teradata, או DISTKEY או SORTKEY בעמודה אחת ב-Amazon Redshift).
  • מפתחות מורכבים או מותאמים אישית באופן ידני: מציינים באופן ידני מפתחות השוואה מורכבים או מותאמים אישית על ידי רישום שמות העמודות של מפתחות המקור ב-comparisonKeys בקטע sourceTable. הבדלים באותיות רישיות בין שמות עמודות המפתח במקור וביעד מותאמים באופן אוטומטי. אם שיניתם את השם של עמודת מפתח להשוואה ב-BigQuery, צריך למפות אותה בקטע columnSettings.columns.SOURCE_COLUMN.targetColumn. בדוגמה הבאה מוגדר מפתח השוואה מורכב:

    table:
      sourceTable:
        name: sales_db.public.order_items
        comparisonKeys:
          - order_id
          - line_number
      targetTable:
        name: migrated_sales.order_items
  • השוואת גיבוב (hash) לטבלאות בלי מפתח ייחודי: אם לטבלה אין מפתח ראשי, מגדירים את useAllColumnsAsKey: true בקטע sourceTable. האפשרות הזו נבחרת באופן אוטומטי גם אם בדיקת המטא-נתונים לפני ההעלאה לא מוצאת מפתחות ראשיים.

הגדרת חילוץ מחולק למחיצות של טבלאות גדולות

כשהאסטרטגיה של הטבלה היא SAMPLE, ובלוק partitioning קיים בהגדרות של הטבלה (שכותב generate-config כברירת מחדל) או שמספר השורות בטבלה חורג מ-1,000,000, כלי האימות מפצל את הטבלה לפרוסות כדי ששאילתות הדגימה יסרקו טווחים מוגבלים במקום למיין את כל הטבלה בבת אחת. כשמבצעים חלוקה למחיצות, המערכת מחלצת עד sampleSize שורות לכל פרוסה. כדי להגביל את האימות לקבוצת משנה של שורות, צריך להשתמש במקום זאת ב-whereClause.

כדי להגדיר חילוץ מחולק למחיצות, משתמשים בבלוק partitioning בקטע table:. לדוגמה:

table:
  sourceTable:
    name: sales_db.public.orders
    comparisonKeys:
      - order_id
  targetTable:
    name: migrated_sales.orders
  strategy: SAMPLE
  maxConcurrency: 4
  maxSlices: 100
  partitioning:
    type: INTEGER_RANGE
    column: order_id
    partitionSize: 1000000

הבלוק partitioning תומך בשדות הבאים:

  • type:
    • ‫INTEGER_RANGE: חלוקת הטבלה למרווחים מספריים של מפתח/ערך (COLUMN BETWEEN START AND END). זהו ערך ברירת המחדל.
    • ‫DATE_RANGE: חותך את הטבלה למרווחים של תאריך או חותמת זמן. נתמך ב-PostgreSQL וב-Snowflake.
    • ‫PHYSICAL: שימוש במחיצות של מסדי נתונים לטבלאות של Oracle ו-Amazon Redshift, כשיש מטא-נתונים של מחיצות פיזיות.
  • ‫column: מציין עמודה של מספר, תאריך או חותמת זמן שנוספו לאינדקס בטבלת המקור, שמשמשת לחישוב גבולות הפרוסות. שורות עם ערכי NULL בעמודת החלוקה למחיצות לא נכללות בפרוסות שמבוססות על טווח (INTEGER_RANGE ו-DATE_RANGE).
  • ‫partitionSize: לסוג INTEGER_RANGE, הערך הזה מציין את רוחב הטווח המספרי של מפתח/ערך לכל פרוסה, כאשר ערך ברירת המחדל הוא 1000000. בסוג DATE_RANGE, הערך הזה מציין את מספר הימים לכל פרוסה, וערך ברירת המחדל הוא 30.
  • ‫maxSlices: מציין את המספר הכולל המקסימלי של פרוסות שמותרות לטבלה (מוגדר ב-table:). אם טבלה דורשת יותר פרוסות מ-maxSlices, תכנון החלוקה למחיצות נכשל עם שגיאה שדורשת ערך גדול יותר של partitionSize או maxSlices.
  • ‫maxConcurrency: מציין את מספר ה-threads העובדים המקבילים שמשמשים לחילוץ פרוסות, כאשר ערך ברירת המחדל הוא 1. ההגדרה נמצאת בקטע table:.

התאמה אישית של בדיקות מצטברות

ניתוח נתונים נצברים מופעל כברירת מחדל ומשלים את הדגימה ברמת השורה עם בדיקות נתונים נצברים ברמת המאקרו. ההגדרה הזו שימושית לאימות טבלאות גדולות, שבהן דגימה אקראית עלולה לפספס חלוקת נתונים לא מאוזנת (partition skew) קלה.

אם לא מגדירים עמודות בהתאמה אישית, כלי האימות מחיל באופן אוטומטי בדיקות צבירה סטנדרטיות על סמך סוגי העמודות:

  • ערך מספרי מדויק (INTEGER, NUMERIC, BIGNUMERIC): COUNT, SUM, AVG, MIN, MAX
  • נקודה צפה (FLOAT, DOUBLE, REAL): COUNT, MIN, MAX
  • בוליאני (BOOLEAN): COUNT, COUNT_TRUE, COUNT_FALSE, COUNT_NULL
  • מחרוזת (STRING, VARCHAR, CHAR, TEXT): COUNT, SUM_LENGTH
  • תאריך, שעה וחותמת זמן: COUNT, MIN, MAX

אפשר להתאים אישית או להשבית בדיקות מצטברות באמצעות הקטע columnSettings. בדוגמה הבאה מוסבר איך להגדיר את טווחי הסבילות המצטברים ולבטל בדיקות ספציפיות של עמודות:

table:
  sourceTable:
    name: sales_db.public.orders
  targetTable:
    name: migrated_sales.orders
  # Set aggregate: false here to disable aggregate checks for the entire table
  columnSettings:
    aggregate:
      tolerance: 0.01
    columns:
      amount:
        aggregate:
          functions:
            - COUNT
            - SUM
            - AVG
          tolerance: 0.05
      internal_notes:
        aggregate: false

אלה כללי ההגדרה המצטברים שחלים:

  • מפתחות העמודות בקטע columnSettings.columns חייבים להיות זהים לשם של עמודת המקור, תלוי אותיות רישיות.
  • הערך המצטבר tolerance הוא סף ההפרש המוחלט (ABS(target - source) <= tolerance). אם לא מוגדר ערך מצטבר tolerance (ברמת העמודה או ב-columnSettings.aggregate.tolerance) ובעמודה יש הגדרה של tolerances.numeric ברמת השורה, הערכים AVG,‏ MIN ו-MAX יורשים את tolerances.numeric ישירות, ואילו הערך SUM מכפיל את הטולרנס שירש ברמת השורה ב-COUNT.
  • אפשר לשנות רק functions לכל עמודה בקטע columnSettings.columns.SOURCE_COLUMN.aggregate.functions.

החרגת עמודות, מיפוי שמות של עמודות והחלת ביטויי השוואה ב-SQL

אפשר להשתמש ב-columnSettings כדי להחריג עמודות, להגדיר טולרנסים מספריים או זמניים, למפות עמודות יעד ששמן השתנה או להחיל טרנספורמציות SQL לפני ההשוואה. כל מפתח ב-columnSettings.columns הוא השם של עמודת המקור. אם לעמודה יש שם אחר ב-BigQuery, משתמשים במאפיין targetColumn בתוך הרשומה הזו. לדוגמה:

table:
  sourceTable:
    name: sales_db.public.customers
    comparisonKeys:
      - customer_id
  targetTable:
    name: migrated_sales.customers
  columnSettings:
    exclude:
      - etl_loaded_at
      - "temp_*"
    tolerances:
      numeric: 0.0001
      timestamp: 0.001
      date: 1
    columns:
      SOURCE_COLUMN_1:
        targetColumn: customer_full_name
        transform: TRIM
      SOURCE_COLUMN_2:
        transformExpression: "ROUND(SOURCE_COLUMN_2, 4)"

‫columnSettings תומך בשדות הבאים:

  • ‫exclude: מציינים רשימה של שמות עמודות או תבניות glob‏ (*) לא תלויות-רישיות שרוצים להחריג מכל עמודי התווך של האימות.
  • tolerances:
    • ‫numeric: טולרנס לעמודות מספריות (ABS(target - source) <= tolerance להשוואה מבוססת-מפתח, או מעוגל ל-ceil(-log10(tolerance)) מקומות עשרוניים כש-useAllColumnsAsKey: true).
    • ‫timestamp: טולרנטיות בשניות לעמודות של חותמות זמן. לדוגמה, 0.001 למילי-שנייה אחת.
    • date: טווח סטייה בימים לעמודות של תאריכים.
  • ‫columns: מפה של הגדרות לכל עמודה, עם מפתח לפי שם העמודה במקור (SOURCE_COLUMN):
    • ‫targetColumn: ממפה את עמודת המקור לעמודת יעד עם שם אחר ב-BigQuery.
    • ‫transform: טרנספורמציה מובנית שבוצעה לפני ההשוואה:
      • ‫TRIM, UPPER, LOWER: נתמכים בכל הניבים.
      • ‫EMPTY_TO_NULL, NULL_TO_EMPTY, CAST_TO_STRING: נתמכים בשאילתות מקור של PostgreSQL,‏ Amazon Redshift,‏ Oracle ו-Teradata.
    • ‫transformExpression: ביטוי SQL בהתאמה אישית שמפנה לשם המילולי של עמודת המקור. לדוגמה, "ROUND(SOURCE_COLUMN, 4)". מכיוון שהביטוי מוערך גם בשאילתת המקור וגם בשאילתת ההשוואה של BigQuery, צריך להשתמש בפונקציות SQL שתקפות גם בניב המקור וגם ב-GoogleSQL.

נרמול ערכים

במהלך ההשוואה ברמת השורה (--data), שירות האימות מנרמל את הערכים כדי שההבדלים בייצוג בין מנועי המקור לבין BigQuery לא יגרמו לחוסר התאמה. שירות האימות מנרמל את הערכים בדרכים הבאות:

  • ‫סוגים מספריים מדויקים (INTEGER,‏ NUMERIC,‏ DECIMAL,‏ BIGNUMERIC): בהשוואה שמבוססת על מפתחות, הערכים מושווים בקנה מידה מלא (עד 9 ספרות אחרי הנקודה העשרונית ב-NUMERIC, או עד 38 ספרות אחרי הנקודה העשרונית ב-BIGNUMERIC), וכשמגדירים את tolerances.numeric, הערכים תואמים כשמתקיים התנאי ABS(target - source) <= tolerance. בהשוואת גיבוב (hash) של שורה מלאה (useAllColumnsAsKey: true), הערכים מעוגלים ל-9 ספרות אחרי הנקודה העשרונית כברירת מחדל, או ל-ceil(-log10(tolerance)) ספרות אחרי הנקודה העשרונית כשמוגדרת סבילות מספרית.
  • סוגים של נקודה צפה (FLOAT,‏ DOUBLE,‏ REAL): עוברים נורמליזציה ל-6 ספרות אחרי הנקודה העשרונית (1e-6) כברירת מחדל.
  • חותמות זמן: מנורמלות ל-UTC ברמת דיוק של מיקרו-שנייה.
  • סוגי תווים ברוחב קבוע (CHAR,‏ NCHAR,‏ CHARACTER): רווחים בתחילת המחרוזת ובסופה נחתכים באופן אוטומטי כדי להתאים לסמנטיקה של STRING ב-BigQuery.

הפעלת שירות האימות

אחרי שמגדירים את האימות, מריצים את הפקודה validate כדי להפעיל את כלי האימות של ההעברה. אפשר להעביר נתיב מקומי או URI של Cloud Storage gs:// שמפנה לספרייה validation_config/.

בדוגמה הבאה, שירות האימות מופעל על קובצי תצורה של אימות שמאוחסנים באופן מקומי:

  gcloud bq migration validate PATH_TO_VALIDATION_CONFIG
  

מחליפים את PATH_TO_VALIDATION_CONFIG בנתיב לספריית validation_config/ המודולרית.

אם הגדרות האימות מאוחסנות ב-Cloud Storage, מעבירים את ה-URI של ספריית ההגדרות האישיות של gs://:

  gcloud bq migration validate gs://BUCKET_NAME/validation_config
  

מחליפים את BUCKET_NAME בשם של הקטגוריה ב-Cloud Storage.

כברירת מחדל, שירות האימות פועל בכל שלושת עמודי התווך של האימות:

  • ‫--schema: מאמת את הסכימה בלבד
  • ‫--aggregate: מאמת רק את הנתונים המצטברים
  • --data: מאמת רק נתונים ברמת השורה

אפשר להריץ את שירות האימות על עמוד אימות ספציפי באמצעות הדגלים של העמודים. בדוגמה הבאה מריצים אימות סכימה ואימות צבירה בשתי טבלאות ספציפיות עם מסנן WHERE בהתאמה אישית:

gcloud bq migration validate PATH_TO_VALIDATION_CONFIG \
  --schema \
  --aggregate \
  --tables orders,customers \
  --where "order_date >= '2026-01-01'"

הפקודה validate תומכת בדגלים האופציונליים הבאים:

  • ‫--table או --tables: רשימה מופרדת בפסיקים של שמות הטבלאות שרוצים לאמת. ההתאמה של --tables תלוית אותיות רישיות (case-sensitive) וצריכה להתאים לאותיות הרישיות שבהן משתמשים ב-sourceTable.name או ב-targetTable.name.
  • ‫--where SQL_PREDICATE: מבטל את whereClause גם בטבלת המקור וגם בטבלת היעד במהלך ההפעלה הזו.
  • ‫--source-where SQL_PREDICATE: מבטל את whereClause רק בטבלת המקור.
  • ‫--target-where SQL_PREDICATE: מבטל את whereClause רק בטבלת היעד.
  • ‫--gcs-path: מבטל את googleCloudStorage.gcsPath. לדוגמה, --gcs-path gs://my-bucket/validation.
  • ‫--max-concurrency,‏ --concurrency או --threads: משנה את maxConcurrency לחילוץ פרוסות מקבילות.
  • ‫--no-partition או --disable-partitioning: משבית את חילוץ הפרוסות המפוצלות לכל הטבלאות בהרצה.
  • ‫--labels KEY=VALUE[,KEY=VALUE...]: צירוף תוויות מותאמות אישית של מפתח/ערך לתוצאות ההרצה.
  • ‫--output-dir: ספרייה מקומית לקובצי מטא-נתונים ומצב זמניים. ערך ברירת המחדל הוא /tmp/validation_outputs.
  • ‫-v,‏ --verbose,‏ -d או --debug: הפעלה של רישום מפורט או יומן ניפוי באגים.

העברת תהליך עבודה אסינכרוני

‫validate מבצע חילוץ מקור באופן סינכרוני, ואז מפעיל תהליך עבודה אסינכרוני של שירות ההעברה ל-BigQuery לכל טבלה.

  • אם קבוצת נתוני היעד נמצאת במיקום אחר us, למשל eu, צריך להגדיר את משתנה הסביבה BQMS_VALIDATION_LOCATION לפני שמריצים את validate:

    export BQMS_VALIDATION_LOCATION=LOCATION
  • לכל טבלה, מוודאים שהפלט כולל שורה של Workflow: שמכילה את שם המשאב של תהליך העבודה שנוצר. לדוגמה:

    Run ID:   20261012T180000Z_a1b2c3d4
    GCS Path: gs://my-bucket/validation/validationOutputs/sales_db/public/orders/20261012T180000Z_a1b2c3d4
    Workflow: projects/my-project/locations/us/workflows/12345678-abcd-ef01-2345-6789abcdef01
    Results:  my-project.validation_results (populated after target validation)
    
  • קוד היציאה 0 מציין שהחילוץ וההעלאה של המקור הצליחו, ולא שההשוואה של היעד הושלמה או שהנתונים תואמים. אם יצירת תהליך העבודה נכשלת, למשל בגלל הרשאה חסרה, ה-CLI מתעד אזהרה שהפעלת תהליך העבודה לאימות נכשלה, מדפיס פקודת חלופית ידנית של gcloud ומשמיט את השורה Workflow:, למרות שהתהליך מסתיים עם 0.

הצגת תוצאות האימות

בסיום הרצת האימות, אפשר לראות את תוצאות האימות במסוףGoogle Cloud באמצעות שליחת שאילתה למערך הנתונים של התוצאות validation_results, באמצעות שליחת שאילתה למערך הנתונים של BigQuery שהוגדר בקטע results ב-settings.yaml, או באמצעות קריאת דוחות הסיכום ב-Cloud Storage. בוחרים באחת מהאפשרויות הבאות:

מסוף Google Cloud

  1. נכנסים לדף Migration services במסוף Google Cloud .

    מעבר לשירותי ההעברה

  2. בקטע אימות ההעברה, לוחצים על הצגת הפעילות האחרונה.

  3. לוחצים על Select a project ובוחרים את הפרויקט שבו מאוחסן מערך הנתונים של validation_results.

GoogleSQL

מריצים שאילתה על TARGET_PROJECT_ID.validation_results.run_history כדי לבדוק את הסטטוס של הרצות האימות האחרונות:

SELECT
run_id,
source_table,
target_table,
status,
started_at,
finished_at,
gcs_uri,
error_message
FROM `TARGET_PROJECT_ID.validation_results.run_history`
ORDER BY started_at DESC
LIMIT 20;

מחליפים את TARGET_PROJECT_ID במזהה הפרויקט שבו מאוחסנת קבוצת הנתונים validation_results.

כדי לקבל מדדים מפורטים לכל עמודה ומגמות היסטוריות, אפשר להריץ את השאילתה הבאה:

  • ‫<var>TARGET_PROJECT_ID</var>.validation_results.run_metrics: מספר אי-ההתאמות לכל הרצה ולכל עמודה, השוואות מצטברות וסטטוס "עבר" או "נכשל"
  • ‫<var>TARGET_PROJECT_ID</var>.validation_results.column_history: היסטוריית הביקורת של העמודה לאורך זמן, בכל ההרצות
  • <var>TARGET_PROJECT_ID</var>.validation_results.run_<var>RUN_ID</var>_mismatches_details: שורות ועמודות שנדגמו שבהן ערכי המקור והיעד היו שונים

דוחות של Cloud Storage

בכל הפעלה שהושלמה, פריטי המידע הבאים של הדוח נכתבים בספריית gcs_uri של ההפעלה (gs://<var>BUCKET</var>/<var>PREFIX</var>/validationOutputs/<var>SOURCE_TABLE_PATH</var>/<var>RUN_ID</var>/):

  • ‫validation_summary.txt: תקציר מנהלים של תוצאות ההשוואה של הסכימה, הצבירה והשורות
  • ‫column_details.txt: פירוט לפי עמודה של חוסר התאמה והבדלים מצטברים
  • ‫results.json: דוח JSON מובנה של כל ממצאי האימות
  • queries.sql: שאילתות ה-SQL המדויקות שבוצעו במהלך הרצת האימות

כדי להדפיס את דוח הסיכום של הרצה, מריצים את הפקודה הבאה:

gcloud storage cat gs://BUCKET/PREFIX/validationOutputs/SOURCE_TABLE_PATH/RUN_ID/validation_summary.txt

פירוש תוצאות האימות

כל הפעלת אימות ב-validation_results.run_history מדווחת על אחד מערכי סטטוס הביצוע הבאים, או status:

סטטוס תיאור הפעולה המומלצת
IN_PROGRESS תהליך העבודה של האימות עדיין פועל ב-BigQuery. מחכים עד שהטבלה finished_at תתמלא, ואז שולחים שוב שאילתה ל-run_history.
COMPLETED תהליך האימות הסתיים ללא אי-התאמות בנתונים ברמת השורה או בנתונים המצטברים. פרטי התאימות של סוג הסכימה מתועדים בנפרד ב-validation_summary.txt וב-column_history. לא נדרשת כל פעולה. הטבלה עברה את האימות.
HEALED צינור עיבוד הנתונים לאימות הושלם בלי שורות חסרות, וכל ההבדלים שזוהו בערכים היו תנודות מיקרוסקופיות בייצוג של נקודה צפה (< 1e-4 להשוואות ברמת התא ו-< 1e-6 לצבירות) שתואמו באופן אוטומטי על ידי המאמת. נחשב כהרצה שעברה. אם רוצים למנוע ריצוד במעלה הזרם, אפשר להגדיר ערך מספרי מפורש של tolerance.
COMPLETED_WITH_MISMATCHES צינור עיבוד הנתונים לאימות פעל עד הסוף ומצא שורות חסרות, עמודות יעד חסרות, הבדלים מצטברים או הבדלים בנתונים ברמת התא בין טבלאות המקור והיעד. ההודעה הזו מציינת שהרצת האימות הושלמה, ולא שהמערכת קרסה. כדי לבדוק את העמודות והשורות שלא תואמות, בודקים את column_details.txt, run_metrics ו-run_RUN_ID_mismatches_details. מידע נוסף זמין במאמר סוגי חוסר התאמה ברמת העמודה.
ERROR צינור עיבוד הנתונים של האימות לא הושלם בגלל שגיאת מערכת או שגיאה בהגדרה. לדוגמה, בגלל טבלת יעד חסרה, שגיאת הרשאה או SQL לא חוקי ב-whereClause או ב-transformExpression בהתאמה אישית. צריך לבדוק את העמודה error_message ב-run_history. למידע נוסף על פתרון שגיאות נפוצות, ראו פתרון בעיות.

סוגי אי-התאמות ברמת העמודה

כשהרצה מסתיימת עם COMPLETED_WITH_MISMATCHES, טבלאות אי-ההתאמה של כל הרצה מסווגות כל השוואת עמודות לפי אחת מהתוצאות הבאות:

  • EXACT_MATCH: ערכי התאים שהושוו בעמודה תאמו בטווח הטולרנסים שהוגדרו
  • ‫DATA_DRIFT: שורות תואמות ב-comparisonKeys, אבל ערכי התאים היו שונים מעבר לטווח הסבילות שהוגדר
  • SCHEMA: העמודה קיימת בטבלת המקור אבל חסרה בטבלת היעד
  • ‫ROW: שורות המקור היו חסרות בטבלת היעד, או ששורות היעד היו חסרות בטבלת המקור, כשצורפו ב-comparisonKeys

פתרון שגיאות נפוצות

בטבלה הבאה מפורטות שגיאות נפוצות בשורת הפקודה ובתהליך העבודה, ואיך לפתור אותן:

הודעת השגיאה או הבעיה מטרה רזולוציה
Failed to load or parse YAML בלוק של טבלה, partitioning, columnSettings או googleCloudStorage מכיל מפתח לא מזוהה או ערך enum לא חוקי, כמו SAMPLING במקום SAMPLE. בודקים את הכניסה של ה-YAML ואת שמות השדות בהתאם לאפשרויות להגדרת הטבלה.
Connection name '...' is invalid. Must be alphanumeric. שם הפרופיל בקטע connections: מכיל קווים תחתונים או מקפים. לדוגמה, my_source. משנים את השמות של פרופילי החיבור לשמות אלפאנומריים, כמו source ו-target.
googleCloudStorage cannot be null הפרמטר googleCloudStorage.gcsPath חסר ב-validation_config/settings.yaml והפרמטר --gcs-path לא הועבר. מגדירים את googleCloudStorage.gcsPath: gs://BUCKET/PREFIX בלי קו נטוי עוקב ב-validation_config/settings.yaml.
Target discovery directory 'validation_config/' is non-empty הפקודה generate-config הופעלה בלי --update,‏ --force או --clean כש-validation_config/ כבר הכיל קובצי YAML. מעבירים את --update כדי למזג טבלאות שזוהו, תוך שמירה על connections.yaml ו-settings.yaml הקיימים.
‫tables is required כשמפעילים את validate קובץ validation-config.yaml מדור קודם בלי רשימת tables: קיים בספריית העבודה, והוא מקבל עדיפות על פני validation_config/, או שאין קובצי YAML של טבלאות ב-validation_config/. מוחקים את כל הקבצים המיותרים מסוג validation-config.yaml בספריית העבודה, כדי ש-validate יטען את validation_config/.
שגיאה בבדיקה המקדימה במפתח השוואה יחיד עם עוצמה נמוכה טבלה עם יותר מ-1,000 שורות מסוננות מוגדרת עם מפתח השוואה יחיד בעל עוצמה נמוכה, מה שיגרום לפיצוץ של צירוף רבים לרבים. צריך לציין את כל העמודות שיוצרות מפתח מורכב (composite key) ייחודי ב-comparisonKeys, או להגדיר את useAllColumnsAsKey: true בקטע sourceTable.
Failed to initialize MemoryUtil או InaccessibleObjectException: Unable to make field long java.nio.Buffer.address accessible ה-JVM הוא Java 17 או גרסה עדכנית יותר, והוא הופעל בלי --add-opens=java.base/java.nio=ALL-UNNAMED, בדרך כלל כי שורת הפקודה הופעלה דרך wrapper בהתאמה אישית או ישירות עם java -jar. מגדירים את JDK_JAVA_OPTIONS="--add-opens=java.base/java.nio=ALL-UNNAMED" בסביבה, או משתמשים בפקודה gcloud bq migration validate.
WARNING: Failed to trigger validation workflow חילוץ המקור הצליח, אבל הקריאה ל-CreateMigrationWorkflow נכשלה בגלל הרשאות IAM חסרות, API שלא הופעל או מיקום לא נתמך. צריך לוודא שהאפשרות bigquerymigration.googleapis.com מופעלת, שלחשבון יש roles/bigquerymigration.editor ושהמיקום של BQMS_VALIDATION_LOCATION תואם למיקום של קבוצת הנתונים.

ניקוי פריטי אימות

כדי לנהל את עלויות האחסון אחרי שבודקים את תוצאות האימות:

  • ב-Cloud Storage, מוחקים ספריות הרצה ישנות עם הקידומת gcsPath בקטגוריית ה-staging, או מגדירים כלל של ניהול מחזור החיים של אובייקטים בקטגוריה.
  • ב-BigQuery, התוקף של טבלאות ההשוואה לכל הרצה במערך הנתונים של התוצאות (validation_results כברירת מחדל) פג באופן אוטומטי אחרי resultTtlHours (168.0 שעות, או 7 ימים, כברירת מחדל). משנים את הערך של resultTtlHours ב-settings.yaml כדי לקצר או להאריך את משך השמירה, או מסירים ידנית טבלאות של הרצות ספציפיות ומשאירים את הטבלאות והתצוגות של ההיסטוריה המשותפת (run_history, run_metrics ו-column_history) כמו שהן.
  • כשעובדים עם קבצים מקומיים, צריך להסיר את ספריית העבודה המקומית שנכתבה על ידי כלי האימות בנתיב --output-dir. הספרייה שמוגדרת כברירת מחדל היא /tmp/validation_outputs.

תמחור

שירות האימות משתמש במשאבים הבאים בפרויקט:

  • מחשוב ואחסון ב-BigQuery: שאילתות צבירה, איחודים של השוואת שורות ואחסון של טבלאות במערך הנתונים validation_results מחויבים בפרויקט Google Cloud או ב-billingProjectId אם הוגדרו בחיבור target, בהתאם לתמחור הסטנדרטי של BigQuery.
  • אחסון ורשת ב-Cloud Storage: קובצי Parquet או CSV לדוגמה שהועלו ודוחות תוצאות בקטגוריה שלכם מחויבים לפי התמחור הרגיל של Cloud Storage.
  • עומס על מסד הנתונים של המקור: שאילתות החילוץ פועלות ישירות מול מסד הנתונים של המקור. כדי לצמצם את העומס על טבלאות מקור גדולות, השתמשו ב-strategy: SAMPLE, סננו באמצעות whereClause או הגדירו את skipRandomization: true כשהעומס של מיון אקראי לא רצוי.

המאמרים הבאים