שכפול נתונים מ-SQL Server ל-BigQuery

במדריך הזה מוסבר איך ליצור ולפרוס משימה שמשכפלת באופן רציף נתונים שהשתנו ממסד נתונים של Microsoft SQL Server לטבלה ב-BigQuery.

מטרות

במדריך הזה תלמדו:

  1. מפעילים את התכונה 'סימון נתונים שהשתנו' (CDC) במסד הנתונים של SQL Server.
  2. ליצור ולהפעיל משימת שכפול של Cloud Data Fusion.
  3. התוצאות מוצגות ב-BigQuery.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

כדי להעריך את ההוצאות בהתאם לתחזית השימוש שלכם, אתם יכולים להיעזר במחשבון העלויות.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

כשמריצים שכפול, מחויבים על אשכול Managed Service for Apache Spark ונושאים בעלויות עיבוד ב-BigQuery. כדי לייעל את העלויות האלה, מומלץ מאוד להשתמש בתמחור בתשלום קבוע ב-BigQuery.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. יוצרים מכונת Cloud Data Fusion ציבורית בגרסה 6.3.0 ואילך. אם יוצרים מכונה פרטית, צריך להגדיר קישור בין רשתות שכנות (peering) של רשת VPC.
    • כשיוצרים את המופע, מפעילים את האפשרות 'שכפול' על ידי לחיצה על Add Accelerators (הוספת מאיצים) וסימון התיבה Replication (שכפול).
    • כדי להפעיל את התכונה במופע קיים, אפשר לעיין במאמר בנושא הפעלת שכפול.

מידע נוסף על רשתות זמין במאמר שימוש ב-HAProxy עם Cloud Data Fusion כדי לנווט בטופולוגיות מורכבות של רשתות.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות ללימוד הזה, כדאי לעיין במאמרים בקרת גישה באמצעות IAM והענקת הרשאת משתמש לחשבון שירות.

אופציונלי: הגדרת מכונה וירטואלית של SQL Server

  1. יצירת מכונה של SQL Server.

  2. מורידים את מסד הנתונים AdventureWorks2017 (OLTP) וטוענים את הנתונים למופע של SQL Server.

הפעלת CDC במסד הנתונים של SQL Server

כדי ליצור רפליקות, צריך להפעיל את התכונה 'סימון נתונים שהשתנו' (CDC) במסד הנתונים ובטבלה שרוצים ליצור להם רפליקות.

יצירה והפעלה של משימת שכפול ב-Cloud Data Fusion

העלאה של מנהל התקן JDBC

  1. מורידים את מנהל ההתקן של SQL Server JDBC למחשב המקומי.

  2. בממשק האינטרנט של Cloud Data Fusion, מעלים את מנהל ההתקן של JDBC. משתמשים בערכים האלה כדי להגדיר את מנהל ההתקן של JDBC:

    • בשדה שם מזינים sqlserver.
    • בשדה שם הכיתה, מזינים com.microsoft.sqlserver.jdbc.SQLServerDriver.
    • בשדה גרסה משאירים את ברירת המחדל.

יצירת המשרה

  1. בממשק האינטרנט של Cloud Data Fusion, לוחצים על Replication (שכפול).

  2. לוחצים על Create a replication job.

  3. בדף Create new replication job, מציינים שם למשימת השכפול ולוחצים על Next.

  4. מגדירים את המקור:

    1. בוחרים באפשרות Microsoft SQL Server כמקור.
    2. בשדה מארח, מזינים את שם המארח של SQL Server שממנו רוצים לקרוא.
    3. בשדה Port, מזינים את היציאה שבה רוצים להשתמש כדי להתחבר ל-SQL Server: 1433.
    4. בשדה JDBC Plugin Name (שם הפלאגין של JDBC), בוחרים באפשרות sqlserverאו בשם שציינתם כשהגדרתם את מנהל ההתקן של JDBC.
    5. בשדה Database name (שם מסד הנתונים), מזינים AdventureWorks2017.
    6. בקטע פרטי כניסה, מזינים את שם המשתמש והסיסמה כדי לגשת ל-SQL Server.

  5. לוחצים על הבא.

  6. מגדירים את היעד:

    1. בוחרים את היעד ב-BigQuery.
    2. מזהה הפרויקט והמפתח של חשבון השירות מזוהים באופן אוטומטי. משאירים את ערכי ברירת המחדל.
    3. אופציונלי: בקטע מתקדם, אפשר להגדיר את השם והמיקום של קטגוריית Cloud Storage, את מרווח הטעינה, את התוספת לשם של טבלת הביניים ואת ההתנהגות כשמבטלים טבלאות או מסדי נתונים.

  7. לוחצים על הבא.

  8. אחרי שמתחברים לחשבון, מוצגת רשימה של טבלאות AdventureWorks2017. במדריך הזה, בוחרים כמה טבלאות ואירועים, כמו Insert,‏ Update ואירועים מסוג Delete.

  9. אופציונלי: הגדרת המאפיינים המתקדמים. במדריך הזה, אפשר לאשר את הגדרות ברירת המחדל.

  10. לוחצים על הבא.

  11. בדף בדיקת ההערכה, לוחצים על הצגת המיפויים באחת מהטבלאות כדי לראות הערכה של בעיות בסכימה, תכונות חסרות או בעיות בקישוריות שעלולות להתרחש במהלך השכפול. כדי להמשיך, צריך לפתור את הבעיות. במדריך הזה, אם יש בעיות באחת מהטבלאות, צריך לחזור לשלב שבו בוחרים טבלאות ולבחור טבלה או אירוע ללא בעיות.

    מידע נוסף על המרות של סוגי נתונים ממסד הנתונים של המקור ליעד ב-BigQuery זמין במאמר שכפול של סוגי נתונים.

  12. לוחצים על הקודם.

  13. לוחצים על הבא.

  14. בודקים את פרטי הסיכום של עבודת השכפול ולוחצים על פריסת עבודת השכפול.

התחלת המשימה

  • בדף פרטי עבודת השכפול, לוחצים על התחלה.

משימת השכפול עוברת מהסטטוס הקצאת משאבים לסטטוס התחלה ואז לסטטוס פועל. במצב הפעלה, משימת השכפול טוענת תמונת מצב ראשונית של נתוני הטבלה שבחרתם (לדוגמה, הטבלה People) לתוך BigQuery. במצב הזה, המצב של טבלת האנשים הוא Snapshotting. אחרי שהתמונה הראשונית של מצב הנתונים נטענת ל-BigQuery, כל שינוי שמתבצע בטבלת האנשים משוכפל ל-BigQuery. המצב של הטבלה מופיע כשכפול.

מעקב אחרי המשרה

אתם יכולים להתחיל את פעולת השכפול ולהפסיק אותה, לבדוק את ההגדרות והיומנים שלה ולעקוב אחרי פעולת השכפול.

אפשר לעקוב אחרי הפעילויות של עבודת השכפול בדף Replication job details (פרטי עבודת השכפול).

  1. בדף Replication, לוחצים על Name של עבודת השכפול.

  2. לוחצים על מעקב.

הצגת התוצאות ב-BigQuery

משימת השכפול יוצרת טבלה ומערך נתונים משוכפלים ב-BigQuery, עם שמות שמועברים משמות הטבלה ומסד הנתונים התואמים ב-SQL Server.

  1. פותחים את BigQuery במסוףGoogle Cloud .

  2. בחלונית הימנית, לוחצים על שם הפרויקט כדי להרחיב את רשימת מערכי הנתונים.

  3. בוחרים את מערך הנתונים adventureworks2017 ואז בוחרים טבלה לתצוגה.

מידע נוסף זמין במאמרי העזרה של BigQuery.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

אחרי שמסיימים את המדריך, מוחקים את המשאבים שיצרתם ב-Google Cloud.

מחיקת המכונה הווירטואלית

  1. נכנסים לדף VM instances במסוף Google Cloud .

    כניסה לדף VM instances

  2. מסמנים את התיבה שלצד המופע שרוצים למחוק.
  3. כדי למחוק את המכונה, לוחצים על More actions ואז על Delete ופועלים לפי ההוראות.

מחיקת מכונת Cloud Data Fusion

פועלים לפי ההוראות למחיקת מכונת Cloud Data Fusion.

מחיקת הפרויקט

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים