מקור נתונים של קבוצת נתונים ממסד נתונים

בדף הזה מוסבר איך להגדיר את הפלאגין Database batch source (מקור נתונים באצווה ממסד נתונים) ב-Cloud Data Fusion.

אתם יכולים להשתמש במקור הגנרי הזה בכל פעם שאתם צריכים לקרוא מתוך מסד נתונים. לדוגמה, אפשר להשתמש בו כדי ליצור תמונות מצב יומיות של טבלת מסד נתונים כללית ולכתוב את הפלט ל-BigQuery.

הגדרת הפלאגין

  1. עוברים לממשק האינטרנט של Cloud Data Fusion ולוחצים על Studio.
  2. מוודאים שהאפשרות Data Pipeline - Batch (צינור נתונים – אצווה) נבחרה (ולא Realtime (זמן אמת)).
  3. בתפריט מקור, לוחצים על מסד נתונים.
  4. כדי להגדיר את הפלאגין, מעבירים את הסמן מעל צומת הפלאגין ולוחצים על Properties (מאפיינים).

  5. מזינים את המאפיינים הבאים. מידע נוסף על כל מאפיין זמין במאמר מאפיינים.

    1. מזינים תווית לצומת של מסד הנתונים, לדוגמה database tables.

    2. מזינים את פרטי החיבור. אתם יכולים להגדיר חיבור חדש וחד-פעמי או חיבור קיים שאפשר להשתמש בו שוב.

      חיבור חדש

      כדי להוסיף חיבור חד-פעמי למסד הנתונים, פועלים לפי השלבים הבאים:

      1. משאירים את ההגדרה שימוש בחיבור מושבתת.
      2. מזינים את מאפייני החיבור הבאים:
        1. בשדה של שם מנהל ההתקן של JDBC, מזינים את שם מנהל ההתקן, אם יש כזה. אחרת, משאירים את האפשרות No JDBC plugins (אין תוספים של JDBC) מסומנת.
        2. בשדה מחרוזת חיבור, מזינים את מחרוזת החיבור של JDBC, כולל שם מסד הנתונים.
        3. אופציונלי: אם מסד הנתונים דורש אימות, מזינים את פרטי הכניסה של שם המשתמש והסיסמה של מסד הנתונים.
        4. אופציונלי: אם מנהל התקן ה-JDBC שלכם צריך הגדרות נוספות, בשדה Connection arguments (ארגומנטים של חיבור) מזינים ארגומנטים של חיבור בצורת זוגות של מפתח וערך.

      חיבור לשימוש חוזר

      כדי לעשות שימוש חוזר בחיבור קיים, פועלים לפי השלבים הבאים:

      1. מפעילים את האפשרות שימוש בחיבור.
      2. לוחצים על Browse connections (עיון בחיבורים).

      3. בוחרים את החיבור.

      4. אופציונלי: אם לא קיים חיבור ואתם רוצים ליצור חיבור חדש לשימוש חוזר, לוחצים על Add connection ופועלים לפי השלבים בכרטיסייה New connection בדף הזה.

    3. אופציונלי: כדי לבדוק את הקישוריות, לוחצים על קבלת סכימה. הסכימה הזו משמשת במקום כל סכימה שמוחזרת מהשאילתה. היא צריכה להיות זהה לסכימה שמוחזרת מהשאילתה, חוץ מהעובדה שאפשר לסמן שדות ככאלה שיכולים להכיל ערך null, והיא יכולה להכיל קבוצת משנה של השדות.

    4. בשדה ייבוא שאילתה, מזינים שאילתת SELECT לייבוא נתונים מהטבלה שצוינה – לדוגמה, select id, name, email, phone from users;.

    5. אופציונלי: בשדה Bounding query (שאילתת תיחום), מזינים את הערכים המינימליים והמקסימליים לקריאה – לדוגמה, SELECT * FROM table WHERE $CONDITIONS.

    6. אופציונלי: בשדה Split-by field name, מזינים את שם השדה שיוצר את הפיצולים.

    7. אופציונלי: בשדה Number of splits to generate (מספר הפיצולים ליצירה), מזינים מספר – לדוגמה, 2.

    8. אופציונלי: בשדה גודל האחזור, מזינים מספר – לדוגמה, 1000.

    9. אופציונלי: מזינים מאפיינים מתקדמים, כמו שינוי האותיות בשמות העמודות.

  6. אופציונלי: לוחצים על אימות ופותרים את השגיאות שנמצאו.

  7. לוחצים על Close. המאפיינים נשמרים ואפשר להמשיך לבנות את צינור הנתונים ב-Cloud Data Fusion Studio.

מאפיינים

מאפיין (property) יכולות מאקרו חובה תיאור
תווית לא כן השם של הצומת בצינור הנתונים.
שימוש בחיבור לא לא מחפשים את החיבור למקור. אם האפשרות שימוש בחיבור מסומנת, לא צריך לספק פרטי כניסה.
חיבור כן כן השם של החיבור שבו רוצים להשתמש. אם בוחרים באפשרות שימוש בחיבור, השדה הזה מופיע. המידע על מסד הנתונים והטבלה מסופק על ידי החיבור.
שם מנהל ההתקן של JDBC כן כן מנהל ההתקן של JDBC שבו רוצים להשתמש.
ברירת המחדל היא No JDBC plugins.
מחרוזת חיבור כן כן מחרוזת חיבור JDBC, כולל שם מסד הנתונים.
שם משתמש כן לא זהות המשתמש לחיבור למסד הנתונים. נדרש עבור מסדי נתונים שצריך לאמת אותם. אופציונלי למסדי נתונים שלא נדרש בהם אימות.
סיסמה כן לא הסיסמה שמשמשת לחיבור למסד הנתונים שצוין. נדרש עבור מסדי נתונים שנדרש עבורם אימות. אופציונלי למסדי נתונים שלא נדרש בהם אימות.
ארגומנטים של חיבור כן לא רשימה של צמדי תג/ערך של מחרוזות שרירותיות כארגומנטים של חיבור. עבור מנהלי התקנים של JDBC שדורשים הגדרה נוספת, הארגומנטים האלה מועברים למנהל ההתקנים של JDBC כארגומנטים של חיבור בפורמט הבא: key1=value1;key2=value.
שם הפניה לא כן שם שמזהה באופן ייחודי את המקור הזה לצורך מעקב אחר מקורות נתונים והוספת הערות למטא-נתונים. בדרך כלל זה השם של הטבלה או התצוגה.
קבלת סכימה לא לא הסכימה של רשומות הפלט מהמקור. הוא משמש במקום הסכימה שמוחזרת על ידי השאילתה. הוא צריך להיות זהה לסכימה שמוחזרת מהשאילתה, אלא שאפשר לסמן שדות ככאלה שיכולים להכיל ערך null, והוא יכול להכיל קבוצת משנה של השדות.
שאילתת ייבוא כן כן שאילתת SELECT לייבוא נתונים מהטבלה שצוינה. אפשר לציין מספר שרירותי של עמודות לייבוא, או לייבא את כל העמודות באמצעות *. השאילתה צריכה להכיל את המחרוזת $CONDITIONS. לדוגמה, SELECT * FROM table WHERE $CONDITIONS. המחרוזת $CONDITIONS מוחלפת במגבלת השדה splitBy שצוינה בשדה שאילתת תיחום. המחרוזת $CONDITIONS לא נדרשת אם השדה Number of splits מוגדר ל-1.
שאילתת תיחום כן לא שאילתת התיחום שמחזירה את הערך המינימלי והמקסימלי של הערכים מהעמודה המפוצלת. לדוגמה, SELECT MIN(id),MAX(id) FROM table. לא נדרש אם מספר הפיצולים מוגדר כ-1.
שם השדה לפי פיצול כן לא שם השדה שמשמש ליצירת פיצולים. לא נדרש אם מספר הפיצולים ליצירה מוגדר כ-1.
מספר הפיצולים ליצירה כן לא מספר הפיצולים שייווצרו.
ברירת המחדל היא 1.
אחזור גודל כן לא מספר השורות שיש לאחזר בכל פעם לכל פיצול. גודל אחזור גדול יותר יכול להאיץ את הייבוא, אבל הוא יגרום לשימוש גבוה יותר בזיכרון.
ברירת המחדל היא 1000.
הפעלת ביצוע אוטומטי של שינויים לא לא האם להפעיל אישור אוטומטי של שאילתות שמופעלות על ידי המקור הזה. צריך להגדיר את הערך הזה כ-False, אלא אם משתמשים במנהל התקן JDBC שגורם לשגיאה כשמריצים את פעולת השמירה.
ברירת המחדל היא False.
אותיות רישיות בשם העמודה כן לא מגדיר את האותיות הרישיות בשמות העמודות שמוחזרות מהשאילתה. אפשר לבחור אותיות רישיות או קטנות. כברירת מחדל, או לכל קלט אחר, שמות העמודות לא משתנים ונעשה שימוש באותיות רישיות שמוחזרות ממסד הנתונים. הגדרת המאפיין הזה מאפשרת לחזות את השימוש באותיות גדולות או קטנות בשמות של עמודות במסדי נתונים שונים, אבל היא עלולה לגרום להתנגשויות בשמות של עמודות אם יש כמה שמות של עמודות שזהים כשמתעלמים מההבדל בין אותיות גדולות לאותיות קטנות.
ברירת המחדל היא ללא שינוי.
רמת הבידוד של טרנזקציה כן לא רמת הבידוד של טרנזקציות בשאילתות שמופעלות על ידי יעד הנתונים הזה. מידע נוסף זמין במאמר setTransactionIsolation(). מנהל ההתקן Phoenix JDBC יוצר חריגה אם העסקאות במסד הנתונים של Phoenix לא מופעלות והשדה הזה מוגדר ל-true. לנהגים כאלה, צריך להגדיר את השדה הזה ל-TRANSACTION_NONE.
ברירת המחדל היא TRANSACTION_SERIALIZABLE.
התבנית להחלפה לא לא התבנית להחלפה בשם השדה בטבלה (בדרך כלל משתמשים בה עם המאפיין החלפה עם). אם המאפיין Replace with לא מוגדר, התבנית מוסרת משם השדה.
החלפה עם לא לא המחרוזת שמוחלפת בשם השדה בטבלה. צריך גם להגדיר את השדה Pattern to replace.
סכימת הפלט לא לא מציין את הסכימה שמופקת כפלט. רק עמודות שמוגדרות בסכימה נכללות ברשומת הפלט.

שיטות מומלצות

בודקים אם יש תוסף ספציפי יותר שזמין למסד הנתונים שלכם. לדוגמה, אם יש לכם מקור מסד נתונים של Oracle, השתמשו במקום זאת בתוסף של מקור אצווה של מסד נתונים של Oracle, כי הוא מיועד לעבודה עם סכימת Oracle.

המאמרים הבאים