ניהול פקודות מאקרו, העדפות וארגומנטים של זמן ריצה

בעזרת פקודות מאקרו, העדפות וארגומנטים של זמן ריצה ב-Cloud Data Fusion, אתם יכולים להגדיר פרמטרים באופן דינמי לצינורות עיבוד נתונים וליצור תבניות לשימוש חוזר. אתם יכולים לקבוע הגדרות ברירת מחדל היררכיות בסביבות שלכם, ולשנות את ערכי ההגדרות כשאתם מציגים תצוגה מקדימה של צינור עיבוד נתונים או מריצים אותו.

מונחי מפתח

מאקרו-נוטריאנטים
פקודות מאקרו הן פלייסהולדרים בהגדרות של הפלאגין של Cloud Data Fusion. הם מיוצגים על ידי משתנים שמוקפים ב-${ }, כמו ${input_file_path}. פקודות מאקרו מאפשרות להגמיש את צינורות עיבוד הנתונים באמצעות ערכים זמניים לשמירת מקום (פלייסהולדרים), שמוחלפים בערכים בפועל בזמן הריצה. כך אפשר להגדיר באופן דינמי פרמטרים כמו נתיבי קבצים ושמות של טבלאות.
העדפות
העדפות הן הגדרות אישיות שנקבעו מראש ופועלות ברמות שונות ב-Cloud Data Fusion, כולל המערכת עצמה, מרחבי שמות, אפליקציות (שמכילות צינורות עיבוד נתונים) ותוכנות נפרדות בתוך צינורות עיבוד נתונים. ההעדפות מאפשרות להגדיר ערכי ברירת מחדל להגדרות אישיות נפוצות. הגדרות ברירת המחדל יכולות לעבור בירושה לצינורות עיבוד נתונים ולתוכניות ברמות נמוכות יותר, וכך להפחית את המשימות החוזרות של הגדרת התצורה.
ארגומנטים של זמן ריצה
ארגומנטים של זמן ריצה הם צמדים של מפתח/ערך שמספקים ערכים לפקודות מאקרו, ויכולים לשנות את ההעדפות כשפורסים או מריצים צינור עיבוד נתונים. הן מאפשרות מידה רבה של התאמה אישית, כך שאתם יכולים לשנות את ההגדרות בכל הרצה של צינור עיבוד הנתונים, בלי לשנות את צינור עיבוד הנתונים או את ההעדפות.

הגדרת פקודות מאקרו

כדי להשתמש בפקודת מאקרו לערך של מאפיין פלאגין, פועלים לפי השלבים הבאים:

  1. ב-Cloud Data Fusion Studio, נכנסים לצומת הפלאגין ולוחצים על Properties.
  2. עוברים לשדה שבו רוצים להשתמש בפקודת מאקרו ולוחצים על M ליד השדה.
  3. מזינים מקש לפקודת המאקרו. לדוגמה, במאפייני הפלאגין של מקור הקובץ, מזינים את המפתח הבא בשדה Format: ‏${format.type}.

הגדרת ערכי מאקרו

צריך להגדיר ערכים לפקודות מאקרו לפני שצופים בתצוגה מקדימה של נתונים בצינור עיבוד נתונים ולפני שמריצים צינור עיבוד נתונים. אפשר להגדיר ערכי מאקרו במקומות הבאים:

  • פלאגינים להגדרת ארגומנטים
  • ארגומנטים של זמן ריצה
  • העדפות לגבי האפליקציה
  • העדפות לגבי מרחב השמות
  • העדפות המערכת

כשמריצים צינור עיבוד נתונים עם פקודות מאקרו, מתבצעות הפעולות הבאות:

  • ‫Cloud Data Fusion בודק קודם אם צינור עיבוד הנתונים כולל פלאגין להגדרת ארגומנטים:
    • אם יש לו מגדיר ארגומנטים, Cloud Data Fusion משתמש בערכים של פקודות המאקרו ממנו.
    • אם אין מגדיר ארגומנטים, או אם יש פקודות מאקרו שלא הוקצו במגדיר הארגומנטים, Cloud Data Fusion משתמש בערכים שבארגומנטים של זמן הריצה של צינור עיבוד הנתונים.
  • ארגומנטים של זמן ריצה יורשים פקודות מאקרו מהעדפות האפליקציה.
  • העדפות האפליקציה יורשות פקודות מאקרו מהעדפות מרחב השמות
  • העדפות מרחב השמות יורשות פקודות מאקרו מהעדפות המערכת.

דוגמאות

שימוש נפוץ בפקודות מאקרו הוא בשדות של נתיבים. במקום להשתמש בנתיבים שמוגדרים ברמת הקוד, אתם יכולים להשתמש בנתיבים דינמיים. לדוגמה, בפלאגין של מקור ב-Cloud Storage, אתם יכולים להחליף את ערך הנתיב בכמה פקודות מאקרו. הערך הבא מפריד בין רכיבי הקטגוריה, התיקייה והקובץ: gs://${bucket.name}/${folder}/${file.name}.

בדוגמה הבאה, הנתונים נטענים מקטגוריה סטטית ומקובץ עם שם לא סטטי. מזינים את שם הקטגוריה ומשתמשים בפקודת מאקרו לשם הקובץ: gs://<BUCKET_NAME>/${folder}/${file.name}.

מידע נוסף זמין במאמר פקודות מאקרו ופונקציות מאקרו.

הגדרת העדפות

בקטע הבא מתוארת היררכיית ההעדפות, שבה ההעדפות מוגדרות, עוברות בירושה או מוחלפות.

הגדרת העדפות המערכת

אתם יכולים להגדיר העדפות למערכת. מכיוון ששמות פקודות המאקרו חייבים להיות ייחודיים, כל העדפה חלה על כל צינורות עיבוד הנתונים שמשתמשים בפקודת המאקרו הזו.

לדוגמה, יש לכם צינור עיבוד נתונים עם מקור מסד נתונים, ואתם משתמשים בפקודות מאקרו לשם של מסד הנתונים ולשם המשתמש. אפשר להגדיר העדפות למסד הנתונים ולשם המשתמש בהעדפות המערכת. כל מרחב שמות וכל צינור עיבוד נתונים במכונה הזו יורשים את ההעדפות האלה.

כדי להגדיר את העדפות המערכת, פועלים לפי השלבים הבאים:

  1. ב-Cloud Data Fusion Studio, לוחצים על System admin > Configuration.
  2. לוחצים על העדפות מערכת > עריכת העדפות המערכת.
  3. בתיבת הדו-שיח Preferences, מזינים העדפות חדשות או עורכים העדפות קיימות.
  4. לוחצים על Save & Close (שמירה וסגירה). ההעדפות האלה זמינות בכל מרחבי השמות, האפליקציות והצינורות.

הגדרת העדפות למרחב השמות

אתם יכולים להגדיר העדפות למרחבי שמות ספציפיים.

כשמגדירים את העדפות מרחב השמות, מוצגות כל העדפות המערכת שעברו בירושה. כשמגדירים העדפות למרחב שמות, אפשר לשנות את ההעדפות שעברו בירושה על ידי הגדרת ערכים שונים. אפשר גם להוסיף העדפות חדשות למרחב השמות.

כדי להגדיר את ההעדפות של מרחב השמות, פועלים לפי השלבים הבאים:

  1. ב-Cloud Data Fusion Studio, לוחצים על System admin > Configuration.
  2. לוחצים על Namespaces ובוחרים מרחב שמות כדי לפתוח את דף ההגדרות שלו.
  3. כדי לערוך את ההעדפות שעברו בירושה או להוסיף העדפות חדשות, עוברים אל הכרטיסייה Preferences ולוחצים על Edit. תיבת הדו-שיח Preferences נפתחת, ואפשר להזין בה העדפה חדשה או לשנות את העדפות המערכת שעברו בירושה. לוחצים על Add ומזינים את המפתח והערך החדש של המאקרו.
  4. לוחצים על Save & Close (שמירה וסגירה). העדפת מרחב השמות נוצרת עם הערך החדש, שמקבל עדיפות על פני העדפת המערכת.

הגדרת העדפות לאפליקציה

אתם יכולים להגדיר העדפות לכל צינור עיבוד נתונים שנפרס במרחב שמות. כשמגדירים את העדפות האפליקציה, מופיעות כל העדפות המערכת ומרחב השמות שעברו בירושה. כשמגדירים העדפות לאפליקציה, אפשר לשנות את ההעדפות שעברו בירושה על ידי הגדרת ערכים שונים, או להוסיף העדפות חדשות לאפליקציה:

  1. ב-Cloud Data Fusion Studio, לוחצים על ועל התפריט Namespace כדי לבחור את מרחב השמות שבו רוצים להוסיף את העדפות האפליקציה.
  2. לוחצים על מרכז הבקרה.
  3. לוחצים על סמל מפתח הברגים הגדרת העדפות. תופיע רשימה של כל ההעדפות שעברו בירושה.
  4. כדי לערוך את ההעדפות שעברו בירושה או להוסיף העדפות חדשות, עוברים אל הכרטיסייה Preferences ולוחצים על Edit. תיבת הדו-שיח Preferences נפתחת, ואפשר להזין בה העדפה חדשה או לשנות את העדפות המערכת שעברו בירושה. לוחצים על Add ומזינים את המפתח והערך החדש של המאקרו.
  5. לוחצים על Save & Close (שמירה וסגירה). העדפת האפליקציה נוצרת עם הערך החדש, שמבטל את העדפות המערכת או מרחב השמות. כשמריצים את צינור עיבוד הנתונים שנפרס, העדפות האפליקציה מופיעות כארגומנטים של זמן ריצה, שאפשר לערוך.

הגדרת ארגומנטים של זמן ריצה

כשפורסים או מריצים צינור עיבוד נתונים, מגדירים ארגומנטים של זמן ריצה כדי לספק ערכים לפקודות מאקרו, ואולי גם לשנות את ההעדפות.

ארגומנטים של זמן ריצה לתצוגה מקדימה של נתונים

כדי להגדיר את הערכים לכל פקודת מאקרו בצינור עיבוד הנתונים כשמציגים את הנתונים בתצוגה מקדימה ב-Cloud Data Fusion Studio, לוחצים על List > Configure.

ארגומנטים של זמן ריצה להפעלת צינורות עיבוד נתונים שנפרסו

אם צינור עיבוד נתונים כולל פקודות מאקרו, אחרי שפורסים את צינור עיבוד הנתונים מוסיפים ארגומנטים של זמן ריצה שמגדירים את הערכים של פקודות המאקרו.

כשפורסים צינור עיבוד נתונים עם פקודות מאקרו, לוחצים על התפריט הנפתח לצד Run כדי לפתוח את תיבת הדו-שיח Runtime arguments ולהגדיר את הערכים לכל פקודת מאקרו.

הגדרת העדפות לצינור עיבוד הנתונים

כדי להגדיר העדפות לצינור עיבוד נתונים:

  1. ב-Cloud Data Fusion Studio, לוחצים על List > Deployed ובוחרים צינור עיבוד נתונים פרוס כדי להציג אותו.
  2. בתפריט הנפתח שליד Run ב-Pipeline canvas, לוחצים על תיפתח תיבת הדו-שיח Runtime arguments.
  3. בתיבת הדו-שיח Runtime arguments שנפתחת, מציינים את הערך של כל פקודת מאקרו בצינור עיבוד הנתונים.

סקירה כללית על העדפות, פקודות מאקרו וארגומנטים של זמן ריצה

אפשר להגדיר העדפות ברמות הבאות:

  • העדפות מערכת: הרמה הגבוהה ביותר שבה מגדירים העדפות, כמו ברירות מחדל, לכל המכונה.
  • העדפות מרחב השמות: יורשות את ההעדפות מהעדפות המערכת. אתם יכולים להגדיר העדפות למרחב שמות ספציפי.
  • העדפות האפליקציה: יורשות את ההעדפות מהעדפות מרחב השמות. הם יכולים להיות ייחודיים לאפליקציות ספציפיות (שמכילות צינורות עיבוד נתונים).
  • ארגומנטים של זמן ריצה: צמדי מפתח/ערך שמחליפים את ההעדפות ברמות גבוהות יותר.

אם מגדירים העדפה ברמת העדפות המערכת, ערכי המאקרו מאוכלסים באופן אוטומטי בהעדפות מרחב השמות, בהעדפות האפליקציה ובארגומנטים של זמן הריצה.

אם מגדירים העדפות ברמת מרחב השמות, הן מופיעות ברשימת ההעדפות שעוברות בירושה בהעדפות של האפליקציה. אם בצינור עיבוד נתונים נעשה שימוש בפקודת מאקרו שמוגדרת בהעדפה, הארגומנטים של זמן הריצה משתמשים בצמד המפתח/ערך שמוגדר בהעדפה. אתם יכולים לשנות את ערכי ההעדפות בכל רמת העדפה ובארגומנטים של זמן הריצה.

אתם יכולים להשתמש בהעדפות, בפקודות מאקרו ובארגומנטים של זמן ריצה בתרחישים הבאים:

  • פיתוח צינור עיבוד נתונים. הטמעת פקודות מאקרו במקומות שבהם נדרשים ערכים דינמיים למאפייני הפלאגין.
  • אופציונלי: הגדרת העדפות. להגדיר ערכי ברירת מחדל לפקודות המאקרו בהעדפות ברמות שונות.
  • פריסה והפעלה של צינור עיבוד נתונים. כשמריצים צינור עיבוד נתונים, קורה הדבר הבא:
    • העדפות ברמה הרלוונטית, כמו העדפות מערכת או העדפות של מרחב שמות, מוחלות.
    • כל ארגומנט בזמן ריצה שתספקו יחליף את הערכים שהוקצו לפקודות המאקרו בהעדפות.
    • ‫Cloud Data Fusion פותר את פקודות המאקרו על ידי החלפת הערכים שלהן מהארגומנטים של זמן הריצה (או מההעדפות אם לא סופק ארגומנט של זמן ריצה).

דוגמה

לצינור עיבוד נתונים יש sink של BigQuery עם ערך של שם טבלה שצריך להשתנות באופן דינמי. כדי להגדיר את זה:

  1. מגדירים את המאקרו. במאפייני הכיור, משתמשים בפקודת המאקרו הבאה בשדה Table name: ${output_table}.
  2. מגדירים את ההעדפה. בהעדפות של האפליקציה, מגדירים העדפה ל-${output_table} עם ערך ברירת המחדל הבא: data_staging.
  3. מגדירים את הארגומנט של זמן הריצה. כשמריצים את צינור עיבוד הנתונים, צריך לספק ארגומנט של זמן ריצה, לדוגמה output_table=final_analytics_data.

במהלך הפעלת צינור עיבוד הנתונים, המאקרו ${output_table}, מוחלף ב-final_analytics_data.

המאמרים הבאים