עריכת צינורות

בדף הזה מוסבר איך לערוך צינורות נתונים באצווה שנפרסו ב-Cloud Data Fusion.

עריכת צינור מאפשרת לכם:

  • הוספה הדרגתית של תכונות לצינור שפרסתם בלי ליצור כפילויות. לדוגמה, אתם יכולים להוסיף, להסיר או לשנות תוספים, ואז לפרוס מחדש את צינור הנתונים. עריכה של תהליך מכירות יוצרת גרסה חדשה של אותו תהליך מכירות, וכך נמנעת התרבות של תהליכי מכירות, ומתאפשרת ארגון טוב יותר. כשמשכפלים צינור, נוצר צינור חדש עם שם אחר.
  • שמירה של היסטוריית הגרסאות הערוכות.
  • הצגה ושחזור של גרסאות ישנות של צינור.
  • עריכה של כל חלק בצינור, כמו מבנה הצינור, ההגדרה, המטא-נתונים, ההעדפות והתגובות.
  • ייצוא של קובץ JSON ערוך לצורך פריסה של צינור.

כשעורכים את צינור הנתונים, Cloud Data Fusion יוצר טיוטה חדשה, שהופכת לגרסה האחרונה. השם של הצינור לא משתנה. מפתחים את הפייפליין באופן איטרטיבי, בלי ליצור פייפליינים כפולים עם שמות ייחודיים. הגרסה העדכנית שומרת את הטריגרים, את ההגדרות של צינור הנתונים, את הארגומנטים של זמן הריצה, את המטא-נתונים, את התגובות ואת לוחות הזמנים מהגרסה הקודמת. הגרסה האחרונה היא הגרסה הפעילה של צינור העיבוד: אפשר להריץ אותה או לתזמן את ההרצה שלה.

לפני שמתחילים

  • ב-Cloud Data Fusion יש תמיכה בעריכה של צינורות נתונים באצווה שנפרסו בגרסה 6.9.1 ואילך. כדי לשדרג לגרסה העדכנית, אפשר לעיין במאמר בנושא שדרוג סביבת Cloud Data Fusion.
  • ‫Cloud Data Fusion לא תומך בעריכה של צינורות בזמן אמת או של משימות שכפול שנפרסו.

עריכת הפייפליין

כדי לערוך פייפליין באצווה שנפרס ב-Cloud Data Fusion, פועלים לפי השלבים הבאים:

  1. עוברים למופע:

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. לוחצים על רשימה > פריסה.

  3. עוברים לצינור שרוצים לערוך ולוחצים על סמל האפשרויות הנוספות > עריכה.

    טיוטה חדשה של צינור העיבוד מופיעה בדף Studio.

  4. עורכים את הפייפליין. לדוגמה, מוסיפים צומת חדש של ניתוח נתונים או עורכים את המאפיינים של מקור.

  5. אופציונלי: כדי לסיים את העריכה של צינור הנתונים מאוחר יותר, לוחצים על שמירה.

  6. אחרי שמסיימים לערוך את צינור הנתונים, לוחצים על פריסה.

  7. בתיבת הדו-שיח Enter change summary (הזנת סיכום שינויים), מזינים תיאור של השינויים שביצעתם בצינור ומקליקים על Deploy (פריסה). צינור עיבוד הנתונים לפריסה ייפתח בדף Pipeline.

הצגה או שחזור של גרסה קודמת של הצינור

כדי להציג או לפרוס גרסה קודמת של צינור להעברת נתונים באצווה, פועלים לפי השלבים הבאים:

  1. פותחים את המכונה בממשק של Cloud Data Fusion.
  2. לוחצים על רשימה > פריסה.
  3. בוחרים צינור. הצינור מופיע בדף Pipeline.

  4. לוחצים על היסטוריה.

    תוצג רשימה של היסטוריית הגרסאות.

  5. אופציונלי: כדי לראות גרסה קודמת של צינור, לוחצים על תצוגה.

  6. אופציונלי: כדי לשחזר גרסה ישנה יותר של צינור העיבוד לגרסה האחרונה, לוחצים על שחזור.

    ‫Cloud Data Fusion יוצר גרסה חדשה של צינור עיבוד הנתונים ופותח אותה בדף Pipeline. עכשיו זו הגרסה העדכנית ביותר.

ייצוא של גרסה ערוכה של צינור לעיבוד נתונים שהופעל

אפשר לייצא את הגרסה הערוכה של צינור הנתונים שפרסתם כקובץ JSON כדי לשתף אותו עם מפתחים אחרים, להוסיף אותו לבקרת גרסאות או להעביר אותו מסביבת פיתוח לסביבת בדיקה או ייצור. לדוגמה, אחרי שאתם עורכים צינור נתונים בשלבי הפיתוח והניפוי באגים, אתם מייצאים את קובץ ה-JSON, ואז מייבאים אותו ומפריסים אותו בסביבת ייצור.

ייצוא הגרסה האחרונה

כדי לייצא את הגרסה האחרונה של צינור הנתונים, פועלים לפי השלבים הבאים:

  1. פותחים את המכונה בממשק של Cloud Data Fusion.
  2. לוחצים על רשימה > פריסה.

  3. בוחרים את צינור הנתונים שרוצים לייצא ולוחצים על עוד > ייצוא.

    קובץ JSON עם הגדרות הצינור מהגרסה האחרונה נשמר באופן מקומי.

ייצוא של גרסה קודמת

כדי לייצא גרסאות קודמות של צינור העיבוד:

  1. פותחים את המכונה בממשק של Cloud Data Fusion.
  2. לוחצים על רשימה > פריסה.
  3. בוחרים את הצינור. הגרסה העדכנית תיפתח בדף Pipelines.
  4. לוחצים על היסטוריה.
  5. בוחרים את הגרסה של צינור הנתונים שרוצים לייצא ולוחצים על View (תצוגה) > Actions (פעולות) > Export (ייצוא).

ייבוא של גרסה ערוכה של צינור לעיבוד נתונים שהופעל

כל צינורות הנתונים מיוצאים במצב Draft. גם גרסאות ערוכות של צינורות שפריסה שלהם הושלמה מיובאות במצב Draft. מידע נוסף זמין במאמר בנושא ייבוא צינור.

מחיקה של גרסה ערוכה של צינור עיבוד נתונים

כשמוחקים את הגרסה האחרונה של צינור שפריסתו הושלמה, כל הגרסאות של צינור הפריסה נמחקות. גרסאות טיוטה לא נמחקות.

במקום זאת, לגרסת צינור העיבוד בטיוטה יש סטטוס Orphaned (יתום). כדי לשנות את הסטטוס הזה, צריך לפרוס את צינור העיבוד של הטיוטה. ‫Cloud Data Fusion יוצר צינור חדש, שהוא הגרסה העדכנית.

סטטוסים של צינורות עיבוד נתונים שנערכו

כשעורכים צינורות, הסטטוסים הבאים עשויים להופיע בדף טיוטות של צינורות.

סטטוס תיאור
בתהליך שמרתם עריכות בצינור.
Orphaned הגרסה האחרונה של צינור הנתונים נמחקה, והטיוטות שמשויכות אליה כבר לא שייכות לצינור נתונים קיים. הסטטוס הזה יכול להופיע אם מישהו מוחק את צינור הנתונים עם נקודת הקצה הבאה: DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID .
לא רלוונטי גרסה חדשה יותר נפרסה בזמן שהתבצעו עריכות. יכול להיות שהסטטוס הזה יוצג אם מפתח אחר יפרוס את צינור העברת הנתונים לפני שתסיימו לערוך. זהה לערך Draft Out of Date שמופיע בדף Pipeline.

כשעורכים צינורות, הסטטוסים הבאים עשויים להופיע בדף Studio.

סטטוס תיאור
העריכה מתבצעת אתם עורכים טיוטה של צינור עיבוד נתונים.
טיוטה ללא בעלים מישהו פרס גרסה חדשה יותר בזמן שערכתם את צינור הנתונים.

המאמרים הבאים