השלבים אחרי הפריסה

בדף הזה מוסבר איך לבצע את השלבים שלאחר הפריסה של Cortex Framework כדי להריץ את צינורות הנתונים ולאמת את התוצאות.

אחרי שמריצים את הפריסה, כל תבניות הטרנספורמציה וההגדרות עוברות קומפילציה ונפרסות במאגר היעד של Dataform. עם זאת, כדי להפוך את הטבלאות והתצוגות למוחשיות ב-BigQuery, צריך קודם להריץ את פעולות צינור הנתונים של Dataform.

הפעלת הטרנספורמציות ב-Dataform

כשמריצים את צינור עיבוד הנתונים, מתחיל תהליך ההמרה של נתונים גולמיים לשכבות בסיס נתונים ולמוצרי נתונים סטנדרטיים שמוכנים לשימוש מיידי בעסק.

אתם יכולים להפעיל פעולות באופן ידני ב Google Cloud מסוף לצורך אימות, או להגדיר לוחות זמנים חוזרים לייצור.

הרצה ידנית לאימות

כדי להריץ אימות ידני של כל צינור הנתונים בסביבת העבודה של Dataform, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .
2. מוודאים שבחרתם את Google Cloud הפרויקט הנכון מהתפריט הנפתח של הפרויקטים.
3. לוחצים על השם של המאגר שנוצר במהלך הפריסה (לדוגמה, cortex).
4. לוחצים על שם סביבת העבודה (לדוגמה, cortex).
5. לוחצים על התחלת ההרצה.
6. לוחצים על Execute actions (ביצוע פעולות).
7. בוחרים באפשרות כל הפעולות. אפשר גם לבחור קבוצות משנה מרכזיות של טרנספורמציות על ידי בחירה של תגים או פעולות ספציפיים.
8. לוחצים על התחלת ההרצה.

אימות ההרצה

כדי לעקוב אחרי ההתקדמות ולבדוק אם צינור הנתונים הושלם בהצלחה, פועלים לפי השלבים הבאים:

1. לוחצים על הכרטיסייה Executions (הרצות) כדי לראות את היסטוריית ההרצות.
2. מוודאים שהסטטוס הוא הושלם בהצלחה.
3. לוחצים על הקישור של הרצת הביצוע כדי לבדוק פרטים של פעולות ספציפיות, שגיאות קומפילציה או תזמוני ביצוע.

בדיקת נכסי נתונים ב-BigQuery

אחרי שהצינור של Dataform מופעל בהצלחה, מאמתים את מערכי הנתונים שנוצרו ומסתכלים על הטבלאות שנוצרו ב-BigQuery.

1. עוברים אל BigQuery במסוף Google Cloud .
2. מאתרים את מערכי נתוני היעד שהוגדרו בקובץ config.yaml (לדוגמה, מערך הנתונים שמזוהה על ידי datasetId ברשומה data.targets שאליה מתייחס המודול dataTargetId). לדוגמה, בהגדרות התבנית יכול להיות שיופיעו:
   • שכבת בסיס הנתונים: מחפשים את מערך הנתונים שתואם למזהה יעד הבסיס (מוגדר כ-cortex7_sap_data_foundation כברירת מחדל).
   • שכבת מוצרי הנתונים: מחפשים את מערך הנתונים שתואם למזהה היעד של המוצר (מוגדר כ-cortex7_data_products כברירת מחדל).
3. צריך להציג תצוגה מקדימה של הטבלאות ולהריץ שאילתות לדוגמה כדי לוודא שהן מאוכלסות ברשומות הצפויות.

השלבים הבאים

עכשיו שמערכות הנתונים שלכם פועלות, אתם יכולים לבדוק:

• פריסת דוגמאות לתרחישי צריכה: כדי להגדיר תרחישים עסקיים, אפשר לעיין בדוגמאות למוצרי נתונים של צריכה.
• הרחבת מודל הנתונים: אפשר לעיין במדריך להרחבה כדי להתאים אישית סכימות או ליצור מופעים של מודולים חדשים.