שלב 6: הפעלת הפריסה
בדף הזה מתואר השלב השישי בפריסה של Cortex Framework Data Foundation, ליבת Cortex Framework. בשלב הזה, מריצים את הפריסה של Cortex Framework Data Foundation.
תהליך ה-build
אחרי שמגדירים את הקובץ config.json כמו שמתואר בשלב 5: הגדרת הפריסה, פועלים לפי ההוראות האלה כדי ליצור את התהליך.
מריצים את הפקודה הבאה כדי לעבור למיקום שלכם במאגר המשוכפל:
cd cortex-data-foundationמריצים את פקודת ה-build עם קטגוריית היומן של היעד:
gcloud builds submit \ --substitutions=_GCS_BUCKET=LOGS_BUCKET_NAME,_BUILD_ACCOUNT='projects/SOURCE_PROJECT/serviceAccounts/CLOUD_BUILD_SA@SOURCE_PROJECT.iam.gserviceaccount.com'מחליפים את מה שכתוב בשדות הבאים:
-
LOGS_BUCKET_NAMEבשם הקטגוריה לאחסון יומנים. לחשבון השירות של Cloud Build צריכה להיות גישת כתיבה למיקום הזה. -
SOURCE_PROJECTבפרויקט המקור. -
CLOUD_BUILD_SAמחליפים במזהה של חשבון השירות של Cloud Build שנוצר בשלב 4 של הפריסה.
-
כדי לעקוב אחרי תהליך build העיקרי, אפשר לעיין ביומנים במסוף או במסוף Cloud Build, אם יש לכם מספיק הרשאות. לעיון נוסף, אפשר להסתכל על התמונות הבאות.
איור 1. דוגמה לצפייה בהתקדמות של יומנים בטרמינל. 
איור 2. דוגמה לצפייה בהתקדמות של יומנים במסוף. לעקוב אחרי השלבים של בניית פרויקט צאצא שהופעלו ממסוף Cloud Build או ביומנים שנוצרו מהשלבים. למטה אפשר לראות תמונות נוספות לדוגמה.
איור 3. דוגמה למעקב אחרי שלבי בנייה של צאצא במסוף. 
איור 4. דוגמה למעקב אחרי שלבי בנייה של צאצא ביומנים. זיהוי בעיות בגרסאות build ספציפיות. מתקנים את השגיאות, אם יש כאלה. מומלץ להדביק את ה-SQL שנוצר ב-BigQuery כדי לזהות ולתקן את השגיאות. רוב השגיאות קשורות לשדות שנבחרו, אבל לא מופיעים במקור המשוכפל. ממשק המשתמש של BigQuery עוזר לזהות אותם ולהוסיף להם הערות.
איור 5. דוגמה לזיהוי בעיות באמצעות יומני Cloud Build.
העברת קבצים ל-DAG bucket של Managed Service for Apache Airflow (Airflow)
אם בחרתם ליצור קובצי שילוב או קובצי CDC ויש לכם מופע של Managed Airflow (Airflow), אתם יכולים להעביר אותם אל הדלי הסופי באמצעות הפקודה הבאה:
gcloud storage -m cp -r gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
gcloud storage -m cp -r gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/
מחליפים את מה שכתוב בשדות הבאים:
-
OUTPUT_BUCKETעם קטגוריית הפלט. -
COMPOSER_DAG_BUCKETעם קטגוריית ה-DAG של Managed Airflow (Airflow).
התאמה אישית והכנה לשדרוג
ללקוחות רבים של מהדורות Enterprise יש התאמות אישיות ספציפיות של המערכות שלהם, כמו מסמכים נוספים בתהליך או סוגים ספציפיים של רשומות. ההגדרות האלה ספציפיות לכל לקוח ומוגדרות על ידי אנליסטים פונקציונליים לפי הצורך העסקי.
Cortex משתמש בתגי ## CORTEX-CUSTOMER בקוד כדי לציין מקומות שבהם סביר שיידרשו התאמות אישיות כאלה. כדי לבדוק את כל התגובות של ## CORTEX-CUSTOMER שצריך להתאים אישית, משתמשים בפקודה grep -R CORTEX-CUSTOMER.
בנוסף לתגי CORTEX-CUSTOMER, יכול להיות שתצטרכו לבצע התאמה אישית נוספת של התגים הבאים על ידי ביצוע (commit) של כל השינויים האלה עם תג ברור בקוד למאגר משלכם שנוצר באמצעות fork או שיבוט:
- הוספת כללים עסקיים.
- הוספה של מערכי נתונים אחרים וצירוף שלהם לתצוגות או לטבלאות קיימות
- שימוש חוזר בתבניות שסופקו כדי לקרוא לממשקי API נוספים.
- שינוי סקריפטים של פריסה.
- התאמה של חלק מהטבלאות או ממשקי ה-API של דפי הנחיתה כדי לכלול שדות נוספים שלא נכללים בתקן.
כדי לוודא שהשיפורים האלה נבדקים ושהפתרון הכולל נמצא במצב אמין ויציב, מומלץ לאמץ צינור CI/CD שמתאים לארגון שלכם. אפשר להשתמש מחדש בסקריפטים cloudbuild.yaml
בצינור כדי להפעיל פריסה מקצה לקצה באופן תקופתי, או על סמך פעולות git, בהתאם למאגר שבחרתם, על ידי אוטומציה של בנייה.
משתמשים בקובץ config.json כדי להגדיר קבוצות שונות של פרויקטים ושל מערכי נתונים לסביבות פיתוח, Staging וייצור. כדאי להשתמש בבדיקות אוטומטיות עם נתונים לדוגמה משלכם כדי לוודא שהמודלים תמיד יפיקו את מה שאתם מצפים.
תיוג גלוי של השינויים שלכם בפיצול או בשכפול של מאגר, יחד עם אוטומציה של פריסה ובדיקות, עוזר לבצע שדרוגים.
תמיכה
אם נתקלתם בבעיות או שיש לכם בקשות לתכונות שקשורות למודלים או לכלי הפריסה האלה, אתם יכולים ליצור בעיה במאגר Cortex Framework Data Foundation. כדי לעזור באיסוף המידע הנדרש, מריצים את הפקודה support.sh מהספרייה המשוכפלת. הסקריפט הזה
כולל סדרה של שלבים שיעזרו לכם לפתור את הבעיה.
לכל בקשה או בעיה שקשורות ל-Cortex Framework, אפשר לעבור לקטע תמיכה בדף הסקירה הכללית.
בלוקים ומרכזי בקרה של Looker
כדאי להשתמש ב-Looker Blocks וב-Dashboards שזמינים. אלה בעצם מודלים של נתונים שאפשר לעשות בהם שימוש חוזר לדפוסי ניתוח נפוצים ולמקורות נתונים עבור Cortex Framework. מידע נוסף זמין במאמר סקירה כללית על Looker Blocks ועל מרכזי בקרה.