פריסת הדגמה

ההטמעה של ההדגמה מציעה חוויה יעילה באמצעות קבוצת נתונים לדוגמה מוגדרת מראש. הוא מספק תהליך עבודה מקצה לקצה לפריסת צינורות עיבוד נתונים של Cortex Framework Dataform לניהול, ולאתחול מערכי הנתונים התואמים של BigQuery עם נתונים לדוגמה.

לפני שמתחילים

לפני שממשיכים בהדגמה של הפריסה, צריך לוודא שביצעתם את כל הפעולות הנדרשות שמופיעות בדף דרישות מוקדמות.

קבלת התפקידים וההרשאות הנדרשים ב-IAM

מקבלים את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) כדי לפרוס תוכן של Cortex Framework בפרויקט היעד Google Cloud .

תפקידים בפרויקט היעד

כדי לקבל את ההרשאות שדרושות לפריסת Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט היעד:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

אופציונלי: קבלת תפקידי ה-IAM הנדרשים לפריסת הדגמה באמצעות חשבון שירות

התפקידים הבאים נדרשים רק במקרה של פריסת הדגמה עם הפרמטר האופציונלי --service_account מופעל. הוספת חשבון שירות במהלך פריסת ההדגמה מפשטת את הביצוע של צינורות הנתונים אחרי הפריסה, כי היא מאפשרת ליצור תזמון של תהליכי עבודה. התפקידים האלה לא נדרשים לפריסות ללא הגדרת --service_account.

כדי לקבל את ההרשאות שנדרשות לפריסת ההדגמה של Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Service Account Token Creator (roles/iam.serviceAccountTokenCreator) בפרויקט המקור ובפרויקט היעד. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

פריסה

כדי ליצור סביבת Python וירטואלית, לסנכרן את התלות ולהפעיל את צינורות הנתונים: חשוב לזכור להשתמש בסקריפטים של Cortex Framework uv כדי ליצור ולדחוף את נכסי הנתונים לפרויקט Google Cloud , וכך להפוך את ההגדרות המקומיות לארכיטקטורת נתונים פעילה וניתנת להרחבה. מידע נוסף זמין בקטע uvהתקנה במאמר דרישות מוקדמות.

ביצוע פריסת ההדגמה

מריצים את הפקודה הבאה כדי להפעיל את הפריסה. במהלך התהליך הזה יבוצעו הפעולות הבאות:

  • מוודאים שכל התנאים המוקדמים מתקיימים.
  • טוענים נתונים לדוגמה למערך נתונים ב-BigQuery כדי שישמשו כשכבת הנתונים הגולמיים לצורכי הדגמה.
  • פיתוח צינורות Dataform לעיבוד הנתונים לדוגמה דרך שכבות הנתונים של Cortex Framework.
  • יוצרים את מאגר Dataform וסביבת העבודה, ואז מסנכרנים את הארטיפקטים המהודרים עם המאגר.
  • יוצרים תזמון לתהליך העבודה ומפעילים את ההרצה הראשונית של תהליך העבודה ב-Dataform.

כדי לבצע פריסת הדגמה בלי חשבון שירות, מריצים את הפקודה הבאה:

uv run cortex-demo --project_id=PROJECT_ID

כדי לבצע פריסת הדגמה באמצעות חשבון שירות, מריצים את הפקודה הבאה:

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

מידע נוסף זמין במאמרים בנושא מיקומים נתמכים ב-BigQuery ואזורים נתמכים ב-Dataform.

הדגמה של פריסה באמצעות CLI: אפשר להציג רשימה של פרמטרים אפשריים באמצעות הפקודה uv run cortex-demo -h. מידע נוסף מופיע במאמר פריסת הדגמה של CLI Cortex Framework.

אימות

אחרי שהפריסה מסתיימת:

  1. פותחים את Dataform כדי לבדוק את הקוד החדש שנוצר במאגר:

    1. נוצר מאגר Dataform.
    2. נוצרה סביבת פיתוח של Dataform.
    3. קוד שעבר קימפול וסונכרן.

  2. להפעיל פעולות Dataform:

    1. פותחים את סביבת העבודה של Dataform.
    2. לוחצים על התחלת ההרצה.
    3. לוחצים על Execute actions (ביצוע פעולות).
    4. לוחצים על כל הפעולות.

    5. לוחצים על התחלת ההרצה.

    6. מעקב אחר ההפעלה המוצלחת של כל הפעולות במאגר Dataform.

  3. עוברים אל מסוף BigQuery כדי לראות את מערכי הנתונים שנוצרו, ובודקים את הסכימה והנתונים. מערכי נתונים שנוצרו:

    • ‫cortex_demo_sap_ecc_raw: קבוצת הנתונים הזו מכילה את הנתונים הגולמיים ממערכת המקור (בדוגמה הזו, SAP S/4HANA).
    • ‫cortex_demo_sap_ecc_data_foundation: קבוצת הנתונים הזו מייצגת את שכבת הבסיס של הנתונים, שבה מתבצע עיבוד CDC של נתונים גולמיים מהשכבה הגולמית.
    • ‫cortex_demo_data_product: קבוצת הנתונים הזו מכילה את מוצרי הנתונים של ההדגמה – תצוגות או טבלאות מעודנות ובעלות ביצועים גבוהים שמיועדות לשימוש על ידי משתמשי קצה.