מדריך פריסה

בדף הזה מוסבר איך לפרוס את Cortex Framework בפריסות של נתיב הייצור.

לפני שמתחילים

לפני שממשיכים בהטמעה, חשוב לוודא שהשלמתם את כל הדרישות המוקדמות שמפורטות בדף דרישות מוקדמות.

לפני שמפעילים את Cortex Framework, בוחרים ומכינים את השילוב של מערכת המקור.

הגדרת תפקידים ב-IAM

מגדירים את ההרשאות הנדרשות בממשק לניהול זהויות והרשאות גישה (IAM) כדי לפרוס תוכן של Cortex Framework בפרויקטים הנדרשים ב- Google Cloud .

תפקידים בפרויקט בנייה

כדי לקבל את ההרשאות שנדרשות לבניית Cortex Framework, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד BigQuery Data JobUser (roles/bigquery.jobUser) בפרויקט הבנייה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי להעניק למשתמש את התפקידים המבוקשים, אפשר להשתמש בסקריפט:

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

תפקידים בפרויקט המקור

כדי לקבל את ההרשאות שנדרשות לפריסת Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט המקור. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

תפקידים בפרויקטים של יעד

כדי לקבל את ההרשאות שדרושות לפריסת Cortex Framework, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקטים של היעד:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי להעניק למשתמש את התפקידים המבוקשים, אפשר להשתמש בסקריפט:

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

הגדרת הפריסה

לפני הפריסה, השכבות של בסיס הנתונים ושל מוצר הנתונים מוגדרות באמצעות גישה מרכזית של הגדרה כקוד. ב-Cortex Framework משתמשים בקובץ config/config.yaml כדי להגדיר את הפריסה של Cortex Framework. מומלץ ליצור עותק של config/config.yaml.example כנקודת התחלה. הקובץ הזה מכיל את המיפוי החיוני בין נתוני המקור לבין סביבת היעד Google Cloud הגדרה נכונה מבטיחה ש-Cortex Framework יידע בדיוק איפה למצוא את הנתונים הגולמיים ואיפה ליצור את השכבות שמתקבלות.

כדי שהפריסה של Cortex Framework תתבצע בהצלחה, צריך להוסיף את הערכים הבאים:

  • ‫YOUR_BUILD_PROJECT_ID: הפרויקט שבו מתבצעת תזמור הפריסה ומופעלים סקריפטים של uv.
  • ‫YOUR_SOURCE_PROJECT_ID: הפרויקט שמכיל את נתוני המקור הגולמיים.
  • ‫YOUR_TARGET_PROJECT_ID: פרויקט היעד שבו יאוחסנו מוצרי הנתונים ומערכי הנתונים ב-BigQuery אחרי העיבוד.
  • ‫YOUR_REPO_PROJECT_ID: הפרויקט שמארח את מאגר Dataform ואת ארטיפקטים הפריסה.

מידע מפורט על קובץ ההגדרות זמין במאמר הגדרות הפריסה.

ביצוע פריסה

מריצים את הפקודה הבאה כדי להפעיל את הפריסה של Cortex Framework. במהלך התהליך הזה יבוצעו הפעולות הבאות:

  • מוודאים שכל התנאים המוקדמים מתקיימים.
  • מתחברים למערך הנתונים הגולמי, ועל סמך פרטי הסכימה, יוצרים ומקמפלים את הסקריפטים של .sqlx.
  • יוצרים את מאגר Dataform ואת סביבת העבודה, ואז מסנכרנים את הארטיפקטים המהודרים עם המאגר.
uv run cortex-build-and-deploy --config config/config.yaml

פרמטרים של CLI להרצת uv cortex-build-and-deploy: אם רוצים, אפשר להריץ את הפקודה uv run cortex-build-and-deploy -h כדי להציג רשימה של פרמטרים אפשריים שנתמכים על ידי הסקריפט cortex-demo. מידע נוסף זמין במאמר CLI Cortex Framework uv run cortex-build-and-deploy.

אפשרויות של שורת הפקודה

ממשק שורת הפקודה (CLI) של uv run תומך בפעולות הבאות:

  • ‫uv run cortex-build: מריץ קומפילציה של סביבת העבודה של Dataform, מתרגם הגדרות YAML ותבניות SQLX/JS לנכסי Dataform שניתן לפרוס. מידע נוסף זמין במאמר בנושא CLI Cortex build.
  • ‫uv run cortex-deploy: מעלה את הנכסים המהודרים אל סביבת העבודה של Dataform. מידע נוסף זמין במאמר CLI Cortex deploy.
  • ‫uv run cortex-build-and-deploy: משלב את ההידור (compilation) והדחיפה של נכסי ה-build לסביבת העבודה של Dataform. מידע נוסף זמין במאמר CLI Cortex build and deploy.

השלבים הבאים