Cortex for Meridian
בדף הזה מפורט תהליך ההכנה של הנתונים והאוטומציה בענן עבור Google Meridian. Cortex Framework ל-Meridian מייעל את בדיקת ההשפעה של התמהיל השיווקי (MMM) בקוד פתוח באמצעות נתונים מכמה רשתות ומכירות. Cortex Framework מפשט את התהליך הזה באמצעות מודלים של נתונים שהוגדרו מראש והפיכת ההפעלה של מודל הקוד הפתוח Meridian לאוטומטית באמצעות שירותים כמו Colab Enterprise ו-Workflows. Google Cloud
אחד מיתרונות המפתח של Google Cloud Cortex Framework הוא לספק בסיס של נתונים ובינה מלאכותית (AI) לבינה ארגונית מהדור הבא, שמאפשרת ניתוח נתונים בתחומים מרכזיים כמו מכירות, שיווק, מילוי הזמנות וניהול מלאי.
Cortex Framework for marketing מספק מדדי ביצועים מרכזיים (KPI) ומדדים חוצי פלטפורמות מדיה. המדדים האלה הם חלק חשוב משלב הכנת הנתונים לפני יצירת המודל, לצורך הפעלת ה-MMM בקוד פתוח האחרון של Google שנקרא Meridian. מפרסמים, סוכנויות ושותפים יכולים להשתמש ב-Google Cloud Cortex Framework Data Foundation כדי להאיץ את תהליך הכנת הנתונים לפני יצירת המודל.
Cortex for Meridian מפשט את תהליך ההכנה של המודל על ידי איסוף ושינוי נתונים ממקורות נתונים של Cortex Framework, כולל:
מידע נוסף מופיע במאמרי העזרה של Meridian.
קובץ תצורה
במהלך ההרצה של מחברת, המערכת מאחזרת פרמטרים של תצורה מהקובץ cortex_meridian_config.json שנמצא בתיקייה configuration ב-Cloud Storage.
בקטע הבא מופיעות דוגמאות לקובצי YAML שונים של הגדרות להרצת Meridian:
מכירות
דוגמה לקובץ YAML של הגדרות למכירות כמדדי KPI:
{
"cortex_bq_project_id": "PROJECT_ID",
"cortex_meridian_marketing_data_set_id": "K9_REPORTING",
"cortex_meridian_marketing_view_name": "CrossMediaSalesInsightsWeeklyAgg",
"column_mappings": {
"controls": [],
"geo": "geo",
"kpi": "number_of_sales_orders",
"media": [
"Tiktok_impression",
"Meta_impression",
"YouTube_impression",
"GoogleAds_impression"
],
"media_spend": [
"Tiktok_spend",
"Meta_spend",
"YouTube_spend",
"GoogleAds_spend"
],
"population": "population",
"revenue_per_kpi": "average_revenue_per_sales_order",
"time": "time"
},
"channel_names": [
"TikTok",
"Meta",
"YouTube",
"GoogleAds"
],
"data_processing": {
"kpi_type": "{USE_CASE_SPECIFIC}",
"roi_mu": {USE_CASE_SPECIFIC},
"roi_sigma": {USE_CASE_SPECIFIC},
"sample": {
"prior": {USE_CASE_SPECIFIC},
"posterior": {
"n_chains": {USE_CASE_SPECIFIC},
"n_adapt": {USE_CASE_SPECIFIC},
"n_burnin": {USE_CASE_SPECIFIC},
"n_keep": {USE_CASE_SPECIFIC}
}
}
}
}
המרות
דוגמאות לקובצי YAML של הגדרות להמרות כמדדי KPI:
...
"kpi": "conversions",
"revenue_per_kpi": "",
...
בטבלה הבאה מתואר הערך של כל פרמטר הגדרה
מתוך קובץ cortex_meridian_config.json:
| פרמטר | משמעות | ערך ברירת המחדל | תיאור |
cortex_bq_project_id
|
פרויקט עם מערכי הנתונים של Cortex Framework. | {PROJECT_ID}
|
מזהה הפרויקט Google Cloud . |
cortex_meridian_marketing_data_set_id
|
מערך נתונים ב-BigQuery עם Cortex לתצוגת Meridian. | ערך ההגדרה של k9.datasets.reporting בקובץ config.json.
|
מערך הנתונים שמכיל את התצוגה cortex_meridian_marketing_view_name.
|
cortex_meridian_marketing_view_name
|
תצוגה ב-BigQuery עם Cortex לנתוני שיווק ומכירות של Meridian. | "CrossMediaSalesInsightsWeeklyAgg"
|
התצוגה שמכילה נתונים שיווקיים ומכירות מצטברים שבועיים. |
column_mappings.controls
|
אופציונלי: יכול להכיל את המשתנים המבלבלים שיש להם השפעה סיבתית גם על מדד הביצועים המרכזי וגם על מדד המדיה. | []
|
לפרטים על בניית מודלים של נתוני Meridian לגבי משתני בקרה, אפשר לעיין במאמר בנושא משתני בקרה. |
column_mappings.geo
|
העמודות שמספקות מידע גיאוגרפי. | "geo"
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.kpi
|
יעד ה-KPI של המודל. | "number_of_sales_orders" או 'conversions" '.
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.media
|
מערך של עמודות שמספקות חשיפות לערוץ. | [
"Tiktok_impression",
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.media_spend
|
עמודות שמציגות את ההוצאות בערוץ. | [
"Tiktok_spend",
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.population
|
האוכלוסייה בכל מיקום גיאוגרפי. | "population"
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.revenue_per_kpi
|
ההכנסה הממוצעת ליחידת KPI. | "average_revenue_per_sales_order" או ""
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
column_mappings.time
|
העמודה של השעה – תחילת השבוע (יום שני). | "time"
|
פרטים על מודלים של נתונים ב-Meridian זמינים במאמר איסוף וארגון הנתונים. |
channel_names
|
מערך של שמות ערוצים. | [
"TikTok",
|
השמות שמשמשים לערוץ – אינדקס צריכים להיות זהים לערכים column_mappings.media
וcolumn_mappings.media_spend.
|
data_processing.kpi_type
|
יכול להיות שה-KPI הוא הכנסה או KPI אחר שאינו הכנסה. אפשר להשתמש גם בסוג KPI שאינו קשור להכנסות, גם אם בסופו של דבר ההכנסה היא ה-KPI. | "{USE_CASE_SPECIFIC}"
|
פרטים על מודל הנתונים של Meridian עבור KPI מופיעים במאמר בנושא KPI. |
data_processing.roi_mu
|
התפלגות פריורית על החזר ה-ROI של כל ערוץ מדיה. roi_mu
(בשימוש עם ROI_M ב-Notebook).
|
{USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API. |
data_processing.roi_sigma
|
התפלגות פריורית של החזר ה-ROI של כל ערוץ מדיה roi_sigma
(בשימוש עם ROI_M במחברת).
|
{USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API. |
data_processing.sample.prior
|
מספר הדגימות שנלקחו מההתפלגות הפריורית. | {USE_CASE_SPECIFIC}
|
כדי לקבל פרטים על עיבוד נתונים ב-Meridian, חשוב לקרוא ולהבין את המאמרים הבאים: הגדרות ברירת מחדל קודמות של פרמטרים והפניית API. |
data_processing.sample.posterior.n_chains
|
מספר שרשראות ה-MCMC. | {USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API |
data_processing.sample.posterior.n_adapt
|
מספר הניסיונות להתאמה לכל שרשרת. | {USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API. |
data_processing.sample.posterior.n_burnin
|
מספר הניסיונות לשרשרת. | {USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API. |
data_processing.sample.posterior.n_keep
|
מספר הניסיונות לכל שרשרת שצריך לשמור להסקת מסקנות. | {USE_CASE_SPECIFIC}
|
כדי להבין איך מתבצע עיבוד הנתונים ב-Meridian, חשוב לקרוא את המאמרים הבאים: הגדרת המודל והפניה ל-API. |
תאימות ל-Meridian
התשתית של Cortex Framework Data Foundation ו-Meridian מופצות בנפרד. בהערות לגבי הגרסה של Cortex Framework מופיעה סקירה כללית של הגרסאות שלו. ב-Meridian's GitHub repository אפשר לראות את הגרסאות האחרונות של Meridian שזמינות. הדרישות המוקדמות של Meridian וההמלצות למערכת זמינות במדריך למשתמש של Meridian.
הגרסאות של Cortex Framework Data Foundation נבדקות עם גרסה ספציפית של Meridian. אפשר למצוא את Meridian התואם ב-notebook של Jupyter, כמו שמוצג בתמונה הבאה:

כדי לעדכן לגרסה חדשה יותר של Meridian, משנים את השורה המתאימה בנוטבוק. חשוב לזכור שאולי יהיה צורך לבצע התאמות נוספות בקוד במחברת.
מודל נתונים
בקטע הזה מתואר CrossMediaSalesInsightsWeeklyAgg מודל הנתונים באמצעות דיאגרמת קשר בין ישויות (ERD).
הפלטפורמה Cortex for Meridian מסתמכת על תצוגה אחת, CrossMediaSalesInsightsWeeklyAgg, כדי לפעול. מקור הנתונים של התצוגה המפורטת הזו נקבע על ידי הגדרת התצורה k9.Meridian.salesDataSourceType, שיכולה להיות:
-
BYOD(Bring Your Own Data): שילוב נתונים בהתאמה אישית. -
SAP_SALES: נתוני מכירות ממערכות SAP. -
ORACLE_SALES: נתוני מכירות ממערכות Oracle EBS.
בקטע הבא מוצגים דיאגרמות של קשרים בין ישויות (ERD) עבור CrossMediaForMeridian:
BYOD
CortexForMeridian בלי נתוני מכירות.SAP
CortexForMeridian עם נתוני SAP.OracleEBS
CortexForMeridian עם נתונים מ-Oracle EBS.בטבלה הבאה מוצגת הסכימה המפורטת של התצוגה CrossMediaSalesInsightsWeeklyAgg, שהיא חלק מ-Cortex for Meridian:
| עמודה | סוג | תיאור |
| geo | String | האזור הגיאוגרפי שמשמש לצבירה של כל שאר הערכים. |
| פעם | String | מאפיין הזמן שמשמש לצבירה של כל שאר הערכים. |
| Tiktok_impression | מספר שלם | מספר הפעמים שהמודעות שלכם הוצגו ב-TikTok. |
| Meta_impression | מספר שלם | מספר הפעמים שהמודעות שלכם הוצגו במטא. |
| YouTube_impression | מספר שלם | מספר הפעמים שהמודעות שלכם הוצגו ב-YouTube. |
| GoogleAds_impression | מספר שלם | מספר הפעמים שהמודעות שלכם הוצגו ב-Google Ads. |
| Tiktok_spend | Float | הסכום שהוצא על פרסום ב-TikTok. |
| Meta_spend | Float | הסכום שהוצא על פרסום במטא. |
| YouTube_spend | Float | הסכום שהוצא על פרסום ב-YouTube. |
| GoogleAds_spend | Float | הסכום שהוצא על פרסום ב-Google Ads. |
| target_currency | String | מטבע היעד שמשמש לכל עמודות ההכנסות. |
| המרות | מספר שלם | המרות. |
| number_of_sales_orders | מספר שלם | מספר הזמנות המכירה מ-Oracle EBS או מ-SAP. |
| average_revenue_per_sales_order | Float | ההכנסה הממוצעת לכל הזמנת מכירות מ-Oracle EBS או מ-SAP. |
| population | מספר שלם | גודל האוכלוסייה במיקום הגיאוגרפי. |
פריסה
בדף הזה מפורטים השלבים להטמעה של Cortex Framework ב-Meridian, כדי להפעיל את הפתרון הטוב ביותר ל-MMM בסביבת Google Cloud .
כדי להתחיל, אפשר לעיין במאמר הדגמה של פריסת Meridian.
ארכיטקטורה
Cortex for Meridian משתמש ב-Cortex Framework לשיווק ובנתונים מכמה רשתות בשילוב עם נתוני מכירות. אתם יכולים לייבא נתוני מכירות מ-Oracle EBS, מ-SAP או ממערכת מקור אחרת.
בתרשים הבא מתוארים הרכיבים העיקריים של Cortex for Meridian:
רכיבים ושירותים של Meridian
במהלך הפריסה של Cortex Framework Data Foundation (ראו תנאים מוקדמים לפריסה), אפשר להפעיל את Cortex ל-Meridian על ידי הגדרת deployMeridian ל-true בקובץ config.json. האפשרות הזו מפעילה צינור Cloud Build נוסף, שמתקין את הרכיבים והשירותים הבאים שנדרשים ל-Meridian:
תצוגה מפורטת ב-BigQuery: תצוגה מפורטת נוצרת במערך הנתונים של הדיווח ב-K9 בשם
CrossMediaSalesInsightsWeeklyAgg. כך אפשר להריץ שאילתות על נתוני שיווק ועל נתוני מכירות מ-Cortex Framework. ההטמעה בפועל של התצוגה ומקורות הנתונים הבסיסיים תלויה במקור נתוני המכירות שתבחרו במהלך ההטמעה.קטגוריה של Cloud Storage: הקטגוריה
PROJECT_ID-cortex-meridianמכילה את כל הארטיפקטים שנדרשים ל-Cortex for Meridian ושנוצרים על ידו בתיקיות הבאות:-
configuration: הגדרת ההגדרות והפרמטרים של Cortex for Meridian. הוא משמש את קובץ ה-notebook של Colab Enterprise במהלך ההרצה של קובץ ה-notebook. -
csv: נתוני הפלט הגולמיים מהרצת Meridian יישמרו כאן כקובצי CSV. -
models: המודל שנוצר מהרצת Meridian יישמר כאן. -
notebook-run-logs: כאן יישמרו עותקים של מחברות לכל הרצה ויומנים. -
notebooks: מכיל את המחברת הראשית עם קוד והיגיון להפעלת Cortex for Meridian. המחברת הזו נועדה להתאמה אישית נוספת כדי לתמוך בצרכים ובדרישות הספציפיים שלכם. -
reporting: התיקייה שבה יישמרו דוחות מהרצות של Meridian. הוא מכיל גם תבנית HTML ליצירת דוח סקירה כללית עם קישורים לפלט של דוחות מ-Meridian.
-
Colab Enterprise: Colab Enterprise הוא שירות מנוהל ב- Google Cloud שמספק סביבה מאובטחת לשיתוף פעולה בתהליכי עבודה של מדע הנתונים ולמידת מכונה באמצעות מחברות Jupyter. הוא מציע תכונות כמו תשתית מנוהלת, אמצעי בקרה לאבטחה ברמה שמתאימה לארגונים ושילוב עם שירותים אחרים של Google Cloud Google, ולכן הוא מתאים לצוותים שעובדים עם מידע אישי רגיש וזקוקים לניהול מדיניות חזק. סביבה מנוהלת להרצת מחברת Jupyter.
Cortex for Meridian משתמש ב-Colab Enterprise כדי להגדיר תבנית זמן ריצה עם התשתית הנדרשת לאוטומציה של הרצות Meridian.

כשמפעילים את צינור הנתונים מקצה לקצה באמצעות תהליך עבודה, נוצרת הפעלה. הפעולה הזו תריץ עותק של מסמך ה-notebook הנוכחי של Jupyter מ-Cloud Storage עם ההגדרות העדכניות.

תהליך העבודה: Cloud Workflow בשם
cortex-meridian-execute-notebookמתזמר את הביצוע של צינור הנתונים המלא של Cortex for Meridian. תהליך העבודה יפעיל את Colab Enterprise API שיוצר סביבת זמן ריצה על סמך תבנית זמן הריצה, יבצע הפעלה של מחברת עם ההגדרות הנוכחיות ולבסוף ישמור את כל התוצאות ב-Cloud Storage.
איור 8. Workflows for Meridian. יש שתי אפשרויות הגדרה אופציונליות לתהליך העבודה:
- אם יש לך הגדרות JSON חדשות של Cortex for Meridian שאפשר להזין בתור קלט לתהליך העבודה. אם תעשו את זה, התהליך ייצור גיבוי של ההגדרה הישנה ויעדכן את ההגדרה עם הקלט שלכם. מידע נוסף זמין במאמר בנושא REPLACE.

איור 9. דוגמה לשינוי של קובץ JSON חדש של קלט ולהרצה שלו. pre_notebook_executionהשלב הזה הוא מקום מצוין להתחיל בו כל משימה נוספת שרוצים להפוך לאוטומטית לפני שמריצים את המחברת. לדוגמה, טעינת נתונים ממקורות מחוץ ל-Google Cloud Cortex Framework.
חשבון שירות: צריך לספק חשבון שירות ייעודי במהלך הפריסה. הפעולה הזו נדרשת כדי להריץ את תהליך העבודה ואת קובץ ה-notebook ב-Colab Enterprise.
פרמטרים נוספים לפריסה של Meridian
בקובץ config.json מוגדרות ההגדרות שנדרשות להפעלת Meridian עם Cortex Framework. הקובץ הזה מכיל את הפרמטרים הבאים של Cortex for Meridian:
"k9": {
...
"deployMeridian": false,
...
"Meridian":{
"salesDataSourceType": "",
"salesDatasetID":"",
"deploymentType": "",
"defaultNotebookFile":"meridian_cortex_marketing.ipynb",
"defaultConfigFile":"cortex_meridian_config.json",
"gcsBucketNameSuffix": "cortex-meridian",
"workflow": {
"template": "create_notebook_execution_run.yaml",
"name": "cortex-meridian-execute-notebook",
"region": "us-central1"
},
"runnerServiceAccount": "cortex-meridian-colab-runner",
"colabEnterprise": {
"region": "us-central1",
"runtimeTemplateName": "cortex-meridian-template",
"runtimeMachine_type": "n1-highmem-32",
"runtimeAcceleratorCoreCount": 1,
"runtimeAcceleratorType": "NVIDIA_TESLA_T4",
"executionName": "cortex-meridian-execution",
"notebookRunLogsFolder": "notebook-run-logs"
}
}
}
בטבלה הבאה מפורטים הערך והתיאור של כל פרמטר של Meridian:
| פרמטר | משמעות | ערך ברירת המחדל | תיאור |
k9.deployMeridian
|
האם לפרוס את Meridian. | false
|
בוחרים אם לפרוס את Cortex for Meridian כחלק מפריסת Data Foundation. |
k9.Meridian.salesDataSourceType
|
המקור של נתוני המכירות. | - | אפשר לבחור בין BYOD, SAP או OracleEBS
|
k9.Meridian.salesDatasetID
|
המזהה של מערך נתוני המכירות. | - | המזהה של מערך נתוני המכירות. משתנה בהתאם להגדרות של Cortex Data Foundation. |
k9.Meridian.deploymentType
|
המאפיין מגדיר אם הפריסה היא נקייה או מצטברת. | - | בוחרים בין initial לבין incremental.
|
k9.Meridian.defaultNotebookFile
|
קובץ notebook של Jupyter. | meridian_cortex_marketing.ipynb
|
השם של קובץ ה-Notebook שנמצא בתיקייה notebooks ב-Cloud Storage.
|
k9.Meridian.defaultConfigFile
|
קובץ ההגדרות להרצת הנוטבוק. | cortex_meridian_config.json
|
הוא מכיל את Cortex להגדרת Meridian שמשמש להרצת המחברת.
הוא חייב להיות בתיקייה configuration ב-Cloud Storage.
|
k9.Meridian.gcsBucketNameSuffix
|
הסיומת של הקטגוריה של Cortex for Meridian Cloud Storage. | cortex-meridian
|
שם הקטגוריה המלא יהיה {PROJECT_ID}-cortex-meridian כברירת מחדל. |
k9.Meridian.workflow.template
|
התבנית של תהליך העבודה. | create_notebook_execution_run.yaml
|
התבנית ליצירת תהליך העבודה. תהליך העבודה משמש ל התחלת ביצוע של מחברת. |
k9.Meridian.workflow.name
|
השם של תהליך העבודה. | cortex-meridian-execute-notebook
|
השם שמופיע ב Google Cloud פורטל של תהליך העבודה. |
k9.Meridian.workflow.region
|
האזור שבו נפרס תהליך העבודה. | us-central1
|
האזור שבו נפרס תהליך העבודה. בדרך כלל, הוא בוחר את אותה הגדרה כמו בשאר הפריסה. |
k9.Meridian.runnerServiceAccount
|
השם של חשבון השירות של Cortex for Meridian. | cortex-meridian-colab-runner
|
השם של חשבון השירות שמשמש להרצת תהליך העבודה וההרצות של Colab Enterprise. |
k9.Meridian.colabEnterprise.region
|
האזור שבו מתבצעות ההרצות של Colab Enterprise. | us-central1
|
האזור שבו מתבצעות ההרצות של Colab Enterprise. בדרך כלל, המערכת בוחרת את אותו האזור כמו בשאר הפריסה. |
k9.Meridian.colabEnterprise.runtimeTemplateName
|
השם של תבנית זמן הריצה ב-Colab Enterprise. | cortex-meridian-template
|
השם של תבנית זמן הריצה ב-Colab Enterprise. |
k9.Meridian.colabEnterprise.runtimeMachine_type
|
סוג המכונה לזמן הריצה של מחברת Colab Enterprise. | n1-highmem-32
|
סוג המכונה לזמן הריצה של מחברת Colab Enterprise. |
k9.Meridian.colabEnterprise.runtimeAcceleratorCoreCount
|
מספר הליבות. | 1
|
מספר ליבות מאיץ ה-GPU לזמן הריצה של קובץ notebook של Colab Enterprise. |
k9.Meridian.colabEnterprise.runtimeAcceleratorType
|
סוג המאיץ לסביבת זמן הריצה של קובץ notebook של Colab Enterprise. | NVIDIA_TESLA_T4
|
סוג ה-GPU. |
k9.Meridian.colabEnterprise.executionName
|
השם של ההפעלה של זמן הריצה של מחברת Colab Enterprise. | cortex-meridian-execution
|
השם שיוצג בממשק האינטרנט של Colab Enterprise – Executions. |
k9.Meridian.colabEnterprise.notebookRunLogsFolder
|
שם התיקייה להרצות בזמן ריצה. | notebook-run-logs
|
ההרצות של קובץ notebook ב-Colab Enterprise ישמרו כאן את היומנים ואת העותקים של ההרצה של ה-notebook. |
תהליך עבודה
תהליכי עבודה משמשים כממשק העיקרי להפעלת Cortex for Meridian. תהליך עבודה שמוגדר כברירת מחדל בשם cortex-meridian-execute-notebook
נפרס כחלק מ-Cortex for Meridian.
הרצת Notebook
כדי להתחיל הפעלה חדשה של Cortex for Meridian, פועלים לפי השלבים הבאים:
- עוברים אל
cortex-meridian-execute-notebookה-Notebook ב-Workflows. - לוחצים על Execute (הפעלה) כדי להתחיל הפעלה חדשה.
- בהרצות הראשונות, משאירים את שדה להזנת קלט ריק כדי להשתמש בתצורת ברירת המחדל שמאוחסנת בקובץ התצורה
cortex_meridian_config.jsonב-Cloud Storage. - לוחצים שוב על ביצוע כדי להמשיך.
אחרי השהיה קצרה, יוצג הסטטוס של הפעלת תהליך העבודה:

איור 10. דוגמה לפרטי ההרצה. אפשר לעקוב אחרי התקדמות ההרצה של קובץ ה-notebook ב-Colab Enterprise.
שלבים בתהליך העבודה
תהליך העבודה cortex-meridian-execute-notebook כולל את השלבים הבאים:
| שלב | שלב משנה | תיאור |
init
|
-
|
מאתחלים פרמטרים. |
checkInputForConfig
|
-
|
בודקים אם קובץ JSON חדש של הגדרות סופק כקלט של תהליך העבודה. |
logBackupConfigFileName
|
מתעד ביומן את שם הקובץ של הגדרות הגיבוי. | |
backupConfigFile
|
מבצע גיבוי של קובץ ההגדרות ב-Cloud Storage. | |
logBackupResult
|
התוצאה של הקריאה ל-Cloud Storage API נרשמת ביומן. | |
updateGCSConfigFile
|
מעדכנים את קובץ ההגדרות ב-Cloud Storage עם הערכים החדשים. | |
pre_notebook_execution
|
-
|
השלב הזה ריק כברירת מחדל. אתם יכולים להתאים אותו אישית. לדוגמה, טעינת נתונים או שלבים רלוונטיים אחרים לפני שמריצים את המחברת. מידע נוסף זמין במאמרים סקירה כללית של Workflows ומחברים של Workflows. |
create_notebook_execution_run
|
-
|
יוצרים את ההרצה של מחברת Colab Enterprise (באמצעות סקריפט מעטפת ב-Cloud Build). |
notebook_execution_run_started
|
-
|
הפלט של תוצאת ההשלמה. |
התאמה אישית של תהליך העבודה של Meridian
כדי להתאים אישית את הרצת Meridian, אפשר לספק קובץ JSON משלכם להגדרות בשדה להזנת קלט של Workflows:
- מזינים את ה-JSON המלא של ההגדרה ששונתה בשדה להזנת קלט.
- לאחר מכן, תהליך העבודה ימשיך כך:
- מחליפים את קובץ
cortex_meridian_config.jsonהקיים ב-Cloud Storage ב-JSON שסיפקתם. - יוצרים גיבוי של קובץ התצורה המקורי בספרייה
Cloud Storage/configuration. - שם קובץ הגיבוי יהיה בפורמט
cortex_meridian_config_workflow_backup_workflow_execution_id.json, כאשר workflow_execution_id הוא מזהה ייחודי של ההפעלה הנוכחית של תהליך העבודה (לדוגמה,cortex_meridian_config_workflow_backup_3e3a5290-fac0-4d51-be5a-19b55b2545de.json)
- מחליפים את קובץ
סקירה כללית של Jupyter notebook
הפונקציונליות העיקרית של טעינת נתוני קלט כדי להריץ את מודל Meridian מנוהלת על ידי מחברת Python meridian_cortex_marketing.ipynb, שנמצאת בתיקייה notebooks בקטגוריה של Cloud Storage.
תהליך ההרצה של מחברת כולל את השלבים הבאים:
- מתקינים את החבילות הנדרשות (כולל Meridian) ומייבאים את הספריות הנדרשות.
- טעינת פונקציות עזר לאינטראקציה עם Cloud Storage ו-BigQuery.
- מאחזר את ההגדרות של ההרצה מקובץ
configuration/cortex_meridian_config.jsonב-Cloud Storage. - טעינת נתונים מ-Cortex Framework מהתצוגה Cortex Framework Data Foundation ב-BigQuery.
- מגדירים את מפרט המודל של Meridian וממפים את מודלי הנתונים של Cortex Framework Data Foundation לשיווק ולמכירות לסכימת הקלט של מודל Meridian.
- הפעלת דגימה של Meridian ויצירת דוח סיכום שנשמר ב-Cloud Storage (
/reporting). - מריצים את הכלי לאופטימיזציה של תקציבים לתרחיש ברירת המחדל ומייצאים את דוח הסיכום ל-Cloud Storage (
/reporting). - שמירת המודל ב-Cloud Storage (
/models). - שמירת תוצאות CSV ב-Cloud Storage (
/csv). - מפיקים דוח סקירה כללית ושומרים אותו ב-Cloud Storage (
/reporting).
ייבוא של מחברת להרצה ועריכה ידניות
כדי להתאים אישית את המחברת או להריץ אותה באופן ידני, מייבאים אותה מ-Cloud Storage:
- עוברים אל Colab Enterprise.
- לוחצים על המחברות שלי.
- לוחצים על Import.
- בוחרים באפשרות Cloud Storage כמקור לייבוא ובוחרים את ה-Notebook מ-Cloud Storage.
- לוחצים על Import.
המחברת תיטען ותיפתח.
תוצאות של הרצות Notebook
כדי לבדוק את תוצאות ההרצה של מחברת, פותחים עותק מלא של המחברת עם כל הפלט של התאים:
- עוברים אל Executions ב-Colab Enterprise.
- בוחרים את האזור הרלוונטי מהתפריט הנפתח.
- לצד ההרצה של ה-Notebook שרוצים לראות את התוצאות שלה, לוחצים על הצגת התוצאה.
- התוצאה של הפעלת המחברת תיפתח בכרטיסייה חדשה ב-Colab Enterprise.
- כדי לראות את התוצאה, לוחצים על הכרטיסייה החדשה.
תבנית של סביבת זמן הריצה
Google Cloud Colab Enterprise משתמש בתבניות של זמן ריצה כדי להגדיר סביבות הפעלה שהוגדרו מראש. תבנית מוגדרת מראש של זמן ריצה, שמתאימה להרצת מחברת Meridian, כלולה בפריסת Cortex for Meridian. התבנית הזו משמשת באופן אוטומטי ליצירת סביבות זמן ריצה להרצת מחברות.

במקרה הצורך, אפשר ליצור תבניות נוספות של זמן ריצה באופן ידני.



