סקירה כללית

‫Google Cloud Cortex Framework מספק מאיצים של מוצרי נתונים שנועדו להפוך נתונים גולמיים ממערכות אסטרטגיות של ארגונים לנכסי נתונים מהימנים ואיכותיים שמוכנים לניתוח מתקדם ול-AI.

‫Google Cloud Cortex Framework מגיע כקוד פתוח שניתן להתאמה אישית ולפריסה מאובטחת בסביבה שלכם ב-Google Cloud . הוא מציע מודל ביצוע ללא שרתים, שפועל באופן מקורי ב-BigQuery ומבוסס עלGoogle Cloud Dataform.

המסגרת של Cortex מייעלת את הדרך שבה צוותים בונים, מתזמנים ופורסים צינורות נתונים, מקצרת את הזמן עד לקבלת ערך ומספקת בסיס אמין לדור הבא של סוכני AI ארגוניים.

ארכיטקטורת נתונים

המסגרת של Cortex מתקננת את עיבוד הנתונים ב-BigQuery לשלוש שכבות ארכיטקטוניות נפרדות באמצעות מתודולוגיה של חילוץ, טעינה וטרנספורמציה (ELT). אסטרטגיית השכבות של הנתונים התקניים האלה תואמת למושגים של רשת נתונים בארגונים.

ארכיטקטורת הנתונים והשכבות של Google Cloud Cortex Framework

איור 1. ארכיטקטורת הנתונים והשכבות של Cortex Framework.

מערכת המקור

מערכות המקור הן המקומות שמהם הנתונים נלקחים. מערכות המקור יכולות לכלול מגוון אפליקציות ארגוניות, מסדי נתונים או פלטפורמות שמהן מופקים נתונים. רשימת מערכות המקור הנתמכות

שכבה גולמית

השכבה הגולמית מייצגת את מערך הנתונים של אזור הנחיתה הבלתי ניתן לשינוי ב-BigQuery של נתוני המקור, בין אם אלה יומני סימון נתונים שהשתנו (CDC) או חילוצי נתונים באצווה. למרות שבדרך כלל מאוחסנים בו יומני CDC (לדוגמה, מ-SAP ECC או מ-S/4HANA באמצעות כלי שכפול כמו BigQuery Connector for SAP או BigQuery Toolkit for SAP), הוא מיועד לייצוג של כל פורמט גולמי. במקורות שלא מספקים יומני CDC, כמו Salesforce או פידים חיצוניים של API, השכבה הזו מייצגת את החילוצים המלאים של קבוצות או את מטען האירועים הגולמי בדיוק כפי שהם מגיעים, עם שינויים מבניים מינימליים או ללא שינויים בכלל. השכבה הזו מספקת נתונים לשכבת בסיס הנתונים.

שכבת התשתית לנתונים

שכבת בסיס הנתונים היא ייצוג נקי וסטנדרטי של הרשומות האחרונות בנתוני המקור, והיא מספקת נתונים לשכבת מוצרי הנתונים. השכבה הזו מתעדכנת באופן מצטבר עבור מקורות עם CDC, ומשתמשת בתצוגות עבור מקורות ללא CDC וגם עבור מקורות CDC שהוטמעו חיצונית. ההטמעה מותאמת ליכולות של מערכת המקור. מידע נוסף זמין במאמר בנושא השכבה הבסיסית של הנתונים.

שכבת מוצרי נתונים

שכבת מוצר הנתונים מספקת צבירות, חישובים של KPI, לוגיקה עסקית ולוגיקה של חיבור בין אפליקציות. התצוגות והטבלאות שנחשפות בשכבת מוצר הנתונים מיועדות לשימוש ישיר על ידי סוכני ניתוח נתונים שיכולים לנהל שיחה ב-BigQuery,‏ Gemini Enterprise, מודלים של למידת מכונה, לוחות בקרה ודוחות של BI, וכן שילובים של אפליקציות. מידע נוסף זמין במאמר בנושא מוצרי נתונים.

ניהול נתונים

ב-Cortex Framework נעשה שימוש ב-Dataform כדי לנהל את מחזור החיים של הנתונים. ‫Dataform מאפשר לכם לנהל טרנספורמציה של נתונים לצורך שילוב נתונים. הוא מספק שירות למנתחי נתונים לפיתוח, לבדיקה, לשליטה בגרסאות ולתזמון של תהליכי עבודה מורכבים לשינוי נתונים ב-BigQuery. כדי להתאים באופן דינמי להתאמות אישיות ולהרחבות, Cortex Framework יוצר את קוד Dataform במהלך שלב ה-build, ומעביר אותו למאגר Dataform ב- Google Cloud.

הפעלת צינורות העיבוד בממשק המשתמש של Dataform יוצרת את הטבלאות והתצוגות ב-BigQuery של שכבות בסיס הנתונים ומוצר הנתונים, וממלאת אותן בנתונים.

השלבים הבאים

מוכנים ליצור ולפרוס? כדי להגדיר את הסביבה ולהתחיל להשתמש בה, כדאי לעיין במדריכים הבאים:

  • פריסת הדגמה: פריסת התוכן של הפתרון לדוגמה תוך דקות כדי לראות את Cortex Framework בפעולה.
  • פריסה: פועלים לפי ההוראות המפורטות כדי להגדיר ולפרוס את Cortex Framework לנתונים של הארגון.