סקירה כללית על Cloud Data Fusion
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
Cloud Data Fusion מאפשר לכם ליצור ולתזמן Data pipelines בשירות שילוב נתונים מבוסס-ענן ומנוהל במלואו, שמבוסס על פרויקט הקוד הפתוח CDAP. באמצעות ממשק האינטרנט של Cloud Data Fusion, אתם יכולים להתחבר למקורות נתונים, לשנות את הנתונים ולהעביר אותם למערכות יעד בלי לנהל את התשתית.
בקטעים הבאים מוסברים הרכיבים העיקריים של Cloud Data Fusion.
פרויקט של דייר (tenant)
קבוצת השירותים שנדרשים כדי ליצור ולתזמר צינורות עיבוד נתונים ב-Cloud Data Fusion, ולאחסן מטא-נתונים של צינורות עיבוד נתונים, מוקצים בפרויקט דייר (tenant) בתוך יחידת דיירים. לכל פרויקט של לקוח נוצר פרויקט נפרד של דייר, שבו מוקצים מופעים של Cloud Data Fusion. פרויקט הדייר (tenant) יורש את כל הגדרות הרשת וחומת האש מהפרויקט של הלקוח.
Cloud Data Fusion: מסוף
מסוף Cloud Data Fusion, שנקרא גם מישור הבקרה, הוא אוסף של פעולות API וממשק אינטרנט שמתייחסים למופע Cloud Data Fusion עצמו, כמו יצירה, מחיקה, הפעלה מחדש ועדכון שלו.
Cloud Data Fusion: Studio
Cloud Data Fusion Studio, שנקרא גם מישור הנתונים, הוא קבוצה של פעולות של ממשק API בארכיטקטורת REST וממשק אינטרנט שקשורות ליצירה, להפעלה ולניהול של צינורות עיבוד נתונים ופריטי מידע שקשורים אליהם.
מושגים
בקטע הזה נציג כמה מהמושגים העיקריים של Cloud Data Fusion.
מכונה של Cloud Data Fusion היא פריסה ייחודית של Cloud Data Fusion. כדי להתחיל להשתמש ב-Cloud Data Fusion, יוצרים מכונה של Cloud Data Fusion דרך מסוף Google Cloud .
אפשר ליצור כמה מכונות בפרויקט אחד במסוף Google Cloud , ולציין את האזור ב- Google Cloud שבו רוצים ליצור את המכונות של Cloud Data Fusion.
כל מכונה של Cloud Data Fusion מכילה פריסה ייחודית ועצמאית של Cloud Data Fusion, שכוללת קבוצת שירותים שמטפלים בניהול מחזור החיים של צינור עיבוד הנתונים, בתזמור, בתיאום ובניהול המטא-נתונים. השירותים האלה פועלים באמצעות משאבים לטווח ארוך בפרויקט של דייר.
מרחב שמות הוא קיבוץ לוגי של אפליקציות, נתונים והמטא-נתונים המשויכים להם במופע של Cloud Data Fusion. אפשר לחשוב על מרחבי שמות כחלוקה של המכונה. במופע יחיד, מרחב שמות אחד מאחסן את הנתונים והמטא-נתונים של ישות באופן עצמאי ממרחב שמות אחר.
צינור עיבוד נתונים הוא דרך לתכנן באופן חזותי את תהליכי הנתונים והבקרה כדי לחלץ, לשנות, למזג, לצבור ולטעון נתונים ממקורות נתונים שונים בענן ובמקום פיזי.
יצירת פייפליינים מאפשרת לכם ליצור תהליכי עבודה מורכבים לעיבוד נתונים, שיכולים לעזור לכם לפתור בעיות שקשורות להטמעת נתונים, לשילוב ולהעברה של נתונים. אתם יכולים להשתמש ב-Cloud Data Fusion כדי ליצור צינורות נתונים באצווה וגם צינורות נתונים בזמן אמת, בהתאם לצרכים שלכם.
באמצעות צינורות עיבוד נתונים אפשר לבטא את תהליכי העבודה של עיבוד הנתונים באמצעות הזרימה הלוגית של הנתונים, ו-Cloud Data Fusion מטפל בכל הפונקציונליות שנדרשת כדי להריץ פיזית בסביבת הפעלה.
בדף Studio בממשק האינטרנט של Cloud Data Fusion, צינורות עיבוד הנתונים מיוצגים כסדרה של צמתים שמסודרים בגרף אציקלי מכוון (DAG), ויוצרים תהליך חד-כיווני.
הצמתים מייצגים את הפעולות השונות שאפשר לבצע באמצעות צינורות עיבוד הנתונים, כמו קריאה ממקורות, ביצוע טרנספורמציות של נתונים וכתיבת פלט לכיורים. אתם יכולים לפתח צינורות עיבוד נתונים בממשק האינטרנט של Cloud Data Fusion על ידי חיבור של מקורות, טרנספורמציות, sink וצמתים אחרים.
בממשק האינטרנט של Cloud Data Fusion, לוחצים על Hub כדי לעיין בפלאגינים, בצינורות עיבוד נתונים לדוגמה ובשילובים אחרים. כשיוצאת גרסה חדשה של פלאגין, היא מופיעה ב-Hub בכל מכונה תואמת. זה נכון גם אם המכונה נוצרה לפני שהפלאגין פורסם.
Cloud Data Fusion מקצה אשכול זמני של Managed Service for Apache Spark בפרויקט של הלקוח בתחילת ההרצה של צינור הנתונים, מריץ את צינור הנתונים באמצעות Spark באשכול, ואז מוחק את האשכול אחרי שההרצה של צינור הנתונים מסתיימת.
לחלופין, אם אתם מנהלים את אשכולות Managed Service for Apache Spark בסביבות מבוקרות, באמצעות טכנולוגיות כמו Terraform, אתם יכולים גם להגדיר את Cloud Data Fusion כך שלא יקצה אשכולות. בסביבות האלה, אתם יכולים להריץ צינורות עיבוד נתונים באשכולות קיימים של Managed Service for Apache Spark.
צינורות נתונים לשימוש חוזר ב-Cloud Data Fusion מאפשרים ליצור פייפליין אחד שיכול להחיל דפוס שילוב נתונים על מגוון תרחישי שימוש ומערכי נתונים.
צינורות עיבוד נתונים לשימוש חוזר מאפשרים ניהול טוב יותר, כי רוב ההגדרות של צינור עיבוד הנתונים נקבעות בזמן ההפעלה, במקום להגדיר אותן בתוך הקוד בזמן התכנון.
ב-Cloud Data Fusion אפשר ליצור טריגר בפייפליין (שנקרא פייפליין במורד הזרם), כדי להריץ אותו בסיום של פייפליין אחד או יותר (שנקראים פייפליינים במעלה הזרם). אתם בוחרים מתי צינור הנתונים במורד הזרם יפעל – למשל, אם הפעלת צינור הנתונים במעלה הזרם תצליח, תיכשל או תיפסק, או כל שילוב אחר של האפשרויות האלה.
טריגרים שימושיים במקרים הבאים:
ניקוי הנתונים פעם אחת, ואז הפיכתם לזמינים לשימוש בכמה צינורות בהמשך.
שיתוף מידע, כמו ארגומנטים של זמן ריצה והגדרות פלאגינים, בין צינורות עיבוד נתונים. זה נקרא הגדרת המטען הייעודי (payload).
הגדרת קבוצה של צינורות עיבוד נתונים דינמיים שיכולים לפעול באמצעות הנתונים של השעה, היום, השבוע או החודש, במקום להשתמש בצינור עיבוד נתונים סטטי שצריך לעדכן בכל הפעלה.
משאבים של Cloud Data Fusion
עיון במשאבי Cloud Data Fusion:
בנתוני הגרסה מפורטים יומני השינויים של התכונות, השינויים וההוצאות משימוש.
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["התוכן קשה להבנה","hardToUnderstand","thumb-down"],["שגיאות בקוד לדוגמה או במידע","incorrectInformationOrSampleCode","thumb-down"],["חסרים לי פרטים או דוגמאות","missingTheInformationSamplesINeed","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2026-10-24 (שעון UTC)."],[],[]]
