מקורות Pub/Sub ב-Cloud Data Fusion מאפשרים להטמיע זרמי הודעות בזמן אמת בפייפליינים של נתונים בסטרימינג. לאחר מכן תוכלו לשנות, להעשיר ולכתוב נתוני אירועים ליעדי אחסון וניתוח נתונים במורד הזרם, עם זמן אחזור מינימלי.
לפני שמתחילים
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub, בקשו מהאדמין לתת לכם את התפקיד עריכה ב-Pub/Sub (roles/pubsub.editor) ב-IAM בחשבון השירות שמשמש לגישה למינוי ל-Pub/Sub.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לקרוא ממקור סטרימינג של Pub/Sub, נדרשות ההרשאות הבאות:
-
pubsub.snapshots.create -
pubsub.snapshots.delete -
pubsub.snapshots.seek -
pubsub.subscriptions.consume -
pubsub.topics.attachSubscription
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
אתם מקצים את התפקיד לחשבון השירות שציינתם במאפייני הפלאגין כדי לגשת ל-Pub/Sub. אם לא צוין פרויקט, מקצים את התפקיד בחשבון השירות של Managed Service for Apache Spark.
להסבר על מתן תפקידים, קראו את המאמר איך מנהלים את הרשאות הגישה.
הוספת מקור Pub/Sub לפייפליין של נתונים בסטרימינג
עוברים למכונה:
במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.
כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).
בממשק האינטרנט של Cloud Data Fusion, לוחצים על Studio.
בוחרים באפשרות Data Pipeline - Realtime.
בתפריט Source, בוחרים באפשרות Pub/Sub. צומת מקור של סטרימינג ב-Pub/Sub מופיע בצינור עיבוד הנתונים.
בצומת Pub/Sub, לוחצים על Properties כדי להגדיר את המקור. מידע נוסף זמין במאמר מקור סטרימינג של Pub/Sub.
תמיכה במקור Pub/Sub יחיד ללא פלאגינים של Windower
בגרסה 6.9.1 של Cloud Data Fusion יש תמיכה בצינורות עיבוד נתונים בזמן אמת עם מקור סטרימינג יחיד של Pub/Sub, בלי פלאגינים של Windower.
- למקור הסטרימינג של Pub/Sub יש תמיכה מובנית, והנתונים מעובדים לפחות פעם אחת. לא צריך להפעיל את נקודות הבדיקה של Spark.
- מקור הסטרימינג של Pub/Sub יוצר תמונת מצב של Pub/Sub בתחילת כל אצווה ומסיר אותה בסוף כל אצווה.
- יצירת קובצי Snapshot ב-Pub/Sub כרוכה בעלות. למידע נוסף על התמחור של Pub/Sub
- אפשר לעקוב אחרי יצירת קובצי snapshot ביומני הביקורת של Cloud.
שדרוג צינור עיבוד נתונים עם מקור סטרימינג של Pub/Sub
ב-Cloud Data Fusion אפשר לשדרג אפליקציות ישירות בצינורות עיבוד נתונים בסטרימינג עם מקור סטרימינג של Pub/Sub שנוצר בגרסה 6.9.1 ואילך.
ב-Cloud Data Fusion אי אפשר לשדרג פייפליינים עם מקור סטרימינג של Pub/Sub בגרסה 6.9.0 ומטה. במקום זאת, שדרגו את צינורות עיבוד הנתונים האלה לגרסה 6.9.1:
- להפסיק לפרסם את הנתונים בנושא כשהשדרוג של המכונה מתוכנן.
- ממתינים עד שהצינור יסיים לעבד את הנתונים שפורסמו.
- אחרי שעיבוד הנתונים מסתיים, עוצרים את צינור עיבוד הנתונים.
- שדרוג המכונה.
- משכפלים את צינור עיבוד הנתונים הקיים ומעדכנים לפלאגינים החדשים ביותר.
- פורסים את צינור עיבוד הנתונים.
מריצים את צינור עיבוד הנתונים החדש כדי לקרוא נתונים.
הגרסה החדשה משתמשת באופן אוטומטי בתמונת מצב במקום בנקודות ביקורת של Spark.
מוחקים את צינור עיבוד הנתונים הישן.
המאמרים הבאים
- אפשר לעיין במאמר מקור סטרימינג של Pub/Sub ב-CDAP.