קריאה ממקור סטרימינג של Pub/Sub

מקורות Pub/Sub ב-Cloud Data Fusion מאפשרים להטמיע זרמי הודעות בזמן אמת בפייפליינים של נתונים בסטרימינג. לאחר מכן תוכלו לשנות, להעשיר ולכתוב נתוני אירועים ליעדי אחסון וניתוח נתונים במורד הזרם, עם זמן אחזור מינימלי.

לפני שמתחילים

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub, בקשו מהאדמין לתת לכם את התפקיד עריכה ב-Pub/Sub (roles/pubsub.editor) ב-IAM בחשבון השירות שמשמש לגישה למינוי ל-Pub/Sub. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לקרוא ממקור סטרימינג של Pub/Sub, נדרשות ההרשאות הבאות:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אתם מקצים את התפקיד לחשבון השירות שציינתם במאפייני הפלאגין כדי לגשת ל-Pub/Sub. אם לא צוין פרויקט, מקצים את התפקיד בחשבון השירות של Managed Service for Apache Spark.

להסבר על מתן תפקידים, קראו את המאמר איך מנהלים את הרשאות הגישה.

הוספת מקור Pub/Sub לפייפליין של נתונים בסטרימינג

  1. עוברים למכונה:

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. בממשק האינטרנט של Cloud Data Fusion, לוחצים על Studio.

  3. בוחרים באפשרות Data Pipeline - Realtime.

  4. בתפריט Source, בוחרים באפשרות Pub/Sub. צומת מקור של סטרימינג ב-Pub/Sub מופיע בצינור עיבוד הנתונים.

  5. בצומת Pub/Sub, לוחצים על Properties כדי להגדיר את המקור. מידע נוסף זמין במאמר מקור סטרימינג של Pub/Sub.

תמיכה במקור Pub/Sub יחיד ללא פלאגינים של Windower

בגרסה 6.9.1 של Cloud Data Fusion יש תמיכה בצינורות עיבוד נתונים בזמן אמת עם מקור סטרימינג יחיד של Pub/Sub, בלי פלאגינים של Windower.

שדרוג צינור עיבוד נתונים עם מקור סטרימינג של Pub/Sub

ב-Cloud Data Fusion אפשר לשדרג אפליקציות ישירות בצינורות עיבוד נתונים בסטרימינג עם מקור סטרימינג של Pub/Sub שנוצר בגרסה 6.9.1 ואילך.

ב-Cloud Data Fusion אי אפשר לשדרג פייפליינים עם מקור סטרימינג של Pub/Sub בגרסה 6.9.0 ומטה. במקום זאת, שדרגו את צינורות עיבוד הנתונים האלה לגרסה 6.9.1:

  1. להפסיק לפרסם את הנתונים בנושא כשהשדרוג של המכונה מתוכנן.
  2. ממתינים עד שהצינור יסיים לעבד את הנתונים שפורסמו.
  3. אחרי שעיבוד הנתונים מסתיים, עוצרים את צינור עיבוד הנתונים.
  4. שדרוג המכונה.
  5. משכפלים את צינור עיבוד הנתונים הקיים ומעדכנים לפלאגינים החדשים ביותר.
  6. פורסים את צינור עיבוד הנתונים.
  7. מריצים את צינור עיבוד הנתונים החדש כדי לקרוא נתונים.

    הגרסה החדשה משתמשת באופן אוטומטי בתמונת מצב במקום בנקודות ביקורת של Spark.

  8. מוחקים את צינור עיבוד הנתונים הישן.

המאמרים הבאים