קריאה ממקור סטרימינג של Pub/Sub

‫Cloud Data Fusion תומך במקורות Pub/Sub בצינורות נתונים של סטרימינג.

לפני שמתחילים

תפקידים והרשאות

כדי לקבל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד עריכה ב-Pub/Sub (roles/pubsub.editor) בחשבון השירות שמשמש לגישה למינוי Pub/Sub. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש שכולל את ההרשאות שנדרשות לקריאה ממקור סטרימינג של Pub/Sub. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לקרוא ממקור סטרימינג של Pub/Sub, צריך את ההרשאות הבאות:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אתם מעניקים את התפקיד לחשבון השירות שציינתם במאפייני הפלאגין כדי לגשת ל-Pub/Sub. אם לא מציינים תפקיד, צריך להעניק את התפקיד בחשבון השירות של Managed Service for Apache Spark.

מידע נוסף על מתן תפקידים מופיע במאמר ניהול הגישה.

הוספת מקור Pub/Sub לצינור נתונים בסטרימינג

  1. עוברים למופע:

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. בממשק האינטרנט של Cloud Data Fusion, לוחצים על Studio.

  3. בוחרים באפשרות צינור נתונים – בזמן אמת.

  4. בתפריט מקור, בוחרים באפשרות Pub/Sub. בצינור עיבוד הנתונים מופיע צומת של מקור נתונים מסוג Pub/Sub.

  5. בצומת Pub/Sub, לוחצים על Properties כדי להגדיר את המקור. מידע נוסף זמין במאמר בנושא מקור סטרימינג ב-Pub/Sub.

תמיכה במקור Pub/Sub יחיד ללא תוספי Windower

גרסה 6.9.1 של Cloud Data Fusion תומכת בצינורות עיבוד נתונים בזמן אמת עם מקור סטרימינג יחיד של Pub/Sub וללא תוספי Windower.

  • מקור הסטרימינג Pub/Sub כולל תמיכה מובנית, והנתונים מעובדים לפחות פעם אחת. אין צורך להפעיל את שמירת נקודות הביקורת של Spark.
  • מקור הנתונים של Pub/Sub streaming יוצר תמונת מצב של Pub/Sub בתחילת כל אצווה ומסיר אותה בסוף כל אצווה.
  • יש עלות ליצירת תמונות מצב של Pub/Sub. מידע נוסף על התמחור של Pub/Sub
  • אפשר לעקוב אחרי יצירת תמונות מצב ביומני ביקורת של Cloud.

שדרוג צינור עיבוד נתונים עם מקור סטרימינג של Pub/Sub

‫Cloud Data Fusion תומך בשדרוגים ישירים של אפליקציות לצינורות עיבוד נתונים בסטרימינג עם מקור סטרימינג של Pub/Sub שנוצר בגרסה 6.9.1 ואילך.

ב-Cloud Data Fusion אין תמיכה בשדרוגים של צינורות נתונים עם מקור סטרימינג של Pub/Sub בגרסה 6.9.0 או בגרסאות קודמות. במקום זאת, צריך לשדרג את צינורות הנתונים האלה לגרסה 6.9.1:

  1. מפסיקים לפרסם את הנתונים בנושא כשמתכננים את שדרוג המופע.
  2. ממתינים עד שצינור הנתונים יסיים לעבד את הנתונים שפורסמו.
  3. אחרי שהנתונים מעובדים באופן מלא, עוצרים את הצינור.
  4. שדרוג המכונה
  5. משכפלים את צינור הנתונים הקיים ומעדכנים אותו לפלאגינים החדשים ביותר.
  6. פורסים את צינור עיבוד הנתונים.

  7. מריצים את צינור העיבוד החדש כדי לקרוא נתונים.

    בגרסה החדשה נעשה שימוש אוטומטי בתמונת מצב במקום בנקודת ביקורת של Spark.

  8. מוחקים את צינור הנתונים הישן.

המאמרים הבאים