טריגר Apache Kafka

תצוגה מקדימה ‫— Apache Kafka trigger

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הטריגר Apache Kafka הוא טריגר של אירוע Connector שמאפשר להפעיל שילוב על סמך אירועי Apache Kafka שנרשמתם אליהם בחיבור Apache Kafka.

חשוב: Integration Connectors הוא רכיב בתשלום של Google Cloud. מידע על העלויות והחיובים של שימוש ב-Integration Connectors זמין במאמר תמחור של Integration Connectors.

לפני שמתחילים

אם אתם מתכננים ליצור או להגדיר חיבור חדש לטריגר Apache Kafka, ודאו שיש לכם את התפקיד הבא בממשק לניהול הזהויות והרשאות הגישה (IAM) בפרויקט:

• אדמין של מחבר (roles/connectors.admin)

מידע על הקצאת תפקידים מופיע במאמר ניהול הגישה.

מקצים לחשבון השירות שבו רוצים להשתמש עבור הטריגר של Apache Kafka את תפקידי ה-IAM הבאים:

• Application Integration Invoker (roles/integrations.integrationInvoker)

במאמר ניהול הגישה לחשבונות שירות מוסבר איך נותנים לחשבון שירות תפקיד.

הוספת הטריגר Apache Kafka

כדי להוסיף טריגר Apache Kafka לשילוב, מבצעים את השלבים הבאים:

1. נכנסים לדף Application Integration במסוף Google Cloud .

   מעבר אל Application Integration

2. בתפריט הניווט, לוחצים על Integrations (שילובים).

   מוצגת רשימה של כל השילובים שזמינים בפרויקט Google Cloud בדף Integrations List.

3. בוחרים שילוב קיים או לוחצים על יצירת שילוב כדי ליצור שילוב חדש.

   אם יוצרים שילוב חדש:

   1. מזינים שם ותיאור בחלונית יצירת שילוב.
   2. בוחרים אזור לשילוב.
      הערה: בתפריט הנפתח Regions (אזורים) מופיעים רק האזורים שהוקצו בפרויקט בענן שלכם ב-Google Cloud. כדי להקצות אזור חדש, לוחצים על הפעלת אזור. מידע נוסף מופיע במאמר בנושא הפעלת אזור חדש.
   3. בוחרים חשבון שירות לאינטגרציה. אפשר לשנות או לעדכן את פרטי חשבון השירות של שילוב בכל שלב מחלונית סיכום השילוב בסרגל הכלים של השילוב.
      הערה: האפשרות לבחור חשבון שירות מוצגת רק אם הפעלתם את האפשרות 'שליטה בשילובים' באזור שנבחר.
   4. לוחצים על יצירה.

   השילוב החדש שנוצר ייפתח בכלי השילובים.

4. בסרגל הניווט של כלי העריכה של השילוב, לוחצים על טריגרים כדי לראות את רשימת הטריגרים הזמינים.
5. לוחצים על הרכיב Apache Kafka trigger (טריגר Apache Kafka) וממקמים אותו בעורך השילובים.

כדי להגדיר את הטריגר של Apache Kafka, אפשר להשתמש בחיבור קיים של Apache Kafka שזמין ב-Integration Connectors, או ליצור חיבור חדש של Apache Kafka באמצעות האפשרות ליצירת חיבור מוטבע.

הגדרת טריגר של Apache Kafka באמצעות חיבור קיים

אפשר להגדיר את הטריגר של Apache Kafka באמצעות חיבור קיים של Apache Kafka ב-Integration Connectors. שימו לב: הטריגר של Apache Kafka הוא טריגר של אירוע מחבר, ולכן אפשר להשתמש בחיבור של Apache Kafka רק אם מופעלת בו הרשמה לאירועים כדי להגדיר את הטריגר.

מידע על הגדרת טריגר Apache Kafka באמצעות חיבור חדש ל-Apache Kafka זמין במאמר הגדרת טריגר Apache Kafka באמצעות חיבור חדש.

כדי להגדיר טריגר של Apache Kafka באמצעות חיבור קיים של Apache Kafka, מבצעים את השלבים הבאים:

1. לוחצים על הרכיב Apache Kafka trigger (טריגר של Apache Kafka) בכלי לעריכת שילובים כדי לפתוח את חלונית הגדרות הטריגר.
2. לוחצים על Configure trigger (הגדרת הטריגר).
3. בדף Connector Event Trigger Editor (עורך טריגרים של אירועים של מחבר), מזינים את פרטי ההגדרה הבאים:
   1. אזור: בוחרים את האזור של חיבור Apache Kafka.
   2. חיבור: בוחרים את החיבור ל-Apache Kafka שרוצים להשתמש בו.

      ב-Application Integration מוצגים רק חיבורים פעילים ל-Apache Kafka שמופעל בהם מינוי לאירועים.

   3. שם הנושא: מזינים את שם הנושא. הערה: לפי התיעוד של Apache Kafka, האורך המקסימלי של שם נושא הוא 249 תווים.
   4. מזהה קבוצת הצרכנים: אפשר להזין את מזהה קבוצת הצרכנים שמציין את השם של קבוצת הצרכנים שאליה משתייך צרכן Kafka. האורך המקסימלי של מזהה קבוצת צרכנים הוא בדרך כלל 255 תווים.
   5. מחיצה: מזינים את המחיצה אם רוצים להירשם למחיצה מסוימת. מחיצות הן דרך לחלק נושא לכמה חלקים ולאחסן כל חלק בצומת אחר באשכול.
   6. Initial Offset: בוחרים את offset reset strategy:
      • אם בוחרים באפשרות earliest, החיבור צורך הודעות שלא נצרכו, כולל הודעות שנוצרו לפני משך החיים של קבוצת הצרכנים.
      • אם בוחרים באפשרות latest, החיבור צורך הודעות שנוצרות אחרי שנוצרת קבוצת הצרכנים.
   7. חשבון שירות: בוחרים חשבון שירות עם תפקידי ה-IAM הנדרשים לטריגר של Apache Kafka.
4. לוחצים על סיום.

הגדרת טריגר של Apache Kafka באמצעות חיבור חדש

כדי להגדיר את הטריגר Apache Kafka באמצעות חיבור חדש ל-Apache Kafka, מבצעים את השלבים הבאים:

1. לוחצים על הרכיב Apache Kafka trigger (טריגר של Apache Kafka) בכלי לעריכת שילובים כדי לפתוח את חלונית הגדרות הטריגר.
2. לוחצים על Configure Apache Kafka trigger (הגדרת טריגר של Apache Kafka).
3. מדלגים על השדה אזור.
4. לוחצים על Connection (קישור) ובוחרים באפשרות Create Connection (יצירת קישור) מהרשימה. מופיעה החלונית Create Connection (יצירת חיבור).
5. בשלב מיקום, בוחרים את המיקום של חיבור Apache Kafka החדש:
   1. אזור: בוחרים אזור מהרשימה.
   2. לוחצים על הבא.
6. בשלב Connection Details (פרטי החיבור), מזינים פרטים על החיבור החדש ל-Apache Kafka:
   1. גרסת המחבר: בוחרים גרסה זמינה של המחבר Apache Kafka מהרשימה.
   2. שם החיבור: מזינים שם לחיבור Apache Kafka.
      הערה: השמות של החיבורים צריכים לעמוד בקריטריונים הבאים:

      • שמות החיבורים יכולים לכלול אותיות, מספרים או מקפים.
      • האותיות צריכות להיות קטנות.
      • שמות החיבורים צריכים להתחיל באות ולהסתיים באות או במספר.
      • שמות החיבורים לא יכולים לכלול יותר מ-49 תווים.
      • במחברים שתומכים בהרשמה לאירועים, שמות החיבורים לא יכולים להתחיל בקידומת goog.
   3. (אופציונלי) תיאור: מזינים תיאור לקישור.
   4. (אופציונלי) הפעלת Cloud Logging: מסמנים את התיבה הזו כדי לאחסן את כל נתוני היומן של החיבור.
   5. חשבון שירות: בוחרים חשבון שירות עם תפקידי ה-IAM הנדרשים לחיבור Apache Kafka.
   6. האפשרות הפעלת מינוי לאירועים, לישויות ולפעולות מסומנת כברירת מחדל לחיבור Apache Kafka.
      הערה: המחבר הזה לא תומך באפשרות Enable only event subscription.
   7. Type Detection Scheme: בוחרים באפשרות MessageOnly.
   8. Registry Service: שירות Registry Schema שמשמש לעבודה עם סכימות של נושאים.
   9. סוג הרישום: סוג הסכימה שצוין לנושא מסוים.
   10. Registry Version: גרסת הסכימה שנקראת מ-RegistryUrl עבור הנושא שצוין.
   11. משתמש במאגר: שם המשתמש או ערך מפתח הגישה לאישור בשרת שצוין ב-RegistryUrl.
   12. ‫Registry Password: סוד ב-Secret Manager שמכיל את הסיסמה או את ערך מפתח הסוד לאימות בשרת שצוין ב-RegistryUrl.
   13. אופציונלי: מגדירים את ההגדרות של צומת החיבור:
       • מספר מינימלי של צמתים: מזינים את המספר המינימלי של צמתי חיבור.
       • מספר הצמתים המקסימלי: מזינים את מספר צמתי החיבור המקסימלי.

       צומת הוא יחידה (או עותק) של חיבור שמבצעת עיבוד של עסקאות. כדי לעבד יותר עסקאות לחיבור נדרשים יותר צמתים, ולהפך: כדי לעבד פחות עסקאות נדרשים פחות צמתים. כדי להבין איך הצמתים משפיעים על התמחור של המחבר, אפשר לעיין במאמר בנושא תמחור של צמתי חיבור. אם לא מזינים ערכים, כברירת מחדל, מספר הצמתים המינימלי מוגדר כ-2 (לזמינות טובה יותר) ומספר הצמתים המקסימלי מוגדר כ-50.

   הערה: אפשר להתאים אישית את הערכים של צומת החיבור רק אם אתם לקוחות עם תשלום לפי שימוש.
   14. אופציונלי: לוחצים על + הוספת תווית כדי להוסיף תווית לקישור בצורה של צמד מפתח/ערך.
   15. הפעלת SSL: בשדה הזה מגדירים אם SSL מופעל.
   16. לוחצים על הבא.
7. בקטע Destinations (יעדים), מזינים את הפרטים של שרת ה-bootstrap של Kafka שאליו רוצים להתחבר.
   1. סוג היעד: בוחרים סוג יעד.
      • כדי לציין את שם המארח או את כתובת ה-IP של היעד, בוחרים באפשרות כתובת המארח ומזינים את הכתובת בשדה מארח 1.
      • כדי ליצור חיבור פרטי, בוחרים באפשרות Endpoint attachment (צירוף נקודת קצה). ברשימה Endpoint Attachment, בוחרים את קובץ ה-Endpoint Attachment שנוצר עבור מערכת ה-Backend.
      הערה: מידע על יצירת צירוף של נקודת קצה זמין במאמר קישוריות לרשת פרטית. אחרי שיוצרים את ההצמדה של נקודת הקצה, היא מופיעה ברשימה Endpoint Attachment.

      אם רוצים ליצור חיבור ציבורי למערכות העורפיות עם אבטחה נוספת, אפשר להגדיר כתובות IP סטטיות יוצאות לחיבורים, ואז להגדיר את כללי חומת האש כך שרק כתובות ה-IP הסטטיות הספציפיות יופיעו ברשימת ההיתרים.

      כדי לציין עוד שרתי bootstrap של Kafka, לוחצים על + הוספת יעד.

   2. לוחצים על הבא.
8. בקטע אימות, מזינים את פרטי האימות.
   1. בוחרים סוג אימות ומזינים את הפרטים הרלוונטיים.

      החיבור ל-Apache Kafka תומך בסוגי האימות הבאים:

      • שם משתמש וסיסמה
        • שם משתמש: שם המשתמש של Apache Kafka שבו רוצים להשתמש לחיבור.
        • סיסמה: סוד ב-Secret Manager שמכיל את הסיסמה שמשויכת לשם המשתמש ב-Apache Kafka.
        • סכמת אימות: הסכמה שמשמשת לאימות.

          חיבור Apache Kafka תומך בסכימות האימות הבאות:

          • פשוט
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Not Available

        אם רוצים להשתמש בכניסה אנונימית, בוחרים באפשרות לא זמין.

   2. לוחצים על הבא.
9. מזינים את ההגדרה של תור ההודעות המתות. אם מגדירים תיבת דואר להודעות שלא נמסרו, החיבור כותב את האירועים שלא עברו עיבוד אל נושא Pub/Sub שצוין. ממלאים את הפרטים הבאים:
   1. מזהה פרויקט של הודעות שלא ניתן למסור: מזהה הפרויקט ב-Google Cloud שבו הגדרתם את נושא ה-Pub/Sub של הודעות שלא ניתן למסור.
   2. נושא להודעות ללא מוצא: נושא Pub/Sub שבו רוצים לכתוב את הפרטים של האירוע שלא עבר עיבוד.
10. לוחצים על הבא.
11. בדיקה: בודקים את פרטי החיבור והאימות.
12. לוחצים על יצירה.

פלט של טריגר

תהליך ההגדרה של מינוי לאירועים בטריגר Apache Kafka נמשך כמה דקות. אפשר לראות את הסטטוס של המינוי לאירוע בחלונית ההגדרה של הטריגר, בקטע פרטי המינוי לאירוע.

הטריגר של Apache Kafka מציין את הסטטוס של מינוי לאירוע באמצעות המצבים הבאים:

• ‫Creating: מציין שהטריגר נרשם למינוי האירוע.
• ‫Active: מציין שהטריגר נרשם בהצלחה למינוי לאירוע.
• ‫Error: מציין שיש בעיה במינוי לאירועים שהוגדר.

בנוסף לסטטוס המינוי לאירוע, בקטע פרטי המינוי לאירוע מוצגים גם פרטים אחרים כמו אזור החיבור, שם החיבור ושם המינוי לאירוע.

משתנה הפלט של הטריגר

לכל אירוע, הטריגר של Apache Kafka יוצר משתנה פלט ConnectorEventPayload (בפורמט JSON) שאפשר להשתמש בו במשימות הבאות. המשתנה יכיל את מטען הנתונים מהאירוע של Apache Kafka. לדוגמה:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

הצגת מינויים לאירועים

כדי לראות ולנהל את כל המינויים לאירועים שמשויכים לחיבור ב-Integration Connectors, פועלים לפי השלבים הבאים:

1. עוברים לדף Integration Connectors > Connections.

   כניסה לדף Connections

2. לוחצים על החיבור שרוצים לראות את המינויים שלו.
3. לוחצים על הכרטיסייה מינויים לאירועים.

   כאן מוצגים כל המינויים לאירועים של החיבור.

עריכת טריגר של Apache Kafka

אפשר לערוך טריגר של Apache Kafka כדי לשנות או לעדכן את הגדרות החיבור ואת פרטי המינוי לאירועים.

חשוב: כשעורכים או משנים טריגר של Apache Kafka, אפשר לשמור את מינוי האירועים שהוגדר קודם ומצורף לטריגר, או למחוק אותו. מחיקה של מינוי לאירוע תשפיע על כל השילובים שפורסמו ומשתמשים במינוי הזה לאירוע.

כדי לערוך טריגר של Apache Kafka:

1. לוחצים על הרכיב Apache Kafka trigger (טריגר של Apache Kafka) בכלי לעריכת שילובים כדי לפתוח את חלונית הגדרות הטריגר.
2. לוחצים על Configure Apache Kafka trigger (הגדרת טריגר של Apache Kafka).
3. בדף Connector Event Trigger Editor (עורך טריגרים של אירועים במחבר), מבצעים את הפעולות הבאות:
   1. כדי לשמור את המינוי הקודם לאירועים, לוחצים על שמירה. אחרת, לוחצים על מחיקה.
      אזהרה: מחיקה של מינוי לאירוע תשפיע על כל השילובים שפורסמו ומשתמשים במינוי לאירוע. אי אפשר לבטל את הפעולה הזו.
   2. מעדכנים את הגדרות החיבור ואת פרטי המינוי לאירועים לפי הצורך.
   3. לוחצים על סיום.

אפשר לראות את פרטי החיבור וההרשמה לאירועים המעודכנים בחלונית ההגדרות של הטריגר, בקטע פרטי הרשמה לאירועים.

מכסות ומגבלות

מידע על מכסות ומגבלות זמין במאמר מכסות ומגבלות.

המאמרים הבאים

• מידע על כל המשימות והטריגרים
• איך בודקים ומפרסמים שילוב
• מידע נוסף על טיפול בשגיאות
• מידע נוסף על יומני ביצוע של שילובים