איסוף יומנים של Fivetran

גרסת מנתח הנתונים: 1.0

נתמך ב:

במסמך הזה מוסבר איך להגדיר את Fivetran לשליחת יומנים ל-Google Security Operations באמצעות ווּבְּהוּקים.

‫Fivetran היא פלטפורמה לשילוב נתונים שמבצעת אוטומציה של צינורות נתונים ממקורות שונים למחסני נתונים. ‫Fivetran יוצרת אירועים תפעוליים, כולל אירועי סנכרון של מחברים, אירועי טרנספורמציה ושינויים בסטטוס החיבור. אפשר לשלוח את האירועים האלה לנקודות קצה חיצוניות באמצעות ווּבּהוּקים (webhooks) לדואר יוצא לצורך מעקב, התראות וניתוח אבטחה.

לפני שמתחילים

חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:

  • מופע של Google SecOps.
  • חשבון Fivetran עם הרשאות אדמין או הרשאות ברמת החשבון.
  • גישה למסוף Google Cloud (ליצירת מפתח API).
  • חשבון Fivetran עם גישה ל-REST API.

יצירת פיד של webhook ב-Google SecOps

יצירת הפיד

  1. עוברים אל SIEM Settings > Feeds.
  2. לוחצים על + הוספת חדש.
  3. בוחרים באפשרות הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם (לדוגמה, Fivetran Events).
  5. בוחרים באפשרות Webhook בתור סוג המקור.
  6. בוחרים באפשרות Fivetran בתור סוג היומן.
  7. לוחצים על הבא.
  8. מציינים ערכים לפרמטרים הבאים של הקלט:
    • תו מפריד לפיצול (אופציונלי): משאירים את השדה ריק.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
  9. לוחצים על הבא.
  10. בודקים את הגדרות הפיד החדשות ולוחצים על שליחה.

יצירה ושמירה של מפתח סודי

  1. בדף הפרטים של הפיד, לוחצים על יצירת מפתח סודי.
  2. בתיבת דו-שיח מוצג המפתח הסודי.
  3. מעתיקים ושומרים את המפתח הסודי באופן מאובטח.

קבלת כתובת ה-URL של נקודת הקצה של הפיד

  1. עוברים לכרטיסייה פרטים של הפיד.
  2. בקטע Endpoint Information, מעתיקים את Feed endpoint URL.
  3. שומרים את כתובת ה-URL הזו כדי לבצע את השלבים הבאים.
  4. לוחצים על סיום.

יצירת מפתח Google Cloud API

מערכת Google SecOps דורשת מפתח API לצורך אימות.

יצירת מפתח API

  1. נכנסים אל הדף Credentials במסוף Google Cloud.
  2. בוחרים את הפרויקט הרצוי.
  3. לוחצים על Create credentials > API key.
  4. לוחצים על Edit API key כדי להגביל את המפתח.

הגבלת מפתח ה-API

  1. בהגדרות מפתח ה-API:
    • שם: מזינים שם תיאורי (לדוגמה, SecOps Webhook API Key).
  2. בקטע API restrictions (הגבלות על API):
    1. בוחרים באפשרות הגבלת המקש.
    2. בתפריט הנפתח, מחפשים את Google SecOps API (או Chronicle API) ובוחרים בו.
  3. לוחצים על Save.
  4. מעתיקים את הערך של מפתח ה-API ושומרים אותו בצורה מאובטחת.

הגדרת webhook ב-Fivetran

הרכבת ה-webhook URL

  • משלבים את כתובת ה-URL של נקודת הקצה ומפתח ה-API:

    <ENDPOINT_URL>?key=<API_KEY>

יצירת webhook באמצעות Fivetran API בארכיטקטורת REST

קבלת פרטי כניסה ל-Fivetran API

  1. נכנסים לחשבון Fivetran.
  2. עוברים אל הגדרות החשבון > הגדרת API.
  3. אם אין לכם מפתח API, לוחצים על יצירת מפתח API.
  4. מעתיקים את מפתח ה-API ואת ה-API Secret.

יצירת webhook ברמת החשבון

משתמשים בשיטה הזו כדי לקבל אירועים מכל המחברים בחשבון.

  1. פותחים טרמינל ומריצים את הפקודה הבאה:

    curl -X POST [https://api.fivetran.com/v1/webhooks/account](https://api.fivetran.com/v1/webhooks/account) \
        -u "API_KEY:API_SECRET" \
        -H "Content-Type: application/json" \
        -H "Accept: application/json" \
        -d '{
                "url": "[https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY](https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY)",
                "events": [
                        "sync_start",
                        "sync_end",
                        "transformation_start",
                        "transformation_succeeded",
                        "transformation_failed",
                        "connection_successful",
                        "connection_failure",
                        "create_connector",
                        "pause_connector",
                        "resume_connector",
                        "edit_connector",
                        "delete_connector",
                        "force_update_connector",
                        "resync_connector",
                        "resync_table"
                ],
                "active": true,
                "secret": "YOUR_CHRONICLE_SECRET_KEY"
        }'

פרטי ה-webhook

אירועים זמינים של תגובה לפעולה מאתר אחר (webhook)

אירוע תיאור
sync_start הסנכרון של המחבר התחיל
sync_end הסנכרון של המחבר הושלם
transformation_start התחילה טרנספורמציה
transformation_succeeded השינוי הושלם בהצלחה
transformation_failed הטרנספורמציה נכשלה
connection_successful בדיקת החיבור הושלמה בהצלחה
connection_failure בדיקת החיבור נכשלה
create_connector נוצר מחבר חדש

התנהגות של ניסיון חוזר של webhook

מערכת Fivetran מנסה אוטומטית לשלוח שוב ווּבְּהוּקים שנכשלו למשך עד 24 שעות, לפי לוח הזמנים הבא:

ניסיון חוזר הזמן שעבר מאז הניסיון הראשוני
ניסיון חוזר ראשון ‫6 דקות
ניסיון חוזר שני ‫27 דקות
ניסיון חוזר שלישי שעה ו-45 דקות
ניסיון חוזר רביעי ‫6 שעות ו-25 דקות
ניסיון חוזר חמישי ‫23 שעות ו-13 דקות

טבלת מיפוי UDM

שדה היומן מיפוי UDM לוגיקה
jsonPayload.connector_id additional.connector_id הערך הועתק ישירות.
jsonPayload.connector_type additional.connector_type הערך הועתק ישירות.
jsonPayload.data.query additional.query הערך הועתק ישירות.
לא רלוונטי metadata.event_type ההגדרה מבוססת על הנוכחות של הגורם המרכזי והיעד.
jsonPayload.event metadata.product_event_type הערך הועתק ישירות.
jsonPayload.sync_id metadata.product_log_id הערך הועתק ישירות.
jsonPayload.connector_name principal.hostname הערך הועתק ישירות.
resource.labels.email_id principal.user.email_addresses המערכת ממפה את הערך אם הפורמט הוא פורמט תקין של כתובת אימייל.
resource.labels.unique_id principal.user.userid הערך הועתק ישירות.
severity security_result.severity ‫INFO ממופה ל-INFORMATIONAL.
logName target.resource.name הערך הועתק ישירות.
לא רלוונטי target.resource.type מגדירים את הערך DATABASE.
לא רלוונטי metadata.product_name מגדירים את הערך FIVETRAN.
לא רלוונטי metadata.vendor_name מגדירים את הערך FIVETRAN.

שנה רישום

צפייה ביומן השינויים של כלי הניתוח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.