איסוף יומני ביקורת של OpenAI

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני ביקורת של OpenAI ב-Google Security Operations באמצעות Google Cloud Storage V2.

‫OpenAI מספקת את Audit Logs API לארגונים שמשתמשים בפלטפורמת OpenAI API. ה-API עוקב אחרי פעולות של משתמשים ושינויים בהגדרות בארגון, כולל אירועים במחזור החיים של מפתחות API, ניהול משתמשים, שינויים בפרויקטים, הזמנות, פעילות בחשבונות שירות, אירועי התחברות והתנתקות ושינויים בהגדרות של הארגון.

לפני שמתחילים

ודאו שאתם עומדים בדרישות המוקדמות הבאות:

  • מכונה של Google SecOps
  • פרויקט ב-GCP עם ממשקי ה-API של Cloud Storage,‏ Cloud Run,‏ Pub/Sub ו-Cloud Scheduler מופעלים
  • הרשאות ליצירה ולניהול של קטגוריות ב-GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות של GCS
  • הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
  • תפקיד בעלי הארגון בארגון שלכם בפלטפורמת OpenAI API

הפעלת רישום ביומן הביקורת של OpenAI

כדי לגשת ליומני הביקורת, צריך להפעיל את רישום הביקורת בארגון.

  1. נכנסים לפלטפורמת OpenAI בכתובת https://platform.openai.com.
  2. עוברים אל הגדרות > ארגון > אמצעי בקרה על נתונים.
  3. גוללים למטה לקטע רישום ביומן ביקורת.
  4. בקטע יומן ביקורת, לוחצים על הפעלה.
  5. לוחצים על Save.

יצירת מפתח OpenAI Admin API

  1. נכנסים לפלטפורמת OpenAI בכתובת https://platform.openai.com.
  2. בחלונית הימנית, לוחצים על מפתחות אדמין.
  3. אפשר גם לעבור ישירות אל https://platform.openai.com/settings/organization/admin-keys.
  4. לוחצים על יצירת מפתח אדמין חדש.
  5. בשדה Name, מזינים שם תיאורי (לדוגמה, Google SecOps Integration).
  6. לוחצים על יצירה.
  7. מעתיקים את מפתח ה-API מיד ושומרים אותו במקום מאובטח.

בדיקת הגישה ל-API

  • לפני שממשיכים בתהליך השילוב, בודקים את פרטי הכניסה:

    # Replace with your actual Admin API key
    OPENAI_ADMIN_KEY="your-admin-api-key"
    
    # Test audit logs API access
    curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \
        -H "Content-Type: application/json" \
        "https://api.openai.com/v1/organization/audit_logs?limit=5" \
        | python3 -m json.tool
    

תגובה מוצלחת מחזירה אובייקט JSON עם שדה object שמוגדר ל-list ומערך data שמכיל רשומות ביומן הביקורת.

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים למסוף Google Cloud.
  2. בוחרים את הפרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, openai-auditlog-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1)
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
    בקרת גישה אחידה (מומלץ)
    כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים
  6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

  1. במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
  2. לוחצים על Create Service Account.
  3. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים openai-auditlog-collector-sa
    • Service account description: מזינים Service account for Cloud Run function to collect OpenAI audit logs
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
    3. לוחצים על + הוספת תפקיד.
    4. מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
    5. לוחצים על + הוספת תפקיד.
    6. מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

הענקת הרשאות IAM בקטגוריית GCS

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (openai-auditlog-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יצירת נושא Pub/Sub

  1. במסוף GCP, נכנסים לדף Pub/Sub > Topics.
  2. לוחצים על Create topic.
  3. מזינים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים openai-auditlog-trigger
    • משאירים את שאר ההגדרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הודעות Pub/Sub מ-Cloud Scheduler יפעילו את פונקציית Cloud Run כדי לאחזר יומני ביקורת מ-OpenAI Audit Logs API ולכתוב אותם ב-GCS.

  1. במסוף GCP, נכנסים ל-Cloud Run.
  2. לוחצים על Create service.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
  4. בקטע Configure, מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות openai-auditlog-collector
    אזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר.
  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את openai-auditlog-trigger.
    4. לוחצים על Save.
  6. בקטע אימות:

    1. לוחצים על דרישת אימות.
    2. בודקים את ניהול הזהויות והרשאות הגישה (IAM).
  7. גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: בוחרים באפשרות openai-auditlog-collector-sa
  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets.
    2. לוחצים על ‎+ Add variable לכל משתנה סביבה:
    שם משתנה ערך לדוגמה תיאור
    GCS_BUCKET openai-auditlog-logs שם הקטגוריה ב-GCS
    GCS_PREFIX openai-auditlog קידומת לקובצי יומן
    STATE_KEY openai-auditlog/state.json נתיב קובץ תמונת המצב
    OPENAI_ADMIN_KEY your-admin-api-key מפתח OpenAI Admin API
    MAX_RECORDS 5000 מספר הרשומות המקסימלי לכל הרצה
    PAGE_SIZE 100 רשומות לכל דף API (מקסימום 100)
    LOOKBACK_HOURS 24 תקופת המבט לאחור הראשונית
  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • ‫Request timeout: מזינים 600 שניות (10 דקות)
  11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources:
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר
      • מעבד (CPU): בוחרים באפשרות 1
  12. בקטע Revision scaling:

    • Minimum number of instances: מזינים 0
    • Maximum number of instances: מזינים 100
  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (דקה או שתיים).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

  1. בשדה Entry point, מזינים main.
  2. בעורך הקוד, יוצרים שני קבצים:

    • main.py:

      import functions_framework
      from google.cloud import storage
      import json
      import os
      import urllib3
      from datetime import datetime, timezone, timedelta
      import time
      
      http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
      )
      
      storage_client = storage.Client()
      
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog')
      STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json')
      OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY')
      MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
      PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
      LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
      
      API_BASE = 'https://api.openai.com'
      AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs'
      
      @functions_framework.cloud_event
      def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs
        and write them to GCS.
      
        Args:
          cloud_event: CloudEvent object containing Pub/Sub message
        """
      
        if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]):
          print('Error: Missing required environment variables')
          return
      
        try:
          bucket = storage_client.bucket(GCS_BUCKET)
          state = load_state(bucket)
          now = datetime.now(timezone.utc)
      
          if isinstance(state, dict) and state.get('last_effective_at'):
            try:
              last_effective_at = int(state['last_effective_at'])
              last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc)
              last_time = last_time - timedelta(minutes=2)
            except Exception as e:
              print(f"Warning: Could not parse last_effective_at: {e}")
              last_time = now - timedelta(hours=LOOKBACK_HOURS)
          else:
            last_time = now - timedelta(hours=LOOKBACK_HOURS)
      
          start_unix = int(last_time.timestamp())
          end_unix = int(now.timestamp())
      
          print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}")
      
          records, newest_effective_at = fetch_audit_logs(
            start_unix=start_unix,
            end_unix=end_unix,
            page_size=PAGE_SIZE,
            max_records=MAX_RECORDS,
          )
      
          if not records:
            print("No new audit log records found.")
            save_state(bucket, end_unix)
            return
      
          timestamp = now.strftime('%Y%m%d_%H%M%S')
          object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson"
          blob = bucket.blob(object_key)
      
          ndjson = '\n'.join(
            [json.dumps(record, ensure_ascii=False) for record in records]
          ) + '\n'
          blob.upload_from_string(ndjson, content_type='application/x-ndjson')
      
          print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
      
          if newest_effective_at:
            save_state(bucket, newest_effective_at)
          else:
            save_state(bucket, end_unix)
      
          print(f"Successfully processed {len(records)} records")
      
        except Exception as e:
          print(f'Error processing audit logs: {str(e)}')
          raise
      
      def load_state(bucket):
        """Load state from GCS."""
        try:
          blob = bucket.blob(STATE_KEY)
          if blob.exists():
            return json.loads(blob.download_as_text())
        except Exception as e:
          print(f"Warning: Could not load state: {e}")
        return {}
      
      def save_state(bucket, last_effective_at):
        """Save the last effective_at Unix timestamp to GCS state file."""
        try:
          state = {
            'last_effective_at': last_effective_at,
            'last_run': datetime.now(timezone.utc).isoformat()
          }
          blob = bucket.blob(STATE_KEY)
          blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
          )
          print(f"Saved state: last_effective_at={last_effective_at}")
        except Exception as e:
          print(f"Warning: Could not save state: {e}")
      
      def fetch_audit_logs(start_unix, end_unix, page_size, max_records):
        """
        Fetch audit logs from the OpenAI API with pagination and rate limiting.
      
        Args:
          start_unix: Start time as Unix seconds
          end_unix: End time as Unix seconds
          page_size: Number of records per page (max 100)
          max_records: Maximum total records to fetch
      
        Returns:
          Tuple of (records list, newest effective_at Unix timestamp)
        """
        headers = {
          'Authorization': f'Bearer {OPENAI_ADMIN_KEY}',
          'Content-Type': 'application/json',
        }
      
        records = []
        newest_effective_at = None
        page_num = 0
        backoff = 1.0
        cursor = None
      
        while True:
          page_num += 1
      
          if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break
      
          params = []
          params.append(f"effective_at[gte]={start_unix}")
          params.append(f"effective_at[lte]={end_unix}")
          params.append(f"limit={min(page_size, max_records - len(records))}")
          if cursor:
            params.append(f"after={cursor}")
      
          url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}"
      
          try:
            response = http.request('GET', url, headers=headers)
      
            if response.status == 429:
              retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
              print(f"Rate limited (429). Retrying after {retry_after}s...")
              time.sleep(retry_after)
              backoff = min(backoff * 2, 30.0)
              continue
      
            backoff = 1.0
      
            if response.status != 200:
              print(f"HTTP Error: {response.status}")
              response_text = response.data.decode('utf-8')
              print(f"Response body: {response_text}")
              return [], None
      
            data = json.loads(response.data.decode('utf-8'))
      
            page_results = data.get('data', [])
      
            if not page_results:
              print(f"No more results (empty page)")
              break
      
            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)
      
            for event in page_results:
              try:
                effective_at = event.get('effective_at')
                if effective_at is not None:
                  if newest_effective_at is None or effective_at > newest_effective_at:
                    newest_effective_at = effective_at
              except Exception as e:
                print(f"Warning: Could not parse event time: {e}")
      
            has_more = data.get('has_more', False)
            if not has_more:
              print("No more pages (has_more=false)")
              break
      
            last_id = data.get('last_id')
            if not last_id:
              print("No more pages (no last_id)")
              break
      
            cursor = last_id
      
          except Exception as e:
            print(f"Error fetching audit logs: {e}")
            return [], None
      
        print(f"Retrieved {len(records)} total records from {page_num} pages")
        return records, newest_effective_at
      
    • requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. מחכים שהפריסה תסתיים (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

  1. במסוף GCP, נכנסים ל-Cloud Scheduler.
  2. לוחצים על Create Job.
  3. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם openai-auditlog-collector-hourly
    אזור בוחרים את אותו אזור כמו של פונקציית Cloud Run.
    תדירות ‫0 * * * * (כל שעה, בשעה עגולה)
    אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC)
    סוג היעד Pub/Sub
    נושא בחירת openai-auditlog-trigger
    גוף ההודעה ‫{} (אובייקט JSON ריק)
  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:

תדירות ביטוי Cron תרחיש לדוגמה
כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
כל 15 דקות */15 * * * * נפח חיפושים בינוני
כל שעה 0 * * * * רגיל (מומלץ)
כל 6 שעות 0 */6 * * * נפח נמוך, עיבוד ברצף (batch processing)
יומי 0 0 * * * איסוף נתונים היסטוריים

בדיקת השילוב

  1. במסוף Cloud Scheduler, מוצאים את המשימה (openai-auditlog-collector-hourly).
  2. לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
  3. מחכים כמה שניות.
  4. נכנסים לדף Cloud Run > Services.
  5. לוחצים על openai-auditlog-collector.
  6. לוחצים על הכרטיסייה Logs.
  7. מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:

    Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Page 1: Retrieved X events
    Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  8. נכנסים לדף Cloud Storage > Buckets.

  9. לוחצים על openai-auditlog-logs.

  10. עוברים לתיקייה openai-auditlog/.

  11. מוודאים שנוצר קובץ .ndjson חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

  • ‫HTTP 401: מוודאים שמשתנה הסביבה OPENAI_ADMIN_KEY נכון ושהמפתח לא בוטל.
  • ‫HTTP 403: צריך לוודא שמפתח ה-API הוא מפתח Admin API שנוצר על ידי בעלי הארגון.
  • ‫HTTP 429: הגבלת קצב של יצירת בקשות – הפונקציה תנסה שוב באופן אוטומטי עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff)
  • משתני סביבה חסרים: מוודאים שכל המשתנים הנדרשים מוגדרים בפונקציית Cloud Run.

אחזור של חשבון השירות של Google SecOps

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, OpenAI Audit Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות יומני ביקורת של OpenAI בתור סוג יומן. לוחצים על Get Service Account (קבלת חשבון שירות). מוצגת כתובת אימייל ייחודית של חשבון שירות. לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  7. מעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.

  8. לוחצים על הבא.

  9. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

      gs://openai-auditlog-logs/openai-auditlog/
      
    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה הרצויה:
      • Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
      • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)
    • מרחב השמות של הנכס: מרחב השמות של הנכס
    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה
  10. לוחצים על הבא.

  11. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

מתן הרשאות IAM לחשבון השירות של Google SecOps

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על openai-auditlog-logs.
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
    • Assign roles: בוחרים באפשרות Storage Object Viewer.
  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
actor.session.ip_address_details.region_code additional.fields מוזגו כצמדי מפתח/ערך
actor.session.ip_address_details.asn additional.fields
effective_at metadata.event_timestamp ההמרה מחותמת הזמן של UNIX
has_principal metadata.event_type צריך להגדיר את הערך "STATUS_UPDATE" אם הערך של has_principal הוא true; את הערך "NETWORK_CONNECTION" אם הערכים של has_principal ו-has_target הם true; את הערך "FILE_COPY" אם הערכים של has_principal, ‏ has_file ו-has_source_file הם true; את הערך "FILE_UNCATEGORIZED" אם הערכים של has_principal ו-has_file הם true; את הערך "USER_UNCATEGORIZED" אם הערך של has_user הוא true; אחרת, צריך להגדיר את הערך "GENERIC_EVENT"
has_user metadata.event_type
has_target metadata.event_type
has_file metadata.event_type
has_source_file metadata.event_type
actor.session.user_agent network.http.parsed_user_agent הערך מועתק ישירות ומומר לסוכן משתמש מנותח
actor.session.ja3 network.tls.client.ja3 הערך הועתק ישירות
actor.session.ip_address principal.asset.ip הערך הועתק ישירות
actor.session.ip_address principal.ip הערך הועתק ישירות
actor.session.ip_address_details.city principal.location.city הערך הועתק ישירות
actor.session.ip_address_details.country principal.location.country_or_region הערך הועתק ישירות
actor.session.ip_address_details.latitude principal.location.region_latitude הוגדר כצף
actor.session.ip_address_details.longitude principal.location.region_longitude הוגדר כצף
actor.session.ip_address_details.region principal.location.state הערך הועתק ישירות
actor.session.user.email principal.user.email_addresses הערך הועתק ישירות
actor.session.user.id principal.user.userid חולץ באמצעות תבנית grok
actor.session.ja4 security_result.detection_fields מוזג כצמד מפתח/ערך עם המפתח "ja4"
סוג security_result.summary הערך הועתק ישירות
metadata.product_name metadata.product_name צריך להגדיר את הערך "OPENAI_AUDITLOG"
metadata.vendor_name metadata.vendor_name צריך להגדיר את הערך "OPENAI_AUDITLOG"

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.