이 페이지는 Cloud Translation API를 통해 번역되었습니다.

Cisco CloudLock CASB 로그 수집

다음에서 지원:

Google SecOps SIEM

이 문서에서는 Amazon S3를 사용하여 Cisco CloudLock CASB 로그를 Google Security Operations에 수집하는 방법을 설명합니다. 파서는 JSON 로그에서 필드를 추출하여 통합 데이터 모델 (UDM)로 변환하고 매핑합니다. 날짜 파싱을 처리하고, 특정 필드를 문자열로 변환하고, 필드를 UDM 엔티티 (메타데이터, 타겟, 보안 결과, 정보)에 매핑하고, matches를 반복하여 감지 필드를 추출하고, 궁극적으로 추출된 모든 데이터를 @output 필드로 병합합니다.

시작하기 전에

Google SecOps 인스턴스
Cisco CloudLock CASB 테넌트에 대한 액세스 권한
AWS (S3, IAM, Lambda, EventBridge)에 대한 권한 액세스

Cisco CloudLock 기본 요건 가져오기

Cisco CloudLock CASB 관리 콘솔에 로그인합니다.
설정으로 이동합니다.
인증 및 API 탭을 클릭합니다.
API에서 생성을 클릭하여 액세스 토큰을 만듭니다.
다음 세부정보를 복사하여 안전한 위치에 저장합니다.
- API 액세스 토큰
- CloudLock API 서버 URL (조직별 URL은 Cloudlock 지원팀에 문의)

Google SecOps용 AWS S3 버킷 및 IAM 구성

이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예: cisco-cloudlock-logs).
이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
생성된 사용자를 선택합니다.
보안 사용자 인증 정보 탭을 선택합니다.
액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
사용 사례로 서드 파티 서비스를 선택합니다.
다음을 클릭합니다.
선택사항: 설명 태그를 추가합니다.
액세스 키 만들기를 클릭합니다.
CSV 파일 다운로드를 클릭하여 향후 참조할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
완료를 클릭합니다.
권한 탭을 선택합니다.
권한 정책 섹션에서 권한 추가를 클릭합니다.
권한 추가를 선택합니다.
정책 직접 연결을 선택합니다.
AmazonS3FullAccess 정책을 검색합니다.
정책을 선택합니다.
다음을 클릭합니다.
권한 추가를 클릭합니다.

S3 업로드용 IAM 정책 및 역할 구성

AWS 콘솔에서 IAM > 정책으로 이동합니다.
정책 만들기 > JSON 탭을 클릭합니다.

다음 정책을 입력합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPutObjects",
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::cisco-cloudlock-logs/*"
    },
    {
      "Sid": "AllowGetStateObject",
      "Effect": "Allow",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::cisco-cloudlock-logs/cloudlock/state.json"
    }
  ]
}

다른 버킷 이름을 입력한 경우 cisco-cloudlock-logs을 해당 이름으로 바꿉니다.

다음 > 정책 만들기를 클릭합니다.
IAM > 역할 > 역할 생성 > AWS 서비스 > Lambda로 이동합니다.
새로 만든 정책을 연결합니다.
역할 이름을 cloudlock-lambda-role로 지정하고 역할 만들기를 클릭합니다.

Lambda 함수 만들기

AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
처음부터 작성을 클릭합니다.
다음 구성 세부정보를 제공합니다.

설정 값

이름 cloudlock-data-export

런타임 Python 3.12 (최신 지원 버전)

아키텍처 x86_64

실행 역할 cloudlock-lambda-role

설정	값
이름	`cloudlock-data-export`
런타임	Python 3.12 (최신 지원 버전)
아키텍처	x86_64
실행 역할	`cloudlock-lambda-role`

함수가 생성되면 코드 탭을 열고 스텁을 삭제하고 다음 코드를 입력합니다 (cloudlock-data-export.py).

import json
import boto3
import urllib3
import os
from datetime import datetime, timedelta
import logging
import time

# Configure logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

# Initialize S3 client
s3_client = boto3.client('s3')

def lambda_handler(event, context):
    """
    Lambda function to fetch Cisco CloudLock CASB data and store in S3
    """

    # Environment variables
    s3_bucket = os.environ['S3_BUCKET']
    s3_prefix = os.environ['S3_PREFIX']
    state_key = os.environ['STATE_KEY']
    api_token = os.environ['CLOUDLOCK_API_TOKEN']
    api_base = os.environ['CLOUDLOCK_API_BASE']

    # HTTP client
    http = urllib3.PoolManager()

    try:
        # Get last run state for all endpoints
        state = get_last_run_state(s3_bucket, state_key)

        # Fetch incidents data (using updated_after for incremental sync)
        incidents_updated_after = state.get('incidents_updated_after')
        incidents, new_incidents_state = fetch_cloudlock_incidents(
            http, api_base, api_token, incidents_updated_after
        )
        if incidents:
            upload_to_s3_ndjson(s3_bucket, s3_prefix, 'incidents', incidents)
            logger.info(f"Uploaded {len(incidents)} incidents to S3")
            state['incidents_updated_after'] = new_incidents_state

        # Fetch activities data (using from/to time range)
        activities_from = state.get('activities_from')
        if not activities_from:
            activities_from = (datetime.utcnow() - timedelta(hours=24)).isoformat()

        activities_to = datetime.utcnow().isoformat()
        activities = fetch_cloudlock_activities(
            http, api_base, api_token, activities_from, activities_to
        )
        if activities:
            upload_to_s3_ndjson(s3_bucket, s3_prefix, 'activities', activities)
            logger.info(f"Uploaded {len(activities)} activities to S3")
            state['activities_from'] = activities_to

        # Fetch entities data (using updated_after for incremental sync)
        entities_updated_after = state.get('entities_updated_after')
        entities, new_entities_state = fetch_cloudlock_entities(
            http, api_base, api_token, entities_updated_after
        )
        if entities:
            upload_to_s3_ndjson(s3_bucket, s3_prefix, 'entities', entities)
            logger.info(f"Uploaded {len(entities)} entities to S3")
            state['entities_updated_after'] = new_entities_state

        # Update consolidated state
        state['updated_at'] = datetime.utcnow().isoformat()
        update_last_run_state(s3_bucket, state_key, state)

        return {
            'statusCode': 200,
            'body': json.dumps('CloudLock data export completed successfully')
        }

    except Exception as e:
        logger.error(f"Error in lambda_handler: {str(e)}")
        return {
            'statusCode': 500,
            'body': json.dumps(f'Error: {str(e)}')
        }

def make_api_request(http, url, headers, retries=3):
    """
    Make API request with exponential backoff retry logic
    """
    for attempt in range(retries):
        try:
            response = http.request('GET', url, headers=headers)

            if response.status == 200:
                return response
            elif response.status == 429:  # Rate limit
                retry_after = int(response.headers.get('Retry-After', 60))
                logger.warning(f"Rate limited, waiting {retry_after} seconds")
                time.sleep(retry_after)
            else:
                logger.error(f"API request failed with status {response.status}")

        except Exception as e:
            logger.error(f"Request attempt {attempt + 1} failed: {str(e)}")
            if attempt < retries - 1:
                wait_time = 2 ** attempt
                time.sleep(wait_time)
            else:
                raise

    return None

def fetch_cloudlock_incidents(http, api_base, api_token, updated_after=None):
    """
    Fetch incidents data from CloudLock API using updated_after for incremental sync
    API Reference: https://developer.cisco.com/docs/cloud-security/
    """
    url = f"{api_base}/api/v2/incidents"
    headers = {
        'Authorization': f'Bearer {api_token}',
        'Content-Type': 'application/json'
    }

    params = {
        'limit': 1000,
        'offset': 0,
        'count_total': 'false'
    }

    if updated_after:
        params['updated_after'] = updated_after

    all_data = []
    latest_updated_at = updated_after

    try:
        while True:
            # Build URL with parameters (avoid logging sensitive data)
            param_string = '&'.join([f"{k}={v}" for k, v in params.items()])
            full_url = f"{url}?{param_string}"

            logger.info(f"Fetching incidents with offset: {params['offset']}")

            response = make_api_request(http, full_url, headers)
            if not response:
                break

            data = json.loads(response.data.decode('utf-8'))
            batch_data = data if isinstance(data, list) else data.get('data', [])

            if not batch_data:
                break

            all_data.extend(batch_data)

            # Track latest updated_at for incremental sync
            for item in batch_data:
                if 'updated_at' in item:
                    item_updated_at = item['updated_at']
                    if not latest_updated_at or item_updated_at > latest_updated_at:
                        latest_updated_at = item_updated_at

            # Check pagination
            if len(batch_data) < params['limit']:
                break

            params['offset'] += params['limit']

        logger.info(f"Fetched {len(all_data)} incidents")
        return all_data, latest_updated_at

    except Exception as e:
        logger.error(f"Error fetching incidents: {str(e)}")
        return [], updated_after

def fetch_cloudlock_activities(http, api_base, api_token, from_time, to_time):
    """
    Fetch activities data from CloudLock API using time range
    API Reference: https://developer.cisco.com/docs/cloud-security/
    """
    url = f"{api_base}/api/v2/activities"
    headers = {
        'Authorization': f'Bearer {api_token}',
        'Content-Type': 'application/json'
    }

    params = {
        'limit': 1000,
        'offset': 0,
        'from': from_time,
        'to': to_time
    }

    all_data = []

    try:
        while True:
            param_string = '&'.join([f"{k}={v}" for k, v in params.items()])
            full_url = f"{url}?{param_string}"

            logger.info(f"Fetching activities with offset: {params['offset']}")

            response = make_api_request(http, full_url, headers)
            if not response:
                break

            data = json.loads(response.data.decode('utf-8'))
            batch_data = data if isinstance(data, list) else data.get('data', [])

            if not batch_data:
                break

            all_data.extend(batch_data)

            if len(batch_data) < params['limit']:
                break

            params['offset'] += params['limit']

        logger.info(f"Fetched {len(all_data)} activities")
        return all_data

    except Exception as e:
        logger.error(f"Error fetching activities: {str(e)}")
        return []

def fetch_cloudlock_entities(http, api_base, api_token, updated_after=None):
    """
    Fetch entities data from CloudLock API using updated_after for incremental sync
    API Reference: https://developer.cisco.com/docs/cloud-security/
    """
    url = f"{api_base}/api/v2/entities"
    headers = {
        'Authorization': f'Bearer {api_token}',
        'Content-Type': 'application/json'
    }

    params = {
        'limit': 1000,
        'offset': 0
    }

    if updated_after:
        params['updated_after'] = updated_after

    all_data = []
    latest_updated_at = updated_after

    try:
        while True:
            param_string = '&'.join([f"{k}={v}" for k, v in params.items()])
            full_url = f"{url}?{param_string}"

            logger.info(f"Fetching entities with offset: {params['offset']}")

            response = make_api_request(http, full_url, headers)
            if not response:
                break

            data = json.loads(response.data.decode('utf-8'))
            batch_data = data if isinstance(data, list) else data.get('data', [])

            if not batch_data:
                break

            all_data.extend(batch_data)

            # Track latest updated_at for incremental sync
            for item in batch_data:
                if 'updated_at' in item:
                    item_updated_at = item['updated_at']
                    if not latest_updated_at or item_updated_at > latest_updated_at:
                        latest_updated_at = item_updated_at

            if len(batch_data) < params['limit']:
                break

            params['offset'] += params['limit']

        logger.info(f"Fetched {len(all_data)} entities")
        return all_data, latest_updated_at

    except Exception as e:
        logger.error(f"Error fetching entities: {str(e)}")
        return [], updated_after

def upload_to_s3_ndjson(bucket, prefix, data_type, data):
    """
    Upload data to S3 bucket in NDJSON format (one JSON object per line)
    """
    timestamp = datetime.utcnow().strftime('%Y/%m/%d/%H')
    filename = f"{prefix}{data_type}/{timestamp}/cloudlock_{data_type}_{int(datetime.utcnow().timestamp())}.jsonl"

    try:
        # Convert to NDJSON format
        ndjson_content = 'n'.join([json.dumps(item, separators=(',', ':')) for item in data])

        s3_client.put_object(
            Bucket=bucket,
            Key=filename,
            Body=ndjson_content,
            ContentType='application/x-ndjson'
        )
        logger.info(f"Successfully uploaded {filename} to S3")
    except Exception as e:
        logger.error(f"Error uploading to S3: {str(e)}")
        raise

def get_last_run_state(bucket, key):
    """
    Get the last run state from S3 with separate tracking for each endpoint
    """
    try:
        response = s3_client.get_object(Bucket=bucket, Key=key)
        state = json.loads(response['Body'].read().decode('utf-8'))
        return state
    except s3_client.exceptions.NoSuchKey:
        logger.info("No previous state found, starting fresh")
        return {}
    except Exception as e:
        logger.error(f"Error reading state: {str(e)}")
        return {}

def update_last_run_state(bucket, key, state):
    """
    Update the consolidated state in S3
    """
    try:
        s3_client.put_object(
            Bucket=bucket,
            Key=key,
            Body=json.dumps(state, indent=2),
            ContentType='application/json'
        )
        logger.info("Updated state successfully")
    except Exception as e:
        logger.error(f"Error updating state: {str(e)}")
        raise

구성 > 환경 변수로 이동합니다.
수정 > 새 환경 변수 추가를 클릭합니다.
제공된 다음 환경 변수를 입력하고 값으로 바꿉니다.

키 예시 값

S3_BUCKET cisco-cloudlock-logs

S3_PREFIX cloudlock/

STATE_KEY cloudlock/state.json

CLOUDLOCK_API_TOKEN <your-api-token>

CLOUDLOCK_API_BASE <your-cloudlock-api-url>
함수가 생성되면 해당 페이지에 머무르거나 Lambda > 함수 > your-function을 엽니다.
구성 탭을 선택합니다.
일반 구성 패널에서 수정을 클릭합니다.
제한 시간을 5분 (300초)으로 변경하고 저장을 클릭합니다.

참고: 제한 시간은 엄격한 상한입니다. 즉, 타이머가 5분에 도달할 때 함수가 계속 실행 중이면 AWS Lambda가 종료합니다. 더 짧은 실행은 정상적으로 종료되며 실제 실행 시간에 대해서만 요금이 청구됩니다.

키	예시 값
`S3_BUCKET`	`cisco-cloudlock-logs`
`S3_PREFIX`	`cloudlock/`
`STATE_KEY`	`cloudlock/state.json`
`CLOUDLOCK_API_TOKEN`	`<your-api-token>`
`CLOUDLOCK_API_BASE`	`<your-cloudlock-api-url>`

EventBridge 일정 만들기

Amazon EventBridge > 스케줄러 > 일정 만들기로 이동합니다.
다음 구성 세부정보를 제공합니다.
- 반복 일정: 요금 (1 hour)
- 타겟: Lambda 함수 cloudlock-data-export
- 이름: cloudlock-data-export-1h.
일정 만들기를 클릭합니다.

선택사항: Google SecOps용 읽기 전용 IAM 사용자 및 키 만들기

AWS 콘솔 > IAM > 사용자 > 사용자 추가로 이동합니다.
Add users를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 사용자: secops-reader를 입력합니다.
- 액세스 유형: 액세스 키 – 프로그래매틱 액세스를 선택합니다.
사용자 만들기를 클릭합니다.
최소 읽기 정책 (맞춤) 연결: 사용자 > secops-reader > 권한 > 권한 추가 > 정책 직접 연결 > 정책 만들기

JSON 편집기에서 다음 정책을 입력합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::cisco-cloudlock-logs/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": "arn:aws:s3:::cisco-cloudlock-logs"
    }
  ]
}

이름을 secops-reader-policy로 설정합니다.
정책 만들기 > 검색/선택 > 다음 > 권한 추가로 이동합니다.
보안 사용자 인증 정보> 액세스 키> 액세스 키 만들기로 이동합니다.
CSV를 다운로드합니다 (이러한 값은 피드에 입력됨).

Cisco CloudLock 로그를 수집하도록 Google SecOps에서 피드 구성

SIEM 설정> 피드로 이동합니다.
+ 새 피드 추가를 클릭합니다.
피드 이름 필드에 피드 이름을 입력합니다 (예: Cisco CloudLock logs).
소스 유형으로 Amazon S3 V2를 선택합니다.
로그 유형으로 Cisco CloudLock을 선택합니다.
다음을 클릭합니다.
다음 입력 파라미터의 값을 지정합니다.
- S3 URI: s3://cisco-cloudlock-logs/cloudlock/
- 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
- 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.
- 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
- 애셋 네임스페이스: 애셋 네임스페이스입니다.
- 수집 라벨: 이 피드의 이벤트에 적용된 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

로그 필드	UDM 매핑	논리
`created_at`	`about.resource.attribute.labels.key`	`created_at` 필드의 값이 라벨 키에 할당됩니다.
`created_at`	`about.resource.attribute.labels.value`	`created_at` 필드의 값이 라벨 값에 할당됩니다.
`created_at`	`about.resource.attribute.creation_time`	`created_at` 필드가 타임스탬프로 파싱되고 매핑됩니다.
`entity.id`	`target.asset.product_object_id`	`entity.id` 필드의 이름이 변경됩니다.
`entity.ip`	`target.ip`	`entity.ip` 필드가 대상 IP 필드로 병합됩니다.
`entity.mime_type`	`target.file.mime_type`	`entity.origin_type`이 'document'인 경우 `entity.mime_type` 필드의 이름이 변경됩니다.
`entity.name`	`target.application`	`entity.origin_type`이 'app'인 경우 `entity.name` 필드의 이름이 변경됩니다.
`entity.name`	`target.file.full_path`	`entity.origin_type`이 'document'인 경우 `entity.name` 필드의 이름이 변경됩니다.
`entity.origin_id`	`target.resource.product_object_id`	`entity.origin_id` 필드의 이름이 변경됩니다.
`entity.origin_type`	`target.resource.resource_subtype`	`entity.origin_type` 필드의 이름이 변경됩니다.
`entity.owner_email`	`target.user.email_addresses`	`entity.owner_email` 필드가 이메일 정규식과 일치하면 타겟 사용자 이메일 필드로 병합됩니다.
`entity.owner_email`	`target.user.user_display_name`	`entity.owner_email` 필드가 이메일 정규식과 일치하지 않는 경우 이름이 변경됩니다.
`entity.owner_name`	`target.user.user_display_name`	`entity.owner_email`이 이메일 정규식과 일치하면 `entity.owner_name` 필드의 이름이 변경됩니다.
`entity.vendor.name`	`target.platform_version`	`entity.vendor.name` 필드의 이름이 변경됩니다.
`id`	`metadata.product_log_id`	`id` 필드의 이름이 변경됩니다.
`incident_status`	`metadata.product_event_type`	`incident_status` 필드의 이름이 변경됩니다. 값은 'updated_at'으로 하드코딩됩니다. 값은 `updated_at` 필드에서 가져옵니다. `updated_at` 필드가 타임스탬프로 파싱되고 매핑됩니다. `severity`가 'ALERT'이고 `incident_status`가 'NEW'인 경우 'true'로 설정됩니다. 불리언으로 변환되었습니다. `severity`가 'ALERT'이고 `incident_status`가 'NEW'인 경우 'true'로 설정됩니다. 불리언으로 변환되었습니다. 값은 'GENERIC_EVENT'로 하드코딩됩니다. 값은 'CISCO_CLOUDLOCK_CASB'로 하드코딩됩니다. 값은 'CloudLock'으로 하드코딩됩니다. 값은 'Cisco'로 하드코딩되어 있습니다. `severity`이 'ALERT'이고 `incident_status`이 'RESOLVED' 또는 'DISMISSED'가 아닌 경우 'ALERTING'으로 설정됩니다. `severity`이 'ALERT'이고 `incident_status`이 'RESOLVED' 또는 'DISMISSED'인 경우 'NOT_ALERTING'으로 설정됩니다. `matches` 배열, 특히 각 일치 객체의 키에서 파생됩니다. `matches` 배열, 특히 각 일치 객체의 값에서 파생됩니다. `policy.id`에서 파생됨 `policy.name`에서 파생됨 `severity`이 'INFO'인 경우 'INFORMATIONAL'로 설정됩니다. `severity`이 'CRITICAL'이면 'CRITICAL'로 설정합니다. `severity`에서 파생됨 이 값은 `match_count` 값과 연결된 '일치 개수: '로 설정됩니다. `entity.origin_type`이 'document'인 경우 'STORAGE_OBJECT'로 설정합니다. `entity.origin_type`이 'document'인 경우 `entity.direct_url`에서 파생됩니다.
`policy.id`	`security_result.rule_id`	`policy.id` 필드의 이름이 변경됩니다.
`policy.name`	`security_result.rule_name`	`policy.name` 필드의 이름이 변경됩니다.
`severity`	`security_result.severity_details`	`severity` 필드의 이름이 변경됩니다.
`updated_at`	`about.resource.attribute.labels.key`	`updated_at` 필드의 값이 라벨 키에 할당됩니다.
`updated_at`	`about.resource.attribute.labels.value`	`updated_at` 필드의 값이 라벨 값에 할당됩니다.
`updated_at`	`about.resource.attribute.last_update_time`	`updated_at` 필드가 타임스탬프로 파싱되고 매핑됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.