Group-IB 위협 인텔리전스 로그 수집

다음에서 지원:

Google SecOps SIEM

이 문서에서는 Google Cloud Storage를 사용하여 Group-IB 위협 인텔리전스 로그를 Google Security Operations에 수집하는 방법을 설명합니다.

Group-IB Threat Intelligence & Attribution (TI&A)은 공격자, 침해 지표 (IOC), 멀웨어, 명령 및 제어 (C2) 인프라, 유출된 사용자 인증 정보, 피싱 캠페인, 취약점에 관한 실시간 데이터를 제공하는 사이버 위협 인텔리전스 플랫폼입니다. 오픈 웹, 딥 웹, 다크 웹 소스의 인텔리전스를 집계하여 보안팀이 위협을 사전에 감지하고 대응할 수 있도록 지원합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

• Google SecOps 인스턴스
• API 액세스가 사용 설정된 Group-IB TI&A 계정
• Group-IB TI&A 포털 액세스 (tap.group-ib.com)
• 다음 API가 사용 설정된 Google Cloud 프로젝트:
  • Cloud Storage API
  • Cloud Functions API
  • Cloud Scheduler API
  • Cloud Build API

Group-IB API 키 생성

1. https://tap.group-ib.com에서 Group-IB TI&A 포털에 로그인합니다.
2. 오른쪽 상단에서 이름을 클릭하고 프로필을 선택합니다.
3. 내 설정으로 이동을 클릭합니다.
4. 보안 및 액세스 탭으로 이동합니다.
5. 개인 토큰 섹션에서 새 토큰 생성을 클릭합니다.

6. API 키를 복사하여 안전하게 저장합니다.

   참고: API 키는 HTTP 기본 인증을 위해 이메일 주소와 함께 비밀번호로 사용됩니다. 안전하게 보관하세요. 키를 분실할 경우 새 키를 생성해야 합니다.

중요: API 요청이 차단되지 않도록 Group-IB 지원팀에 문의하여 Cloud Functions (또는 NAT 게이트웨이)의 IP 주소를 허용 목록에 추가하세요.

Google Cloud Storage 버킷 만들기

1. Google Cloud 콘솔로 이동합니다.
2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
3. 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
4. 버킷 만들기를 클릭합니다.

5. 다음 구성 세부정보를 제공합니다.

   설정	값
   버킷 이름 지정	전역적으로 고유한 이름 (예: groupib-ti-logs)을 입력합니다.
   위치 유형	필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
   위치	위치를 선택합니다 (예: us-central1).
   스토리지 클래스	Standard (자주 액세스하는 로그에 권장)
   액세스 제어	균일 (권장)

6. 만들기를 클릭합니다.

Group-IB 데이터를 가져오는 Cloud 함수 배포

Group-IB TI&A API에서 위협 인텔리전스 데이터를 가져와 Google SecOps에서 수집할 수 있도록 NDJSON 파일로 GCS 버킷에 쓰는 Cloud 함수를 만듭니다.

Cloud 함수 만들기

1. Google Cloud 콘솔로 이동합니다.
2. Cloud Functions로 이동합니다.
3. 함수 만들기를 클릭합니다.

4. 다음 구성 세부정보를 제공합니다.

   설정	값
   환경	2세대
   함수 이름	groupib-to-gcs
   리전	GCS 버킷과 가장 가까운 리전을 선택합니다.
   트리거 유형	HTTPS
   인증	인증 필요
   할당된 메모리	512MB (대규모 컬렉션을 가져오는 경우 증가)
   제한 시간	540초

5. 다음을 클릭합니다.

6. 런타임을 Python 3.11 이상으로 설정합니다.

7. 진입점을 main로 설정합니다.

8. main.py의 내용을 다음 코드로 바꿉니다.

   import json
   import os
   import requests
   import functions_framework
   from datetime import datetime, timedelta, timezone
   from urllib.parse import urljoin
   from requests.auth import HTTPBasicAuth
   from google.cloud import storage
   
   GIB_API_URL = os.environ.get('GIB_API_URL', 'https://tap.group-ib.com/api/v2/')
   GIB_USERNAME = os.environ.get('GIB_USERNAME')
   GIB_API_KEY = os.environ.get('GIB_API_KEY')
   GCS_BUCKET = os.environ.get('GCS_BUCKET')
   GCS_PREFIX = os.environ.get('GCS_PREFIX', 'groupib-ti')
   COLLECTIONS = os.environ.get('GIB_COLLECTIONS', 'compromised/account,malware/cnc,apt/threat,hi/threat').split(',')
   DEFAULT_DAYS_BACK = int(os.environ.get('DEFAULT_DAYS_BACK', '3'))
   
   # Max items per request: 100 for most collections, 20 for apt/threat and hi/threat
   BIG_DATA_COLLECTIONS = ['apt/threat', 'hi/threat']
   
   # File to persist seqUpdate values between runs (use GCS for durability)
   STATE_BLOB = '_state/seq_updates.json'
   
   def load_state():
       """Load seqUpdate state from GCS."""
       client = storage.Client()
       bucket = client.bucket(GCS_BUCKET)
       blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}")
       if blob.exists():
           return json.loads(blob.download_as_text())
       return {}
   
   def save_state(state):
       """Save seqUpdate state to GCS."""
       client = storage.Client()
       bucket = client.bucket(GCS_BUCKET)
       blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}")
       blob.upload_from_string(json.dumps(state), content_type='application/json')
   
   def gib_request(session, url, params=None):
       """Send authenticated GET request to Group-IB API."""
       resp = session.get(url, params=params)
       if resp.status_code == 301:
           raise Exception('IP not whitelisted by Group-IB. Contact Group-IB support.')
       resp.raise_for_status()
       return resp.json()
   
   def get_seq_update_by_date(session, collection, date_str):
       """Get seqUpdate value for a collection starting from a given date."""
       url = urljoin(GIB_API_URL, 'sequence_list')
       data = gib_request(session, url, {'date': date_str, 'collection': collection})
       return data.get('list', {}).get(collection)
   
   def fetch_collection(session, collection, seq_update):
       """Fetch all new items from a collection starting after the given seqUpdate."""
       limit = 20 if collection in BIG_DATA_COLLECTIONS else 100
       url = urljoin(GIB_API_URL, f"{collection}/updated")
       all_items = []
       last_seq = seq_update
   
       while True:
           data = gib_request(session, url, {'seqUpdate': str(last_seq), 'limit': limit})
           items = data.get('items', [])
           if not items:
               break
           all_items.extend(items)
           last_seq = items[-1].get('seqUpdate')
   
       return all_items, last_seq
   
   def write_to_gcs(items, collection_name):
       """Write items to GCS as NDJSON."""
       if not items:
           return 0
       client = storage.Client()
       bucket = client.bucket(GCS_BUCKET)
       timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
       safe_name = collection_name.replace('/', '_')
       blob_path = f"{GCS_PREFIX}/{safe_name}_{timestamp}.ndjson"
       blob = bucket.blob(blob_path)
       ndjson = '\n'.join(json.dumps(item, ensure_ascii=False) for item in items) + '\n'
       blob.upload_from_string(ndjson, content_type='application/x-ndjson')
       return len(items)
   
   @functions_framework.http
   def main(request):
       """Cloud Function entry point."""
       session = requests.Session()
       session.auth = HTTPBasicAuth(GIB_USERNAME, GIB_API_KEY)
       session.headers.update({'Accept': '*/*'})
   
       state = load_state()
       total = 0
   
       for collection in COLLECTIONS:
           collection = collection.strip()
           seq_update = state.get(collection)
   
           if seq_update is None:
               default_date = (datetime.now(timezone.utc) - timedelta(days=DEFAULT_DAYS_BACK)).strftime('%Y-%m-%d')
               seq_update = get_seq_update_by_date(session, collection, default_date)
               if seq_update is None:
                   continue
   
           items, last_seq = fetch_collection(session, collection, seq_update)
           if items:
               write_to_gcs(items, collection)
               total += len(items)
           state[collection] = last_seq
   
       save_state(state)
       return json.dumps({'status': 'success', 'total_items': total}), 200
   

9. requirements.txt의 콘텐츠를 다음 종속 항목으로 바꿉니다.

   functions-framework==3.*
   requests>=2.28.0
   google-cloud-storage>=2.0.0
   

10. 배포를 클릭합니다.

환경 변수 구성

1. 배포 후 함수 세부정보 페이지로 이동합니다.
2. 수정을 클릭합니다.
3. 런타임, 빌드, 연결, 보안 설정 섹션을 확장합니다.

4. 런타임 환경 변수에서 다음 변수를 추가합니다.

   변수	값
   GIB_API_URL	https://tap.group-ib.com/api/v2/ (또는 지역에 따라 https://bt.group-ib.com/api/v2/)
   GIB_USERNAME	Group-IB 계정 이메일 주소
   GIB_API_KEY	Group-IB API 키 (개인 토큰)
   GCS_BUCKET	GCS 버킷 이름 (예: groupib-ti-logs)
   GCS_PREFIX	로그 파일의 접두사 (예: groupib-ti)
   GIB_COLLECTIONS	가져올 컬렉션의 쉼표로 구분된 목록 (아래 참고)
   DEFAULT_DAYS_BACK	첫 실행 시 되돌아볼 일수 (기본값: 3)

5. 배포를 클릭합니다.

   참고: 프로덕션 환경의 경우 일반 환경 변수 대신 Secret Manager에 민감한 값 (GIB_API_KEY)을 저장하세요. 함수 구성에서 보안 비밀 참조 옵션을 사용하여 참조합니다.

사용 가능한 Group-IB 컬렉션

사용 사례와 관련된 컬렉션으로 GIB_COLLECTIONS 변수를 구성합니다.

컬렉션	설명	최대 한도
compromised/account	도용된 계정 사용자 인증 정보 (로그인, 비밀번호, 도메인)	100
compromised/card	도용된 은행 카드	100
compromised/mule	자금 운반책 계정	100
compromised/imei	보안 침해된 휴대기기 IMEI	100
compromised/file	악성코드 기여 분석이 있는 보안 침해 파일	100
attacks/ddos	DDoS 공격 데이터 (타겟 IP, 도메인)	100
attacks/deface	웹사이트 변조 인시던트	100
attacks/phishing	피싱 URL 및 도메인	100
attacks/phishing_kit	피싱 키트 해시 및 표적 브랜드	100
bp/phishing	브랜드 보호 - 피싱 사고	100
bp/phishing_kit	브랜드 보호 — 피싱 키트	100
hi/threat	IOC 및 MITRE ATT&CK 매핑이 포함된 사이버 범죄자 (HI) 위협 보고서	20
hi/threat_actor	사이버 범죄자 공격자 프로필	100
apt/threat	IOC 및 MITRE ATT&CK 매핑이 포함된 APT (국가 지원) 위협 보고서	20
apt/threat_actor	APT 공격자 프로필	100
malware/cnc	명령 및 제어 서버 지표 (IP, 도메인)	100
malware/malware	멀웨어 설명 및 위협 수준	100
malware/targeted_malware	타겟팅된 멀웨어 샘플 (해시, 파일 이름)	100
osi/git_leak	Git 저장소 데이터 유출	100
osi/public_leak	공개 데이터 유출 (붙여넣기, 덤프)	100
osi/vulnerability	CVSS 점수가 있는 취약점 데이터	100
suspicious_ip/tor_node	Tor 종료 노드 IP 주소	100
suspicious_ip/open_proxy	오픈 프록시 IP 주소	100
suspicious_ip/socks_proxy	SOCKS 프록시 IP 주소	100

• 예: 유출된 사용자 인증 정보, C2 인프라, APT 데이터를 수집하려면 다음을 실행하세요.

  compromised/account,malware/cnc,apt/threat,hi/threat
  

  참고: apt/threat 및 hi/threat 컬렉션은 응답 크기가 크기 때문에 API 요청당 최대 20개 항목으로 제한됩니다. Cloud 함수는 이 작업을 자동으로 처리합니다. POC 또는 파트너 라이선스를 사용하는 경우 데이터 액세스가 30일로 제한될 수 있습니다. 감지에 attacks/phishing의 IP 주소를 사용하지 마세요. 거짓양성이 많이 발생할 수 있습니다. URL에만 집중하세요.

Cloud 함수 예약

Cloud Scheduler를 사용하여 정기적으로 함수를 트리거합니다.

1. Google Cloud 콘솔에서 Cloud Scheduler로 이동합니다.
2. 작업 만들기를 클릭합니다.

3. 다음 구성 세부정보를 제공합니다.

   설정	값
   이름	groupib-to-gcs-schedule
   리전	Cloud 함수와 동일한 리전
   주파수	0 */1 * * * (매시간) 또는 0 0 * * * (매일)
   시간대	시간대 선택

4. 실행 구성에서 다음을 실행합니다.

   • 대상 유형: HTTP를 선택합니다.
   • URL: Cloud 함수 트리거 URL을 입력합니다.
   • HTTP 메서드: POST를 선택합니다.
   • 인증 헤더: OIDC 토큰 추가를 선택합니다.
   • 서비스 계정: roles/cloudfunctions.invoker 권한이 있는 서비스 계정을 선택합니다.

5. 만들기를 클릭합니다.

   참고: Cloud Functions는 GCS에 저장된 seqUpdate 값을 사용하여 위치를 추적합니다. 처음 실행 시 DEFAULT_DAYS_BACK일 (기본값: 3)을 되돌아봅니다. 이후 실행은 스케줄러 빈도와 관계없이 이전 실행이 중단된 지점부터 시작됩니다.

데이터 내보내기 테스트

1. Cloud Scheduler 콘솔에서 작업 옆에 있는 강제 실행을 클릭하여 함수를 수동으로 트리거합니다.
2. Cloud Logging에서 Cloud Functions 로그를 확인하여 Group-IB에서 데이터를 가져왔는지 확인합니다.
3. Google Cloud 콘솔에서 Cloud Storage > 버킷으로 이동합니다.
4. 버킷 이름 (예: groupib-ti-logs)을 클릭합니다.
5. 접두사 폴더 (예: groupib-ti/)로 이동합니다.

6. 새 .ndjson 파일이 버킷에 표시되는지 확인합니다.

   참고: 각 로그 파일의 이름은 {collection}_{YYYYMMDD_HHMMSS}.ndjson 형식의 타임스탬프로 지정됩니다 (예: ioc_common_20260318_120000.ndjson).

Google SecOps 서비스 계정 가져오기

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

1. SIEM 설정 > 피드로 이동합니다.
2. 새 피드 추가를 클릭합니다.
3. 단일 피드 구성을 클릭합니다.
4. 피드 이름 필드에 피드 이름을 입력합니다(예: Group-IB Threat Intelligence).
5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
6. 로그 유형으로 Group-IB 위협 인텔리전스를 선택합니다.

7. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

   [e-mail]
   

8. 다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

   참고: 각 Google SecOps 인스턴스에는 고유한 서비스 계정이 있습니다. 다른 문서나 예시의 서비스 계정을 사용하지 마세요.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

1. Cloud Storage> 버킷으로 이동합니다.
2. 버킷 이름 (예: groupib-ti-logs)을 클릭합니다.
3. 권한 탭으로 이동합니다.
4. 액세스 권한 부여를 클릭합니다.
5. 다음 구성 세부정보를 제공합니다.
   • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
   • 역할 할당: 스토리지 객체 뷰어를 선택합니다.

6. 저장을 클릭합니다.

   참고: 삭제 옵션 '전송된 파일 삭제' 또는 '전송된 파일 및 빈 디렉터리 삭제'를 사용하려면 스토리지 객체 뷰어 대신 스토리지 객체 관리자 역할을 부여합니다.

Group-IB 위협 인텔리전스 로그를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정 > 피드로 이동합니다.
2. 새 피드 추가를 클릭합니다.
3. 단일 피드 구성을 클릭합니다.
4. 피드 이름 필드에 피드 이름을 입력합니다(예: Group-IB Threat Intelligence).
5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
6. 로그 유형으로 Group-IB 위협 인텔리전스를 선택합니다.
7. 다음을 클릭합니다.

8. 다음 입력 매개변수의 값을 지정합니다.

   • 스토리지 버킷 URL: 프리픽스 경로가 있는 GCS 버킷 URI를 입력합니다.

     gs://groupib-ti-logs/groupib-ti/
     

     다음과 같이 바꿉니다.

     • groupib-ti-logs: GCS 버킷 이름입니다.
     • groupib-ti: 로그가 저장되는 프리픽스/폴더 경로입니다.
     참고: URI 끝에 항상 후행 슬래시 (/)를 포함하세요.

   • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

     • 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
     • 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
     • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
     참고: 삭제 옵션을 선택하는 경우 서비스 계정에 스토리지 객체 뷰어 대신 스토리지 객체 관리자 역할이 있어야 합니다. IAM 권한을 적절하게 업데이트합니다.

   • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.

   • 애셋 네임스페이스: 애셋 네임스페이스입니다.

   • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

9. 다음을 클릭합니다.

10. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.