Armis Devices 로그 수집
파서 버전: 2.0
이 문서에서는 Google Cloud Storage V2를 사용하여 Armis Devices 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
Armis Centrix는 관리형, 비관리형, IoT/OT 기기에 대한 가시성과 보호 기능을 제공하도록 설계된 엔터프라이즈급 자산 인텔리전스 플랫폼입니다. Armis Devices 데이터 스트림은 하드웨어 세부정보, 네트워크 속성, 위험 평가, 분류 메타데이터를 비롯하여 모니터링되는 네트워크에서 관찰된 전체 기기 인벤토리를 캡처합니다. 이러한 기기 인벤토리 로그는 Armis REST API를 통해 내보내고 Google SecOps에서 수집할 수 있도록 GCS 버킷에 작성할 수 있습니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- Cloud Storage API가 사용 설정된 GCP 프로젝트
- GCS 버킷을 만들고 관리할 수 있는 권한
- Cloud Run 서비스, Pub/Sub 주제, Cloud Scheduler 작업을 만들 수 있는 권한
- API 액세스 권한이 있는 Armis Centrix 인스턴스
- 기기 데이터를 읽을 권한이 있는 Armis API 보안 키
Armis API 보안 비밀 키 생성
https://<your-instance>.armis.com에서 Armis Centrix 콘솔에 로그인합니다.- 설정 > 자산 관리 및 보안 > API 관리로 이동합니다.
- 만들기를 클릭하여 새 API 보안 키를 생성합니다.
- 대화상자에 보안 비밀 키가 표시됩니다.
- 보안 비밀 키를 안전하게 복사하여 저장합니다.
API 액세스 확인
통합을 진행하기 전에 사용자 인증 정보를 테스트합니다.
ARMIS_INSTANCE="https://your-instance.armis.com" ARMIS_SECRET_KEY="your-secret-key" # Get access token ACCESS_TOKEN=$(curl -s -X POST "${ARMIS_INSTANCE}/api/v1/access_token/" \ -d "secret_key=${ARMIS_SECRET_KEY}" \ | python3 -c "import sys,json; print(json.load(sys.stdin)['data']['access_token'])") echo "Access Token: ${ACCESS_TOKEN}" # Test device search curl -s "${ARMIS_INSTANCE}/api/v1/search/" \ -H "Authorization: ${ACCESS_TOKEN}" \ -G \ --data-urlencode "aql=in:devices timeFrame:\"1 Hours\"" \ --data-urlencode "length=1" \ --data-urlencode "fields=id,name,type,category,model,manufacturer,ipAddress,macAddress,operatingSystem,riskLevel,site,firstSeen,lastSeen" \ | python3 -m json.tool
Google Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
- 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 버킷 이름 지정 전역적으로 고유한 이름 (예: armis-device-logs)을 입력합니다.위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전) 위치 위치를 선택합니다 (예: us-central1).스토리지 클래스 Standard (자주 액세스하는 로그에 권장) 액세스 제어 균일 (권장) 보호 조치 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정 만들기를 클릭합니다.
Cloud Run 함수의 서비스 계정 만들기
Cloud Run 함수에는 GCS 버킷에 쓸 수 있고 Pub/Sub에 의해 호출될 수 있는 권한이 있는 서비스 계정이 필요합니다.
서비스 계정 만들기
- GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
- 서비스 계정 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름:
armis-devices-collector-sa을 입력합니다. - 서비스 계정 설명:
Service account for Cloud Run function to collect Armis device inventory logs를 입력합니다.
- 서비스 계정 이름:
- 만들고 계속하기를 클릭합니다.
- 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
- 역할 선택을 클릭합니다.
- 스토리지 객체 관리자를 검색하여 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Run 호출자를 검색하여 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Functions 호출자를 검색하여 선택합니다.
- 계속을 클릭합니다.
- 완료를 클릭합니다.
이러한 역할은 다음 작업에 필요합니다.
- 스토리지 객체 관리자: GCS 버킷에 로그를 쓰고 상태 파일을 관리합니다.
- Cloud Run 호출자: Pub/Sub에서 함수를 호출하도록 허용
- Cloud Functions 호출자: 함수 호출 허용
GCS 버킷에 대한 IAM 권한 부여
GCS 버킷에 대한 쓰기 권한을 서비스 계정에 부여합니다.
- Cloud Storage> 버킷으로 이동합니다.
- 버킷 이름을 클릭합니다.
- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일 (예:
armis-devices-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다. - 역할 할당: 스토리지 객체 관리자 선택
- 주 구성원 추가: 서비스 계정 이메일 (예:
- 저장을 클릭합니다.
Pub/Sub 주제 만들기
Cloud Scheduler가 게시하고 Cloud Run 함수가 구독할 Pub/Sub 주제를 만듭니다.
- GCP 콘솔에서 Pub/Sub> 주제로 이동합니다.
- 주제 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주제 ID:
armis-devices-trigger를 입력합니다. - 다른 설정은 기본값으로 둡니다.
- 주제 ID:
- 만들기를 클릭합니다.
로그를 수집하는 Cloud Run 함수 만들기
Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거되어 Armis REST API에서 기기 인벤토리 레코드를 가져와 GCS에 씁니다.
- GCP 콘솔에서 Cloud Run으로 이동합니다.
- 서비스 만들기를 클릭합니다.
- 함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).
구성 섹션에서 다음 구성 세부정보를 입력합니다.
설정 값 서비스 이름 armis-devices-collector리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).런타임 Python 3.12 이상 선택 트리거 (선택사항) 섹션에서 다음을 수행합니다.
- + 트리거 추가를 클릭합니다.
- Cloud Pub/Sub을 선택합니다.
- Cloud Pub/Sub 주제 선택에서
armis-devices-trigger주제를 선택합니다. - 저장을 클릭합니다.
인증 섹션에서 다음을 구성합니다.
- 인증 필요를 선택합니다.
- ID 및 액세스 관리 (IAM)를 확인합니다.
아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.
보안 탭으로 이동합니다.
- 서비스 계정: 서비스 계정
armis-devices-collector-sa를 선택합니다.
- 서비스 계정: 서비스 계정
컨테이너 탭으로 이동합니다.
- 변수 및 보안 비밀을 클릭합니다.
- 각 환경 변수에 대해 + 변수 추가를 클릭합니다.
변수 이름 예시 값 설명 GCS_BUCKETarmis-device-logsGCS 버킷 이름 GCS_PREFIXarmis-devices로그 파일의 접두사 STATE_KEYarmis-devices/state.json상태 파일 경로 ARMIS_INSTANCE_URLhttps://your-instance.armis.comArmis 인스턴스 URL ARMIS_SECRET_KEYyour-secret-keyArmis API 보안 키 PAGE_SIZE1000API별 레코드 페이지 MAX_RECORDS50000실행당 최대 레코드 수 LOOKBACK_HOURS24초기 전환 확인 기간 변수 및 보안 비밀 섹션에서 요청까지 아래로 스크롤합니다.
- 요청 제한 시간:
540초 (9분)를 입력합니다.
- 요청 제한 시간:
설정 탭으로 이동합니다.
- 리소스 섹션에서 다음을 수행합니다.
- 메모리: 512MiB 이상 선택
- CPU: 1을 선택합니다.
- 리소스 섹션에서 다음을 수행합니다.
버전 확장 섹션에서 다음을 수행합니다.
- 최소 인스턴스 수:
0를 입력합니다. - 최대 인스턴스 수:
100을 입력합니다 (또는 예상 부하에 따라 조정).
- 최소 인스턴스 수:
만들기를 클릭합니다.
서비스가 생성될 때까지 기다립니다 (1~2분).
서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.
함수 코드 추가
- 진입점 필드에 main을 입력합니다.
인라인 코드 편집기에서 다음 두 파일을 만듭니다.
첫 번째 파일 - main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 import urllib.parse from datetime import datetime, timezone, timedelta import time # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=60.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'armis-devices').strip('/') STATE_KEY = os.environ.get('STATE_KEY') or f"{GCS_PREFIX}/state.json" ARMIS_INSTANCE_URL = os.environ.get('ARMIS_INSTANCE_URL', '').rstrip('/') ARMIS_SECRET_KEY = os.environ.get('ARMIS_SECRET_KEY') PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '1000')) MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '50000')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) DEVICE_FIELDS = [ 'id', 'name', 'type', 'category', 'model', 'manufacturer', 'ipAddress', 'macAddress', 'operatingSystem', 'operatingSystemVersion', 'riskLevel', 'site', 'tags', 'firstSeen', 'lastSeen', 'boundaries', 'customProperties', 'dataSources', 'userIds', 'visibility', 'ppiSensitive' ] def parse_datetime(value): """Parse ISO datetime string to datetime object.""" if not value: return None if value.endswith("Z"): value = value[:-1] + "+00:00" try: return datetime.fromisoformat(value) except Exception: try: return datetime.strptime(value, '%Y-%m-%dT%H:%M:%S') except Exception: return None def get_access_token(): """Obtain an access token from the Armis API.""" url = f"{ARMIS_INSTANCE_URL}/api/v1/access_token/" body = urllib.parse.urlencode({'secret_key': ARMIS_SECRET_KEY}) response = http.request( 'POST', url, body=body, headers={'Content-Type': 'application/x-www-form-urlencoded'} ) if response.status != 200: raise Exception( f"Failed to get access token: HTTP {response.status} - " f"{response.data.decode('utf-8')}" ) data = json.loads(response.data.decode('utf-8')) return data['data']['access_token'] @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Armis Device inventory records and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, ARMIS_INSTANCE_URL, ARMIS_SECRET_KEY]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_time = None if isinstance(state, dict) and state.get("last_event_time"): try: last_time = parse_datetime(state["last_event_time"]) # Overlap by 2 minutes to catch delayed events if last_time: last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") if last_time is None: last_time = now - timedelta(hours=LOOKBACK_HOURS) print( f"Fetching device logs from " f"{last_time.isoformat()} to {now.isoformat()}" ) # Get access token access_token = get_access_token() print("Successfully obtained Armis access token.") # Fetch device records records, newest_event_time = fetch_device_logs( access_token=access_token, start_time=last_time, end_time=now, ) if not records: print("No new device records found.") save_state(bucket, STATE_KEY, now.isoformat()) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(record, ensure_ascii=False) for record in records] ) + '\n' blob.upload_from_string( ndjson, content_type='application/x-ndjson' ) print( f"Wrote {len(records)} records to " f"gs://{GCS_BUCKET}/{object_key}" ) # Update state if newest_event_time: save_state(bucket, STATE_KEY, newest_event_time) else: save_state(bucket, STATE_KEY, now.isoformat()) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing device logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_event_time_iso): """Save the last event timestamp to GCS state file.""" try: state = {'last_event_time': last_event_time_iso} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_device_logs(access_token, start_time, end_time): """ Fetch device inventory logs from Armis REST API with pagination. Args: access_token: Armis API access token start_time: Start time for log query end_time: End time for log query Returns: Tuple of (records list, newest_event_time ISO string) """ base_url = f"{ARMIS_INSTANCE_URL}/api/v1/search/" headers = {'Authorization': access_token} # Build AQL query with time filter start_str = start_time.strftime('%Y-%m-%dT%H:%M:%S') aql_query = f'in:devices after:{start_str}' records = [] newest_time = None page_from = 0 backoff = 1.0 while True: if len(records) >= MAX_RECORDS: print(f"Reached max_records limit ({MAX_RECORDS})") break params = { 'aql': aql_query, 'from': str(page_from), 'orderBy': 'lastSeen', 'length': str(PAGE_SIZE), 'fields': ','.join(DEVICE_FIELDS), } try: response = http.request( 'GET', base_url, fields=params, headers=headers ) # Handle rate limiting with exponential backoff if response.status == 429: retry_after = int( response.headers.get( 'Retry-After', str(int(backoff)) ) ) print( f"Rate limited (429). " f"Retrying after {retry_after}s..." ) time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue # Handle token expiry if response.status == 401: print("Access token expired, refreshing...") access_token = get_access_token() headers = {'Authorization': access_token} continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return records, newest_time data = json.loads(response.data.decode('utf-8')) result = data.get('data', {}).get('results', []) total = data.get('data', {}).get('total', 0) count = data.get('data', {}).get('count', 0) next_from = data.get('data', {}).get('next') if not result: print(f"No more results (empty page)") break print( f"Page from={page_from}: Retrieved {count} devices " f"(total: {total})" ) records.extend(result) # Track newest event time using lastSeen for device in result: try: event_time = device.get('lastSeen') if event_time: if newest_time is None: newest_time = event_time else: current_dt = parse_datetime(event_time) newest_dt = parse_datetime(newest_time) if ( current_dt and newest_dt and current_dt > newest_dt ): newest_time = event_time except Exception as e: print( f"Warning: Could not parse " f"event time: {e}" ) # Check pagination if next_from is None or count < PAGE_SIZE: print("Reached last page") break page_from = next_from except Exception as e: print(f"Error fetching device logs: {e}") return records, newest_time print(f"Retrieved {len(records)} total device records") return records, newest_time두 번째 파일 - requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
배포를 클릭하여 함수를 저장하고 배포합니다.
배포가 완료될 때까지 기다립니다 (2~3분).
Cloud Scheduler 작업 만들기
Cloud Scheduler는 일정 간격으로 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수를 트리거합니다.
- GCP Console에서 Cloud Scheduler로 이동합니다.
- 작업 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 이름 armis-devices-collector-daily리전 Cloud Run 함수와 동일한 리전 선택 주파수 0 2 * * *(매일 오전 2시)시간대 시간대 선택 (UTC 권장) 타겟 유형 Pub/Sub 주제 armis-devices-trigger주제를 선택합니다.메일 본문 {}(빈 JSON 객체)만들기를 클릭합니다.
일정 빈도 옵션
기기 인벤토리 업데이트 비율 및 지연 시간 요구사항에 따라 빈도를 선택합니다.
| 빈도 | 크론 표현식 | 사용 사례 |
|---|---|---|
| 6시간마다 | 0 */6 * * * |
인벤토리 업데이트가 빈번한 경우 |
| 매일 | 0 2 * * * |
표준 (권장) |
| 12시간마다 | 0 */12 * * * |
볼륨이 낮은 환경 |
통합 테스트
- Cloud Scheduler 콘솔에서 작업을 찾습니다.
- 강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
- 몇 초 동안 기다립니다.
- Cloud Run > 서비스로 이동합니다.
- 함수 이름
armis-devices-collector을 클릭합니다. - 로그 탭을 클릭합니다.
함수가 성공적으로 실행되었는지 확인합니다. 다음 항목을 찾습니다.
Fetching device logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Successfully obtained Armis access token. Page from=0: Retrieved X devices (total: Y) Wrote X records to gs://armis-device-logs/armis-devices/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsCloud Storage> 버킷으로 이동합니다.
버킷 이름을 클릭합니다.
접두사 폴더
armis-devices/로 이동합니다.현재 타임스탬프로 새
.ndjson파일이 생성되었는지 확인합니다.
로그에 오류가 표시되는 경우:
- HTTP 400: AQL 쿼리 문법이 올바른지 확인합니다. Armis 인스턴스 URL에 후행 슬래시가 없는지 확인합니다.
- HTTP 401: 액세스 토큰이 만료되었거나 유효하지 않습니다. 이 함수는 401 오류가 발생하면 토큰을 자동으로 새로고침합니다.
- HTTP 429: 비율 제한 - 함수가 백오프로 자동 재시도됩니다.
- '액세스 토큰을 찾을 수 없음': Armis API 보안 비밀 키가 올바른지 확인합니다.
- 환경 변수 누락: 필요한 모든 변수가 설정되어 있는지 확인합니다.
Armis Devices 로그를 수집하도록 Google SecOps에서 피드 구성
- SIEM 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
Armis Devices). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 Armis Devices를 선택합니다.
서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.
다음을 클릭합니다.
다음 입력 매개변수의 값을 지정합니다.
스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.
gs://armis-device-logs/armis-devices/- 다음과 같이 바꿉니다.
armis-device-logs: GCS 버킷 이름입니다.armis-devices: 로그가 저장되는 선택적 접두사/폴더 경로입니다 (루트의 경우 비워 둠).
- 다음과 같이 바꿉니다.
소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
- 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
- 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).
애셋 네임스페이스: 애셋 네임스페이스
수집 라벨: 이 피드의 이벤트에 적용할 라벨
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 IAM 권한 부여
Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.
- Cloud Storage> 버킷으로 이동합니다.
- 버킷 이름을 클릭합니다.
- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어를 선택합니다.
저장을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
datasource.firstSeen |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ssZZ로 파싱됨 |
datasource.lastSeen |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ssZZ로 파싱됨 |
firstSeen |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ssZZ로 파싱됨 |
lastSeen |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ssZZ로 파싱됨 |
time |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ss.SSSZZ로 파싱됨 |
id |
metadata.product_entity_id |
직접 매핑됨 |
relation |
relations |
이름이 변경됨/매핑됨 |
| 해당 사항 없음 | metadata.entity_type |
상수: ASSET |
| 해당 사항 없음 | metadata.product_name |
상수: ARMIS |
| 해당 사항 없음 | metadata.vendor_name |
상수: ARMIS |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.