Mengumpulkan log Telepon Duo

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log Telepon Duo ke Google Security Operations menggunakan Google Cloud Storage. Parser mengekstrak kolom dari log, mentransformasi, dan memetakannya ke Model Data Terpadu (UDM). Alat ini menangani berbagai format log Duo, mengonversi stempel waktu, mengekstrak informasi pengguna, detail jaringan, dan hasil keamanan, lalu menyusun output ke dalam format UDM standar.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

Instance Google SecOps
Project GCP dengan Cloud Storage API diaktifkan
Izin untuk membuat dan mengelola bucket GCS
Izin untuk mengelola kebijakan IAM di bucket GCS
Izin untuk membuat layanan Cloud Run, topik Pub/Sub, dan tugas Cloud Scheduler
Akses istimewa ke Panel Admin Duo dengan peran Pemilik

Kumpulkan prasyarat Duo (kredensial API)

Login ke Panel Admin Duo sebagai administrator dengan peran Pemilik.
Buka Applications > Application Catalog.
Temukan entri untuk Admin API dalam katalog.
Klik + Tambahkan untuk membuat aplikasi.
Salin dan simpan detail berikut di lokasi yang aman:
- Kunci Integrasi
- Kunci Rahasia
- Nama Host API (misalnya, api-yyyyyyyy.duosecurity.com)
Di bagian Permissions, centang hanya kotak izin Read Telephony dan batalkan pilihan semua izin lainnya.
Klik Save Changes.

Verifikasi izin

Untuk memverifikasi bahwa aplikasi Admin API memiliki izin yang diperlukan:

Login ke Panel Admin Duo.
Buka Applications > Protect an Application.
Temukan aplikasi Admin API Anda.
Klik nama aplikasi untuk melihat detail.
Di bagian Permissions, pastikan hanya Read Telephony yang dicentang.
Jika izin lain dicentang atau Baca Telepon tidak dicentang, perbarui izin, lalu klik Simpan Perubahan.

Menguji akses API

Uji kredensial Anda sebelum melanjutkan integrasi:

# Replace with your actual credentials
DUO_IKEY="your-integration-key"
DUO_SKEY="your-secret-key"
DUO_HOST="api-yyyyyyyy.duosecurity.com"

# Test API access (requires signing - use Duo's API test tool or Python script)
# Visit https://duo.com/docs/adminapi#testing to test your credentials

Membuat bucket Google Cloud Storage

Buka Google Cloud Console.
Pilih project Anda atau buat project baru.
Di menu navigasi, buka Cloud Storage > Buckets.
Klik Create bucket.

Berikan detail konfigurasi berikut:

Setelan	Nilai
Beri nama bucket Anda	Masukkan nama yang unik secara global (misalnya, `duo-telephony-logs`)
Location type	Pilih berdasarkan kebutuhan Anda (Region, Dual-region, Multi-region)
Lokasi	Pilih lokasi (misalnya, `us-central1`)
Kelas penyimpanan	Standar (direkomendasikan untuk log yang sering diakses)
Access control	Seragam (direkomendasikan)
Alat perlindungan	Opsional: Aktifkan pembuatan versi objek atau kebijakan retensi

Klik Buat.

Buat akun layanan untuk Cloud Run Function

Fungsi Cloud Run memerlukan akun layanan dengan izin untuk menulis ke bucket GCS dan dipanggil oleh Pub/Sub.

Membuat akun layanan

Di GCP Console, buka IAM & Admin > Service Accounts.
Klik Create Service Account.
Berikan detail konfigurasi berikut:
- Nama akun layanan: Masukkan duo-telephony-collector-sa.
- Deskripsi akun layanan: Masukkan Service account for Cloud Run function to collect Duo Telephony logs.
Klik Create and Continue.
Di bagian Berikan akun layanan ini akses ke project, tambahkan peran berikut:
1. Klik Pilih peran.
2. Telusuri dan pilih Storage Object Admin.
3. Klik + Add another role.
4. Telusuri dan pilih Cloud Run Invoker.
5. Klik + Add another role.
6. Telusuri dan pilih Cloud Functions Invoker.
Klik Lanjutkan.
Klik Selesai.

Peran ini diperlukan untuk:

Storage Object Admin: Menulis log ke bucket GCS dan mengelola file status
Cloud Run Invoker: Mengizinkan Pub/Sub memanggil fungsi
Cloud Functions Invoker: Mengizinkan pemanggilan fungsi

Memberikan izin IAM pada bucket GCS

Beri akun layanan izin tulis di bucket GCS:

Buka Cloud Storage > Buckets.
Klik nama bucket Anda (misalnya, duo-telephony-logs).
Buka tab Izin.
Klik Grant access.
Berikan detail konfigurasi berikut:
- Tambahkan prinsipal: Masukkan email akun layanan (misalnya, duo-telephony-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
- Tetapkan peran: Pilih Storage Object Admin.
Klik Simpan.

Membuat topik Pub/Sub

Buat topik Pub/Sub yang akan dipublikasikan oleh Cloud Scheduler dan akan dilanggan oleh fungsi Cloud Run.

Di GCP Console, buka Pub/Sub > Topics.
Klik Create topic.
Berikan detail konfigurasi berikut:
- ID Topik: Masukkan duo-telephony-trigger.
- Biarkan setelan lainnya tetap default.
Klik Buat.

Membuat fungsi Cloud Run untuk mengumpulkan log

Fungsi Cloud Run dipicu oleh pesan Pub/Sub dari Cloud Scheduler untuk mengambil log dari Duo Telephony API dan menuliskannya ke GCS.

Di GCP Console, buka Cloud Run.
Klik Create service.
Pilih Function (gunakan editor inline untuk membuat fungsi).
Di bagian Konfigurasi, berikan detail konfigurasi berikut:

Setelan Nilai

Nama layanan duo-telephony-logs-collector

Wilayah Pilih region yang cocok dengan bucket GCS Anda (misalnya, us-central1)

Runtime Pilih Python 3.12 atau yang lebih baru
Di bagian Pemicu (opsional):
1. Klik + Tambahkan pemicu.
2. Pilih Cloud Pub/Sub.
3. Di Select a Cloud Pub/Sub topic, pilih topik Pub/Sub (duo-telephony-trigger).
4. Klik Simpan.
Di bagian Authentication:
1. Pilih Wajibkan autentikasi.
2. Periksa Identity and Access Management (IAM).
Catatan: Pub/Sub secara otomatis menangani autentikasi saat memanggil fungsi.
Scroll ke bawah dan luaskan Containers, Networking, Security.
Buka tab Security:
- Akun layanan: Pilih akun layanan (duo-telephony-collector-sa).

Setelan	Nilai
Nama layanan	`duo-telephony-logs-collector`
Wilayah	Pilih region yang cocok dengan bucket GCS Anda (misalnya, `us-central1`)
Runtime	Pilih Python 3.12 atau yang lebih baru

Buka tab Containers:

Klik Variables & Secrets.
Klik + Tambahkan variabel untuk setiap variabel lingkungan:

Nama Variabel	Nilai Contoh
`GCS_BUCKET`	`duo-telephony-logs`
`GCS_PREFIX`	`duo-telephony`
`STATE_KEY`	`duo-telephony/state.json`
`DUO_IKEY`	`<your-integration-key>`
`DUO_SKEY`	`<your-secret-key>`
`DUO_API_HOST`	`api-yyyyyyyy.duosecurity.com`
`MAX_ITERATIONS`	`10`

Scroll ke bawah di tab Variables & Secrets ke Requests:
- Waktu tunggu permintaan: Masukkan 600 detik (10 menit).
Buka tab Setelan di Penampung:
- Di bagian Materi:
  - Memori: Pilih 512 MiB atau yang lebih tinggi.
  - CPU: Pilih 1.
- Klik Selesai.
Scroll ke Lingkungan eksekusi:
- Pilih Default (direkomendasikan).
Di bagian Penskalaan revisi:
- Jumlah minimum instance: Masukkan 0.
- Jumlah maksimum instance: Masukkan 100 (atau sesuaikan berdasarkan perkiraan beban).
Klik Buat.
Tunggu hingga layanan dibuat (1-2 menit).
Setelah layanan dibuat, editor kode inline akan terbuka secara otomatis.

Menambahkan kode fungsi

Masukkan main di kolom Entry point.

Di editor kode inline, buat dua file:

File pertama: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import hmac
import hashlib
import base64
import urllib.parse
import urllib3
import email.utils
from datetime import datetime, timedelta, timezone
from typing import Dict, Any, List, Optional

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Duo telephony logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'duo-telephony').rstrip('/')
    state_key = os.environ.get('STATE_KEY', 'duo-telephony/state.json')
    integration_key = os.environ.get('DUO_IKEY')
    secret_key = os.environ.get('DUO_SKEY')
    api_hostname = os.environ.get('DUO_API_HOST')

    if not all([bucket_name, integration_key, secret_key, api_hostname]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Load state
        state = load_state(bucket, state_key)

        # Calculate time range
        now = datetime.now(timezone.utc)

        if state.get('last_offset'):
            # Continue from last offset
            next_offset = state['last_offset']
            logs = []
            has_more = True
        else:
            # Start from last timestamp or 24 hours ago
            mintime = state.get('last_timestamp_ms', int((now - timedelta(hours=24)).timestamp() * 1000))
            # Apply 2-minute delay as recommended by Duo
            maxtime = int((now - timedelta(minutes=2)).timestamp() * 1000)
            next_offset = None
            logs = []
            has_more = True

        # Fetch logs with pagination
        total_fetched = 0
        max_iterations = int(os.environ.get('MAX_ITERATIONS', '10'))

        while has_more and total_fetched < max_iterations:
            page_num = total_fetched + 1

            if next_offset:
                # Use offset for pagination
                params = {
                    'limit': '100',
                    'next_offset': next_offset
                }
            else:
                # Initial request with time range
                params = {
                    'mintime': str(mintime),
                    'maxtime': str(maxtime),
                    'limit': '100',
                    'sort': 'ts:asc'
                }

            # Make API request with retry logic
            response = duo_api_call_with_retry(
                'GET',
                api_hostname,
                '/admin/v2/logs/telephony',
                params,
                integration_key,
                secret_key
            )

            if 'items' in response:
                logs.extend(response['items'])
                total_fetched += 1

            # Check for more data
            if 'metadata' in response and 'next_offset' in response['metadata']:
                next_offset = response['metadata']['next_offset']
                state['last_offset'] = next_offset
            else:
                has_more = False
                state['last_offset'] = None

                # Update timestamp for next run
                if logs:
                    # Get the latest timestamp from logs (ISO 8601 format)
                    latest_ts = max([log.get('ts', '') for log in logs])
                    if latest_ts:
                        # Convert ISO timestamp to milliseconds
                        dt = datetime.fromisoformat(latest_ts.replace('Z', '+00:00'))
                        state['last_timestamp_ms'] = int(dt.timestamp() * 1000) + 1

        # Save logs to GCS if any were fetched
        if logs:
            timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
            blob_name = f"{prefix}/telephony_{timestamp}.json"

            # Format logs as newline-delimited JSON
            log_data = '\n'.join(json.dumps(log) for log in logs)

            blob = bucket.blob(blob_name)
            blob.upload_from_string(
                log_data,
                content_type='application/x-ndjson'
            )

            print(f"Saved {len(logs)} telephony logs to gs://{bucket_name}/{blob_name}")
        else:
            print("No new telephony logs found")

        # Save state
        save_state(bucket, state_key, state)

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def duo_api_call_with_retry(
    method: str,
    host: str,
    path: str,
    params: Dict[str, str],
    ikey: str,
    skey: str,
    max_retries: int = 3
) -> Dict[str, Any]:
    """Make an authenticated API call to Duo Admin API with retry logic."""
    for attempt in range(max_retries):
        try:
            return duo_api_call(method, host, path, params, ikey, skey)
        except Exception as e:
            if '429' in str(e) or '5' in str(e)[:1]:
                if attempt < max_retries - 1:
                    wait_time = (2 ** attempt) * 2
                    print(f"Retrying after {wait_time} seconds...")
                    import time
                    time.sleep(wait_time)
                    continue
            raise

def duo_api_call(
    method: str,
    host: str,
    path: str,
    params: Dict[str, str],
    ikey: str,
    skey: str
) -> Dict[str, Any]:
    """Make an authenticated API call to Duo Admin API."""
    # Create canonical string for signing using RFC 2822 date format
    now = email.utils.formatdate()
    canon = [now, method.upper(), host.lower(), path]

    # Add parameters
    args = []
    for key in sorted(params.keys()):
        val = params[key]
        args.append(f"{urllib.parse.quote(key, '~')}={urllib.parse.quote(val, '~')}")
    canon.append('&'.join(args))

    canon_str = '\n'.join(canon)

    # Sign the request
    sig = hmac.new(
        skey.encode('utf-8'),
        canon_str.encode('utf-8'),
        hashlib.sha1
    ).hexdigest()

    # Create authorization header
    auth = base64.b64encode(f"{ikey}:{sig}".encode('utf-8')).decode('utf-8')

    # Build URL
    url = f"https://{host}{path}"
    if params:
        url += '?' + '&'.join(args)

    # Make request
    headers = {
        'Authorization': f'Basic {auth}',
        'Date': now,
        'Host': host,
        'User-Agent': 'duo-telephony-gcs-ingestor/1.0'
    }

    try:
        response = http.request('GET', url, headers=headers)
        data = json.loads(response.data.decode('utf-8'))

        if data.get('stat') == 'OK':
            return data.get('response', {})
        else:
            raise Exception(f"API error: {data.get('message', 'Unknown error')}")
    except urllib3.exceptions.HTTPError as e:
        raise Exception(f"HTTP error: {str(e)}")

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {}

def save_state(bucket, key, state):
    """Save state to GCS."""
    try:
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state),
            content_type='application/json'
        )
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

File kedua: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

Klik Deploy untuk menyimpan dan men-deploy fungsi.
Tunggu hingga deployment selesai (2-3 menit).

Catatan: Konfigurasi pemicu Pub/Sub akan otomatis membuat langganan dan izin yang diperlukan. Batas kapasitas Duo API adalah 5 permintaan per detik dan 1.000 permintaan per menit. Fungsi ini menggunakan batas 100 data per halaman (bukan maksimum 1000) untuk performa API yang lebih baik dan kepatuhan terhadap rekomendasi Duo.

Buat tugas Cloud Scheduler

Cloud Scheduler memublikasikan pesan ke topik Pub/Sub secara berkala, sehingga memicu fungsi Cloud Run.

Di GCP Console, buka Cloud Scheduler.
Klik Create Job.

Berikan detail konfigurasi berikut:

Setelan	Nilai
Nama	`duo-telephony-logs-1h`
Wilayah	Pilih region yang sama dengan fungsi Cloud Run
Frekuensi	`0 * * * *` (setiap jam, tepat pada waktunya)
Zona waktu	Pilih zona waktu (UTC direkomendasikan)
Jenis target	Pub/Sub
Topik	Pilih topik Pub/Sub (`duo-telephony-trigger`)
Isi pesan	`{}` (objek JSON kosong)

Klik Buat.

Opsi frekuensi jadwal

Pilih frekuensi berdasarkan volume log dan persyaratan latensi:

Frekuensi	Ekspresi Cron	Kasus Penggunaan
Setiap 5 menit	`/5 * * *`	Volume tinggi, latensi rendah
Setiap 15 menit	`/15 * * *`	Volume sedang
Setiap jam	`0 * * * *`	Standar (direkomendasikan)
Setiap 6 jam	`0 /6 * *`	Volume rendah, pemrosesan batch
Harian	`0 0 * * *`	Pengumpulan data historis

Menguji tugas penjadwal

Di konsol Cloud Scheduler, temukan tugas Anda (duo-telephony-logs-1h).
Klik Jalankan paksa untuk memicu secara manual.
Tunggu beberapa detik, lalu buka Cloud Run > Services.
Klik nama fungsi (duo-telephony-logs-collector).
Klik tab Logs.
Pastikan fungsi berhasil dieksekusi.
Buka Cloud Storage > Buckets.
Klik nama bucket Anda (duo-telephony-logs).
Buka folder awalan (duo-telephony/).
Pastikan file .json baru dibuat dengan log.

Jika Anda melihat error dalam log:

HTTP 401: Periksa kredensial API (DUO_IKEY, DUO_SKEY, DUO_API_HOST) dalam variabel lingkungan
HTTP 403: Pastikan aplikasi Admin API telah mengaktifkan izin Baca Telepon
HTTP 429: Pembatasan kecepatan - fungsi akan otomatis mencoba lagi dengan penundaan eksponensial
Variabel lingkungan tidak ada: Pastikan semua variabel yang diperlukan ditetapkan dalam konfigurasi fungsi Cloud Run

Mengambil akun layanan Google SecOps

Google SecOps menggunakan akun layanan unik untuk membaca data dari bucket GCS Anda. Anda harus memberi akun layanan ini akses ke bucket Anda.

Dapatkan email akun layanan

Buka Setelan SIEM > Feed.
Klik Tambahkan Feed Baru.
Klik Konfigurasi satu feed.
Di kolom Nama feed, masukkan nama untuk feed (misalnya, Duo Telephony logs).
Pilih Google Cloud Storage V2 sebagai Source type.
Pilih Log Telepon Duo sebagai Jenis log.
Klik Get Service Account. Email akun layanan yang unik akan ditampilkan, misalnya:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Salin alamat email ini untuk digunakan di langkah berikutnya.

Catatan: Setiap instance Google SecOps memiliki akun layanan yang unik. Jangan gunakan akun layanan dari dokumentasi atau contoh lain.

Memberikan izin IAM ke akun layanan Google SecOps

Akun layanan Google SecOps memerlukan peran Storage Object Viewer di bucket GCS Anda.

Buka Cloud Storage > Buckets.
Klik nama bucket Anda (misalnya, duo-telephony-logs).
Buka tab Izin.
Klik Grant access.
Berikan detail konfigurasi berikut:
- Add principals: Tempel email akun layanan Google SecOps.
- Tetapkan peran: Pilih Storage Object Viewer.
Klik Simpan.

Catatan: Jika Anda berencana menggunakan opsi penghapusan "Hapus file yang ditransfer" atau "Hapus file yang ditransfer dan direktori kosong", berikan peran Storage Object Admin, bukan Storage Object Viewer.

Mengonfigurasi feed di Google SecOps untuk memproses log Telepon Duo

Buka Setelan SIEM > Feed.
Klik Tambahkan Feed Baru.
Klik Konfigurasi satu feed.
Di kolom Nama feed, masukkan nama untuk feed (misalnya, Duo Telephony logs).
Pilih Google Cloud Storage V2 sebagai Source type.
Pilih Log Telepon Duo sebagai Jenis log.
Klik Berikutnya.
Tentukan nilai untuk parameter input berikut:
- URL bucket penyimpanan: Masukkan URI bucket GCS dengan jalur awalan:
```
gs://duo-telephony-logs/duo-telephony/
```
  - Ganti:
    - duo-telephony-logs: Nama bucket GCS Anda.
    - duo-telephony: Awalan/jalur folder opsional tempat log disimpan (biarkan kosong untuk root).
  - Contoh:
    - Bucket root: gs://duo-telephony-logs/
    - Dengan awalan: gs://duo-telephony-logs/duo-telephony/
  Catatan: Selalu sertakan garis miring (/) di akhir URI.
- Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:
  - Jangan pernah: Tidak pernah menghapus file apa pun setelah transfer (direkomendasikan untuk pengujian).
  - Hapus file yang ditransfer: Menghapus file setelah transfer berhasil.
  - Hapus file yang ditransfer dan direktori kosong: Menghapus file dan direktori kosong setelah transfer berhasil.
  Catatan: Jika Anda memilih opsi penghapusan, akun layanan harus memiliki peran Storage Object Admin, bukan Storage Object Viewer. Perbarui izin IAM yang sesuai.
- Usia File Maksimum: Menyertakan file yang diubah dalam beberapa hari terakhir. Defaultnya adalah 180 hari.
- Namespace aset: Namespace aset.
- Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
Klik Berikutnya.
Tinjau konfigurasi feed baru Anda di layar Selesaikan, lalu klik Kirim.

Tabel pemetaan UDM

Kolom log	Pemetaan UDM	Logika
konteks	metadata.product_event_type	Dipetakan langsung dari kolom konteks dalam log mentah.
kredit	security_result.detection_fields.value	Dipetakan langsung dari kolom kredit dalam log mentah, bertingkat di bawah objek detection_fields dengan kredit kunci yang sesuai.
eventtype	security_result.detection_fields.value	Dipetakan langsung dari kolom eventtype di log mentah, bertingkat di bawah objek detection_fields dengan eventtype kunci yang sesuai.
host	principal.hostname	Dipetakan langsung dari kolom host dalam log mentah jika bukan alamat IP.
	security_result.action	Ditetapkan ke nilai statis "ALLOW" di parser.
	security_result.detection_fields.value	Ditetapkan ke nilai statis "MECHANISM_UNSPECIFIED" di parser.
	metadata.event_timestamp	Diuraikan dari kolom ts dalam log mentah, yang merupakan string stempel waktu ISO 8601.
	metadata.event_type	Ditetapkan ke "USER_UNCATEGORIZED" jika kolom konteks dan host ada dalam log mentah. Disetel ke "STATUS_UPDATE" jika hanya host yang ada. Jika tidak, tetapkan ke "GENERIC_EVENT".
	metadata.log_type	Diambil langsung dari kolom log_type log mentah.
	metadata.product_name	Disetel ke nilai statis "Telephony" di parser.
	metadata.vendor_name	Disetel ke nilai statis "Duo" di parser.
telepon	principal.user.phone_numbers	Dipetakan langsung dari kolom telepon di log mentah.
telepon	principal.user.userid	Dipetakan langsung dari kolom telepon di log mentah.
	security_result.severity	Disetel ke nilai statis "INFORMATIONAL" di parser.
	security_result.summary	Disetel ke nilai statis "Duo Telephony" di parser.
ts	metadata.event_timestamp	Diuraikan dari kolom ts dalam log mentah, yang merupakan string stempel waktu ISO 8601.
jenis	security_result.summary	Dipetakan langsung dari kolom jenis di log mentah.

Perlu bantuan lebih lanjut? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.