Mengumpulkan hasil DomainTools Iris Investigate

Versi Parser: 1.0

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap hasil DomainTools Iris Investigate ke Google Security Operations menggunakan Google Cloud Storage. Parser mengubah data JSON mentah dari Iris API DomainTools menjadi format terstruktur yang sesuai dengan Unified Data Model (UDM) Google SecOps. Alat ini mengekstrak informasi yang terkait dengan detail domain, informasi kontak, risiko keamanan, sertifikat SSL, dan atribut relevan lainnya, lalu memetakannya ke kolom UDM yang sesuai untuk analisis dan threat intelligence yang konsisten.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Akses istimewa ke akun perusahaan DomainTools (akses API ke Iris Investigate)
• Project GCP dengan Cloud Storage API yang diaktifkan
• Izin untuk membuat dan mengelola bucket GCS
• Izin untuk mengelola kebijakan IAM di bucket GCS
• Izin untuk membuat layanan Cloud Run, topik Pub/Sub, dan tugas Cloud Scheduler

Mendapatkan Kunci API dan Endpoint DomainTools

1. Login ke DomainTools API Dashboard (hanya akun pemilik API yang dapat mereset kunci API).
2. Di bagian My Account, pilih link View API Dashboard yang terletak di tab Account Summary.
3. Buka bagian API Username untuk mendapatkan nama pengguna Anda.
4. Di tab yang sama, temukan kunci API Anda.

5. Salin dan simpan kunci di lokasi yang aman. Jika Anda memerlukan kunci API baru, pilih Reset API Key.

   Catatan: Membuat kunci baru akan langsung menghapus kunci yang ada. Tindakan ini tidak dapat diurungkan.

6. Catat endpoint Iris Investigate: https://api.domaintools.com/v1/iris-investigate/.

Membuat bucket Google Cloud Storage

1. Buka Konsol Google Cloud.
2. Pilih project Anda atau buat project baru.
3. Di menu navigasi, buka Cloud Storage > Buckets.
4. Klik Create bucket.

5. Berikan detail konfigurasi berikut:

   Setelan	Nilai
   Memberi nama bucket Anda	Masukkan nama yang unik secara global (misalnya, domaintools-iris)
   Location type	Pilih sesuai kebutuhan Anda (Region, Dual-region, Multi-region)
   Location	Pilih lokasi (misalnya, us-central1)
   Storage class	Standard (direkomendasikan untuk log yang sering diakses)
   Kontrol akses	Seragam (direkomendasikan)
   Alat perlindungan	Opsional: Mengaktifkan pembuatan versi objek atau kebijakan retensi

6. Klik Create.

Membuat akun layanan untuk fungsi Cloud Run

Fungsi Cloud Run memerlukan akun layanan dengan izin untuk menulis ke bucket GCS dan dipanggil oleh Pub/Sub.

Membuat akun layanan

1. Di Konsol GCP, buka IAM & Admin > Service Accounts.
2. Klik Create Service Account.
3. Berikan detail konfigurasi berikut:
   • Service account name: Masukkan domaintools-iris-collector-sa.
   • Service account description: Masukkan Service account for Cloud Run function to collect DomainTools Iris Investigate logs.
4. Klik Create and Continue.
5. Di bagian Grant this service account access to project, tambahkan peran berikut:
   1. Klik Pilih peran.
   2. Telusuri dan pilih Storage Object Admin.
   3. Klik + Add another role.
   4. Telusuri dan pilih Cloud Run Invoker.
   5. Klik + Add another role.
   6. Telusuri dan pilih Cloud Functions Invoker.
6. Klik Lanjutkan.
7. Klik Done.

Peran ini diperlukan untuk:

• Storage Object Admin: Menulis log ke bucket GCS dan mengelola state file
• Cloud Run Invoker: Mengizinkan Pub/Sub memanggil fungsi
• Cloud Functions Invoker: Mengizinkan pemanggilan fungsi

Memberikan izin IAM di bucket GCS

Beri akun layanan izin tulis di bucket GCS:

1. Buka Cloud Storage > Buckets.
2. Klik nama bucket Anda.
3. Buka tab Izin.
4. Klik Grant access.
5. Berikan detail konfigurasi berikut:
   • Tambahkan entitas: Masukkan email akun layanan (misalnya, domaintools-iris-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Assign roles: Pilih Storage Object Admin.
6. Klik Simpan.

Membuat topik Pub/Sub

Buat topik Pub/Sub yang akan dipublikasikan oleh Cloud Scheduler dan di-subscribe oleh fungsi Cloud Run.

1. Di Konsol GCP, buka Pub/Sub > Topics.
2. Klik Create topic.
3. Berikan detail konfigurasi berikut:
   • ID Topik: Masukkan domaintools-iris-trigger.
   • Biarkan setelan lainnya sesuai default.
4. Klik Create.

Membuat fungsi Cloud Run untuk mengumpulkan log

Fungsi Cloud Run dipicu oleh pesan Pub/Sub dari Cloud Scheduler untuk mengambil log dari DomainTools Iris Investigate API dan menulisnya ke GCS.

1. Di Konsol GCP, buka Cloud Run.
2. Klik Create service.
3. Pilih Function (gunakan editor inline untuk membuat fungsi).

4. Di bagian Configure, berikan detail konfigurasi berikut:

   Setelan	Nilai
   Nama layanan	domaintools-iris-collector
   Region	Pilih region yang cocok dengan bucket GCS Anda (misalnya, us-central1)
   Runtime	Pilih Python 3.12 atau yang lebih baru

5. Di bagian Trigger (optional):

   1. Klik + Tambahkan pemicu.
   2. Pilih Cloud Pub/Sub.
   3. Di Select a Cloud Pub/Sub topic, pilih topik Pub/Sub (domaintools-iris-trigger).
   4. Klik Simpan.

6. Di bagian Authentication:

   1. Pilih Wajibkan autentikasi.
   2. Periksa Identity and Access Management (IAM).
   Catatan: Pub/Sub akan otomatis menangani autentikasi saat memanggil fungsi.

7. Scroll ke bawah dan luaskan Containers, Networking, Security.

8. Buka tab Keamanan:

   • Service account: Pilih akun layanan (domaintools-iris-collector-sa).

9. Buka tab Penampung:

   1. Klik Variables & Secrets.
   2. Klik + Add variable untuk setiap variabel lingkungan:

   Nama Variabel	Nilai Contoh	Deskripsi
   GCS_BUCKET	domaintools-iris	Nama bucket GCS tempat data akan disimpan.
   GCS_PREFIX	domaintools/iris/	Awalan GCS opsional (subfolder) untuk objek.
   STATE_KEY	domaintools/iris/state.json	Kunci file status/checkpoint opsional.
   DT_API_KEY	DT-XXXXXXXXXXXXXXXXXXXX	Kunci API DomainTools.
   USE_MODE	HASH	Pilih mode yang akan digunakan: HASH, DOMAINS, atau QUERY (hanya satu yang aktif dalam satu waktu).
   SEARCH_HASHES	hash1;hash2;hash3	Wajib jika USE_MODE=HASH. Daftar hash penelusuran tersimpan yang dipisahkan titik koma dari UI Iris.
   DOMAINS	example.com;domaintools.com	Wajib jika USE_MODE=DOMAINS. Daftar domain yang dipisahkan dengan titik koma.
   QUERY_LIST	ip=1.1.1.1;ip=8.8.8.8;domain=example.org	Wajib jika USE_MODE=QUERY. Daftar string kueri yang dipisahkan titik koma (k=v&k2=v2).
   PAGE_SIZE	500	Baris per halaman (default 500).
   MAX_PAGES	20	Halaman maksimum per permintaan.

10. Di bagian Variables & Secrets, scroll ke bawah ke Requests:

    • Request timeout: Masukkan 900 detik (15 menit).

11. Buka tab Setelan:

    • Di bagian Resources:
      • Memory: Pilih 512 MiB atau lebih tinggi.
      • CPU: Pilih 1.

12. Di bagian Revision scaling:

    • Minimum number of instances: Masukkan 0.
    • Maximum number of instances: Masukkan 100 (atau sesuaikan berdasarkan beban yang diharapkan).

13. Klik Create.

14. Tunggu hingga layanan dibuat (1-2 menit).

15. Setelah layanan dibuat, editor kode inline akan otomatis terbuka.

Menambahkan kode fungsi

1. Masukkan main di Function entry point

2. Di editor kode inline, buat dua file:

   • File pertama: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib.parse
   from urllib.request import Request, urlopen
   from urllib.error import HTTPError
   import time
   from datetime import datetime, timezone
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   # Environment variables
   GCS_BUCKET = os.environ.get("GCS_BUCKET", "").strip()
   GCS_PREFIX = os.environ.get("GCS_PREFIX", "domaintools/iris/").strip()
   STATE_KEY = os.environ.get("STATE_KEY", "domaintools/iris/state.json").strip()
   DT_API_KEY = os.environ.get("DT_API_KEY", "").strip()
   USE_MODE = os.environ.get("USE_MODE", "HASH").strip().upper()
   SEARCH_HASHES = [h.strip() for h in os.environ.get("SEARCH_HASHES", "").split(";") if h.strip()]
   DOMAINS = [d.strip() for d in os.environ.get("DOMAINS", "").split(";") if d.strip()]
   QUERY_LIST = [q.strip() for q in os.environ.get("QUERY_LIST", "").split(";") if q.strip()]
   PAGE_SIZE = int(os.environ.get("PAGE_SIZE", "500"))
   MAX_PAGES = int(os.environ.get("MAX_PAGES", "20"))
   USE_NEXT = os.environ.get("USE_NEXT", "true").lower() == "true"
   HTTP_TIMEOUT = int(os.environ.get("HTTP_TIMEOUT", "60"))
   RETRIES = int(os.environ.get("HTTP_RETRIES", "2"))
   
   BASE_URL = "https://api.domaintools.com/v1/iris-investigate/"
   HDRS = {
       "X-Api-Key": DT_API_KEY,
       "Accept": "application/json",
   }
   
   def _http_post(url: str, body: dict) -> dict:
       """Make HTTP POST request with form-encoded body."""
       req = Request(url, method="POST")
       for k, v in HDRS.items():
           req.add_header(k, v)
       req.add_header("Content-Type", "application/x-www-form-urlencoded")
   
       encoded_body = urllib.parse.urlencode(body, doseq=True).encode('utf-8')
   
       attempt = 0
       while True:
           try:
               with urlopen(req, data=encoded_body, timeout=HTTP_TIMEOUT) as r:
                   return json.loads(r.read().decode("utf-8"))
           except HTTPError as e:
               if e.code in (429, 500, 502, 503, 504) and attempt < RETRIES:
                   delay = int(e.headers.get("Retry-After", "2"))
                   time.sleep(max(1, delay))
                   attempt += 1
                   continue
               raise
   
   def _write_page(bucket, obj: dict, label: str, page: int) -> str:
       ts = time.strftime("%Y/%m/%d/%H%M%S", time.gmtime())
       key = f"{GCS_PREFIX.rstrip('/')}/{ts}-{label}-p{page:05d}.json"
       blob = bucket.blob(key)
       blob.upload_from_string(
           json.dumps(obj, separators=(",", ":")),
           content_type="application/json"
       )
       return key
   
   def _first_page_params() -> dict:
       params = {"page_size": str(PAGE_SIZE)}
       if USE_NEXT:
           params["next"] = "true"
       return params
   
   def _paginate(bucket, label: str, params: dict) -> tuple:
       pages = 0
       total = 0
   
       while pages < MAX_PAGES:
           data = _http_post(BASE_URL, params)
           _write_page(bucket, data, label, pages)
           resp = data.get("response") or {}
           results = resp.get("results") or []
           total += len(results)
           pages += 1
   
           next_url = resp.get("next") if isinstance(resp, dict) else None
           if next_url:
               parsed = urllib.parse.urlparse(next_url)
               params = dict(urllib.parse.parse_qsl(parsed.query))
               continue
   
           if resp.get("has_more_results") and resp.get("position"):
               base = _first_page_params()
               base.pop("next", None)
               base["position"] = resp["position"]
               params = base
               continue
           break
       return pages, total
   
   def run_hashes(bucket, hashes: list) -> dict:
       agg_pages = agg_results = 0
       for h in hashes:
           params = _first_page_params()
           params["search_hash"] = h
           p, r = _paginate(bucket, f"hash-{h}", params)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   def run_domains(bucket, domains: list) -> dict:
       agg_pages = agg_results = 0
       for d in domains:
           params = _first_page_params()
           params["domain"] = d
           p, r = _paginate(bucket, f"domain-{d}", params)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   def run_queries(bucket, queries: list) -> dict:
       agg_pages = agg_results = 0
       for q in queries:
           base = _first_page_params()
           for k, v in urllib.parse.parse_qsl(q, keep_blank_values=True):
               base.setdefault(k, v)
           p, r = _paginate(bucket, f"query-{q.replace('=', '-')}", base)
           agg_pages += p
           agg_results += r
       return {"pages": agg_pages, "results": agg_results}
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch DomainTools Iris Investigate results and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       if not GCS_BUCKET:
           print("Error: GCS_BUCKET environment variable not set")
           return
   
       try:
           bucket = storage_client.bucket(GCS_BUCKET)
   
           if USE_MODE == "HASH" and SEARCH_HASHES:
               res = run_hashes(bucket, SEARCH_HASHES)
           elif USE_MODE == "DOMAINS" and DOMAINS:
               res = run_domains(bucket, DOMAINS)
           elif USE_MODE == "QUERY" and QUERY_LIST:
               res = run_queries(bucket, QUERY_LIST)
           else:
               raise ValueError(
                   "Invalid USE_MODE or missing parameters. Set USE_MODE to HASH | DOMAINS | QUERY "
                   "and provide SEARCH_HASHES | DOMAINS | QUERY_LIST accordingly."
               )
   
           print(f"Successfully processed: {json.dumps({'ok': True, 'mode': USE_MODE, **res})}")
   
       except Exception as e:
           print(f"Error processing DomainTools Iris data: {str(e)}")
           raise
   

   • File kedua: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   

3. Klik Deploy untuk menyimpan dan men-deploy fungsi.

4. Tunggu hingga deployment selesai (2-3 menit).

   Catatan: Konfigurasi pemicu Pub/Sub otomatis membuat langganan dan izin yang diperlukan.

Buat tugas Cloud Scheduler

Cloud Scheduler akan memublikasikan pesan ke topik Pub/Sub secara berkala, sehingga memicu fungsi Cloud Run.

1. Di Konsol GCP, buka Cloud Scheduler.
2. Klik Create Job.

3. Berikan detail konfigurasi berikut:

   Setelan	Nilai
   Nama	domaintools-iris-1h
   Region	Pilih region yang sama dengan fungsi Cloud Run
   Frekuensi	0 * * * * (setiap jam, tepat pada jamnya)
   Zona Waktu	Pilih zona waktu (UTC direkomendasikan)
   Jenis target	Pub/Sub
   Topik	Pilih topik Pub/Sub (domaintools-iris-trigger)
   Isi pesan	{} (objek JSON kosong)

4. Klik Create.

Opsi frekuensi jadwal

• Pilih frekuensi berdasarkan volume log dan persyaratan latensi:

  Frekuensi	Ekspresi Cron	Kasus Penggunaan
  Setiap 5 menit	*/5 * * * *	Volume tinggi, latensi rendah
  Setiap 15 menit	*/15 * * * *	Volume sedang
  Setiap jam	0 * * * *	Standar (direkomendasikan)
  Setiap 6 jam	0 */6 * * *	Volume rendah, pemrosesan batch
  Harian	0 0 * * *	Pengumpulan data historis

Menguji integrasi

1. Di konsol Cloud Scheduler, temukan tugas Anda.
2. Klik Force run untuk memicu tugas secara manual.
3. Tunggu beberapa detik.
4. Buka Cloud Run > Services.
5. Klik nama fungsi Anda (domaintools-iris-collector).
6. Klik tab Logs.

7. Pastikan fungsi berhasil dieksekusi. Cari hal berikut:

   Successfully processed: {"ok": true, "mode": "HASH", "pages": X, "results": Y}
   

8. Buka Cloud Storage > Buckets.

9. Klik nama bucket Anda.

10. Buka folder awalan (domaintools/iris/).

11. Pastikan file .json baru telah dibuat dengan stempel waktu saat ini.

Jika Anda melihat error di log:

• HTTP 401: Periksa kredensial DomainTools API di variabel lingkungan
• HTTP 403: Pastikan akun memiliki izin yang diperlukan untuk Iris Investigate API
• HTTP 429: Pembatasan kapasitas - fungsi akan otomatis mencoba lagi dengan backoff
• Variabel lingkungan tidak ada: Pastikan semua variabel yang diperlukan telah ditetapkan
• USE_MODE tidak valid: Pastikan USE_MODE ditetapkan ke HASH, DOMAINS, atau QUERY dan parameter yang sesuai disediakan

Mengambil akun layanan Google SecOps

Google SecOps menggunakan akun layanan unik untuk membaca data dari bucket GCS Anda. Anda harus memberi akun layanan ini akses ke bucket Anda.

Mendapatkan email akun layanan

1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
2. Klik Tambahkan Feed Berita Baru.
3. Klik Konfigurasi satu feed.
4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, DomainTools Iris Investigate).
5. Pilih Google Cloud Storage V2 sebagai Source type.
6. Pilih DomainTools Threat Intelligence sebagai Log type.

7. Klik Get Service Account. Email akun layanan yang unik akan ditampilkan, misalnya:

   [e-mail]
   

8. Salin alamat email ini untuk digunakan di langkah berikutnya.

   Catatan: Setiap instance Google SecOps memiliki akun layanan yang unik. Jangan gunakan akun layanan dari dokumentasi atau contoh lain.

Memberikan izin IAM ke akun layanan Google SecOps

Akun layanan Google SecOps memerlukan peran Storage Object Viewer di bucket GCS Anda.

1. Buka Cloud Storage > Buckets.
2. Klik nama bucket Anda.
3. Buka tab Izin.
4. Klik Grant access.
5. Berikan detail konfigurasi berikut:
   • Add principals: Tempel email akun layanan Google SecOps.
   • Assign roles: Pilih Storage Object Viewer.

6. Klik Simpan.

   Catatan: Jika Anda berencana menggunakan opsi penghapusan "Hapus file yang ditransfer" atau "Hapus file yang ditransfer dan direktori kosong", berikan peran Storage Object Admin, bukan Storage Object Viewer.

Mengonfigurasi feed di Google SecOps untuk menyerap hasil DomainTools Iris Investigate

1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
2. Klik Tambahkan Feed Berita Baru.
3. Klik Konfigurasi satu feed.
4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, DomainTools Iris Investigate).
5. Pilih Google Cloud Storage V2 sebagai Source type.
6. Pilih DomainTools Threat Intelligence sebagai Log type.
7. Klik Berikutnya.

8. Tentukan nilai untuk parameter input berikut:

   • Storage bucket URL: Masukkan URI bucket GCS dengan jalur awalan:

     gs://domaintools-iris/domaintools/iris/
     

     • Ganti:

       • domaintools-iris: Nama bucket GCS Anda.
       • domaintools/iris/: Jalur awalan/folder opsional tempat log disimpan (biarkan kosong untuk root).

     • Contoh:

       • Bucket root: gs://domaintools-iris/
       • Dengan awalan: gs://domaintools-iris/domaintools/iris/
     Catatan: Selalu sertakan garis miring (/) di akhir URI.

   • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:

     • Never: Tidak pernah menghapus file apa pun setelah transfer (direkomendasikan untuk pengujian).
     • Delete transferred files: Menghapus file setelah transfer berhasil.

     • Delete transferred files and empty directories: Menghapus file dan direktori kosong setelah transfer berhasil.

       Catatan: Jika Anda memilih opsi penghapusan, akun layanan harus memiliki peran Storage Object Admin, bukan Storage Object Viewer. Perbarui izin IAM sebagaimana mestinya.

   • Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.

   • Namespace aset: domaintools.threat_intel

   • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.

9. Klik Berikutnya.

10. Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.

Log sampel DomainTools Iris Investigate yang didukung

• Pengayaan domain standar (dasar)

  {
    "domain": "example-sanitized-01.com",
    "whois_url": "https://whois.domaintools.com/example-sanitized-01.com",
    "active": false,
    "admin_contact": {
      "name": {
        "value": "REDACTED_NAME"
      },
      "org": {
        "value": "Sanitized Corp"
      },
      "email": [
        {
          "value": "[e-mail]"
        }
      ]
    },
    "ip": [
      {
        "address": {
          "value": "192.168.1.100"
        },
        "asn": [
          {
            "value": 12345
          }
        ],
        "isp": {
          "value": "Generic ISP"
        }
      }
    ],
    "domain_risk": {
      "risk_score": 46,
      "components": [
        {
          "name": "proximity",
          "risk_score": 5
        },
        {
          "name": "threat_profile_phishing",
          "risk_score": 46
        }
      ]
    },
    "timestamp": "2023-11-21T12:15:50.130728Z"
  }
  

• Skema pemasaran/pelacakan lanjutan

  {
    "domain": "analytics-tracker-sample.com",
    "google_analytics": {
      "value": "UA-000000-0"
    },
    "ga4": [
      {
        "value": "G-YYYYYYYYYX"
      }
    ],
    "gtm_codes": [
      {
        "value": "GTM-YYYX"
      }
    ],
    "fb_codes": [
      {
        "value": "1234567890"
      }
    ],
    "baidu_codes": [
      {
        "value": "hash_masked_value"
      }
    ],
    "yandex_codes": [
      {
        "value": "98765432"
      }
    ],
    "matomo_codes": [
      {
        "value": "https://analytics.internal-sanitized.net/"
      }
    ]
  }
  

• Skema yang diberi tag dan dipantau

  {
    "domain": "monitored-threat.net",
    "monitor_domain": true,
    "monitoring_domain_list_name": "Watchlist_Alpha",
    "tags": [
      {
        "label": "Sanitized_Tag",
        "scope": "group",
        "tagged_at": "2020-12-02T13:33:40Z"
      }
    ],
    "registrar": {
      "value": "Safe-Registrar LLC"
    }
  }
  

• Skema respons web dan SSL berisiko tinggi

  {
    "domain": "high-risk-malware.org",
    "domain_risk": {
      "risk_score": 100,
      "components": [
        {
          "name": "threat_profile_malware",
          "risk_score": 95
        }
      ]
    },
    "ssl_info": [
      {
        "hash": {
          "value": "sha1_masked_hash_sequence"
        },
        "common_name": {
          "value": "www.sanitized-cert.com"
        },
        "issuer_common_name": {
          "value": "Sanitized CA"
        },
        "not_after": {
          "value": 20251231
        }
      }
    ],
    "website_response": 200,
    "server_type": "Sanitized-Server-v1.0",
    "website_title": "Sanitized Landing Page"
  }
  

Tabel pemetaan UDM

Kolom log	pemetaan UDM	Logika
aktif	principal.domain.status	Dipetakan langsung dari kolom aktif di log mentah.
additional_whois_email.[].value	about.labels.additional_whois_email	Diekstrak dari array additional_whois_email dan ditambahkan sebagai label di objek about.
adsense.value	about.labels.adsense	Diekstrak dari adsense.value dan ditambahkan sebagai label di objek about.
admin_contact.city.value	principal.domain.admin.office_address.city	Dipetakan langsung dari kolom admin_contact.city.value di log mentah.
admin_contact.country.value	principal.domain.admin.office_address.country_or_region	Dipetakan langsung dari kolom admin_contact.country.value di log mentah.
admin_contact.email.[].value	principal.domain.admin.email_addresses	Diekstrak dari array admin_contact.email dan ditambahkan ke kolom email_addresses.
admin_contact.fax.value	principal.domain.admin.attribute.labels.fax	Diekstrak dari admin_contact.fax.value dan ditambahkan sebagai label dengan kunci "fax" di atribut admin.
admin_contact.name.value	principal.domain.admin.user_display_name	Dipetakan langsung dari kolom admin_contact.name.value di log mentah.
admin_contact.org.value	principal.domain.admin.company_name	Dipetakan langsung dari kolom admin_contact.org.value di log mentah.
admin_contact.phone.value	principal.domain.admin.phone_numbers	Dipetakan langsung dari kolom admin_contact.phone.value di log mentah.
admin_contact.postal.value	principal.domain.admin.attribute.labels.postal	Diekstrak dari admin_contact.postal.value dan ditambahkan sebagai label dengan kunci "postal" di atribut admin.
admin_contact.state.value	principal.domain.admin.office_address.state	Dipetakan langsung dari kolom admin_contact.state.value di log mentah.
admin_contact.street.value	principal.domain.admin.office_address.name	Dipetakan langsung dari kolom admin_contact.street.value di log mentah.
alexa	about.labels.alexa	Dipetakan langsung dari kolom alexa di log mentah dan ditambahkan sebagai label di objek about.
baidu_codes.[].value	about.labels.baidu_codes	Diekstrak dari array baidu_codes dan ditambahkan sebagai label di objek about.
billing_contact.city.value	principal.domain.billing.office_address.city	Dipetakan langsung dari kolom billing_contact.city.value di log mentah.
billing_contact.country.value	principal.domain.billing.office_address.country_or_region	Dipetakan langsung dari kolom billing_contact.country.value di log mentah.
billing_contact.email.[].value	principal.domain.billing.email_addresses	Diekstrak dari array billing_contact.email dan ditambahkan ke kolom email_addresses.
billing_contact.fax.value	principal.domain.billing.attribute.labels.fax	Diekstrak dari billing_contact.fax.value dan ditambahkan sebagai label dengan kunci "fax" di atribut penagihan.
billing_contact.name.value	principal.domain.billing.user_display_name	Dipetakan langsung dari kolom billing_contact.name.value di log mentah.
billing_contact.org.value	principal.domain.billing.company_name	Dipetakan langsung dari kolom billing_contact.org.value di log mentah.
billing_contact.phone.value	principal.domain.billing.phone_numbers	Dipetakan langsung dari kolom billing_contact.phone.value di log mentah.
billing_contact.postal.value	principal.domain.billing.attribute.labels.postal	Diekstrak dari billing_contact.postal.value dan ditambahkan sebagai label dengan kunci "postal" di atribut penagihan.
billing_contact.state.value	principal.domain.billing.office_address.state	Dipetakan langsung dari kolom billing_contact.state.value di log mentah.
billing_contact.street.value	principal.domain.billing.office_address.name	Dipetakan langsung dari kolom billing_contact.street.value di log mentah.
create_date.value	principal.domain.creation_time	Dikonversi ke format stempel waktu dari kolom create_date.value di log mentah.
data_updated_timestamp	principal.domain.audit_update_time	Dikonversi ke format stempel waktu dari kolom data_updated_timestamp di log mentah.
domain	principal.hostname	Dipetakan langsung dari kolom domain di log mentah.
domain_risk.components.[].evidence	security_result.detection_fields.evidence	Diekstrak dari array domain_risk.components.[].evidence dan ditambahkan sebagai kolom deteksi dengan kunci "evidence" di objek security_result.
domain_risk.components.[].name	security_result.category_details	Dipetakan langsung dari kolom domain_risk.components.[].name di log mentah.
domain_risk.components.[].risk_score	security_result.risk_score	Dipetakan langsung dari kolom domain_risk.components.[].risk_score di log mentah.
domain_risk.components.[].threats	security_result.threat_name	Elemen pertama array domain_risk.components.[].threats dipetakan ke security_result.threat_name.
domain_risk.components.[].threats	security_result.detection_fields.threats	Elemen yang tersisa dari array domain_risk.components.[].threats ditambahkan sebagai kolom deteksi dengan kunci "threats" di objek security_result.
domain_risk.risk_score	security_result.risk_score	Dipetakan langsung dari kolom domain_risk.risk_score di log mentah.
email_domain.[].value	about.labels.email_domain	Diekstrak dari array email_domain dan ditambahkan sebagai label di objek about.
expiration_date.value	principal.domain.expiration_time	Dikonversi ke format stempel waktu dari kolom expiration_date.value di log mentah.
fb_codes.[].value	about.labels.fb_codes	Diekstrak dari array fb_codes dan ditambahkan sebagai label di objek about.
first_seen.value	principal.domain.first_seen_time	Dikonversi ke format stempel waktu dari kolom first_seen.value di log mentah.
ga4.[].value	about.labels.ga4	Diekstrak dari array ga4 dan ditambahkan sebagai label di objek about.
google_analytics.value	about.labels.google_analytics	Diekstrak dari google_analytics.value dan ditambahkan sebagai label di objek about.
gtm_codes.[].value	about.labels.gtm_codes	Diekstrak dari array gtm_codes dan ditambahkan sebagai label di objek about.
hotjar_codes.[].value	about.labels.hotjar_codes	Diekstrak dari array hotjar_codes dan ditambahkan sebagai label di objek about.
ip.[].address.value	principal.ip	Elemen pertama array ip dipetakan ke principal.ip.
ip.[].address.value	about.labels.ip_address	Elemen yang tersisa dari array ip ditambahkan sebagai label dengan kunci "ip_address" di objek about.
ip.[].asn.[].value	network.asn	Elemen pertama dari array ip.asn pertama dipetakan ke network.asn.
ip.[].asn.[].value	about.labels.asn	Elemen array ip.asn yang tersisa ditambahkan sebagai label dengan kunci "asn" di objek about.
ip.[].country_code.value	principal.location.country_or_region	country_code.value dari elemen pertama dalam array ip dipetakan ke principal.location.country_or_region.
ip.[].country_code.value	about.location.country_or_region	country_code.value dari elemen yang tersisa dalam array ip dipetakan ke about.location.country_or_region.
ip.[].isp.value	principal.labels.isp	isp.value dari elemen pertama dalam array ip dipetakan ke principal.labels.isp.
ip.[].isp.value	about.labels.isp	isp.value dari elemen yang tersisa dalam array ip dipetakan ke about.labels.isp.
matomo_codes.[].value	about.labels.matomo_codes	Diekstrak dari array matomo_codes dan ditambahkan sebagai label di objek about.
monitor_domain	about.labels.monitor_domain	Dipetakan langsung dari kolom monitor_domain di log mentah dan ditambahkan sebagai label di objek about.
monitoring_domain_list_name	about.labels.monitoring_domain_list_name	Dipetakan langsung dari kolom monitoring_domain_list_name di log mentah dan ditambahkan sebagai label di objek about.
mx.[].domain.value	about.domain.name	Dipetakan langsung dari kolom mx.[].domain.value di log mentah.
mx.[].host.value	about.hostname	Dipetakan langsung dari kolom mx.[].host.value di log mentah.
mx.[].ip.[].value	about.ip	Diekstrak dari array mx.[].ip dan ditambahkan ke kolom ip.
mx.[].priority	about.security_result.priority_details	Dipetakan langsung dari kolom mx.[].priority di log mentah.
name_server.[].domain.value	about.labels.name_server_domain	Diekstrak dari name_server.[].domain.value dan ditambahkan sebagai label dengan kunci "name_server_domain" di objek about.
name_server.[].host.value	principal.domain.name_server	Diekstrak dari name_server.[].host.value dan ditambahkan ke kolom name_server.
name_server.[].host.value	about.domain.name_server	Diekstrak dari name_server.[].host.value dan ditambahkan ke kolom name_server.
name_server.[].ip.[].value	about.labels.ip	Diekstrak dari array name_server.[].ip dan ditambahkan sebagai label dengan kunci "ip" di objek about.
popularity_rank	about.labels.popularity_rank	Dipetakan langsung dari kolom popularity_rank di log mentah dan ditambahkan sebagai label di objek about.
redirect.value	about.labels.redirect	Diekstrak dari redirect.value dan ditambahkan sebagai label di objek about.
redirect_domain.value	about.labels.redirect_domain	Diekstrak dari redirect_domain.value dan ditambahkan sebagai label di objek about.
registrant_contact.city.value	principal.domain.registrant.office_address.city	Dipetakan langsung dari kolom registrant_contact.city.value di log mentah.
registrant_contact.country.value	principal.domain.registrant.office_address.country_or_region	Dipetakan langsung dari kolom registrant_contact.country.value di log mentah.
registrant_contact.email.[].value	principal.domain.registrant.email_addresses	Diekstrak dari array registrant_contact.email dan ditambahkan ke kolom email_addresses.
registrant_contact.fax.value	principal.domain.registrant.attribute.labels.fax	Diekstrak dari registrant_contact.fax.value dan ditambahkan sebagai label dengan kunci "fax" di atribut registrant.
registrant_contact.name.value	principal.domain.registrant.user_display_name	Dipetakan langsung dari kolom registrant_contact.name.value di log mentah.
registrant_contact.org.value	principal.domain.registrant.company_name	Dipetakan langsung dari kolom registrant_contact.org.value di log mentah.
registrant_contact.phone.value	principal.domain.registrant.phone_numbers	Dipetakan langsung dari kolom registrant_contact.phone.value di log mentah.
registrant_contact.postal.value	principal.domain.registrant.attribute.labels.postal	Diekstrak dari registrant_contact.postal.value dan ditambahkan sebagai label dengan kunci "postal" di atribut registrant.
registrant_contact.state.value	principal.domain.registrant.office_address.state	Dipetakan langsung dari kolom registrant_contact.state.value di log mentah.
registrant_contact.street.value	principal.domain.registrant.office_address.name	Dipetakan langsung dari kolom registrant_contact.street.value di log mentah.
registrant_name.value	about.labels.registrant_name	Diekstrak dari registrant_name.value dan ditambahkan sebagai label di objek about.
registrant_org.value	about.labels.registrant_org	Diekstrak dari registrant_org.value dan ditambahkan sebagai label di objek about.
registrar.value	principal.domain.registrar	Dipetakan langsung dari kolom registrar.value di log mentah.
registrar_status	about.labels.registrar_status	Diekstrak dari array registrar_status dan ditambahkan sebagai label di objek about.
server_type	network.tls.client.server_name	Dipetakan langsung dari kolom server_type di log mentah.
soa_email.[].value	principal.user.email_addresses	Diekstrak dari array soa_email dan ditambahkan ke kolom email_addresses.
spf_info	about.labels.spf_info	Dipetakan langsung dari kolom spf_info di log mentah dan ditambahkan sebagai label di objek about.
ssl_email.[].value	about.labels.ssl_email	Diekstrak dari array ssl_email dan ditambahkan sebagai label di objek about.
ssl_info.[].alt_names.[].value	about.labels.alt_names	Diekstrak dari array ssl_info.[].alt_names dan ditambahkan sebagai label di objek about.
ssl_info.[].common_name.value	about.labels.common_name	Diekstrak dari ssl_info.[].common_name.value dan ditambahkan sebagai label di objek about.
ssl_info.[].duration.value	about.labels.duration	Diekstrak dari ssl_info.[].duration.value dan ditambahkan sebagai label di objek about.
ssl_info.[].email.[].value	about.labels.ssl_info_email	Diekstrak dari array ssl_info.[].email dan ditambahkan sebagai label dengan kunci "ssl_info_email" di objek about.
ssl_info.[].hash.value	network.tls.server.certificate.sha1	hash.value dari elemen pertama dalam array ssl_info dipetakan ke network.tls.server.certificate.sha1.
ssl_info.[].hash.value	about.labels.hash	Hash.value dari elemen yang tersisa dalam array ssl_info dipetakan ke about.labels.hash.
ssl_info.[].issuer_common_name.value	network.tls.server.certificate.issuer	issuer_common_name.value dari elemen pertama dalam array ssl_info dipetakan ke network.tls.server.certificate.issuer.
ssl_info.[].issuer_common_name.value	about.labels.issuer_common_name	issuer_common_name.value dari elemen yang tersisa dalam array ssl_info dipetakan ke about.labels.issuer_common_name.
ssl_info.[].not_after.value	network.tls.server.certificate.not_after	not_after.value dari elemen pertama dalam array ssl_info dikonversi ke format stempel waktu dan dipetakan ke network.tls.server.certificate.not_after.
ssl_info.[].not_after.value	about.labels.not_after	not_after.value dari elemen yang tersisa dalam array ssl_info dipetakan ke about.labels.not_after.
ssl_info.[].not_before.value	network.tls.server.certificate.not_before	not_before.value dari elemen pertama dalam array ssl_info dikonversi ke format stempel waktu dan dipetakan ke network.tls.server.certificate.not_before.
ssl_info.[].not_before.value	about.labels.not_before	not_before.value dari elemen yang tersisa dalam array ssl_info dipetakan ke about.labels.not_before.
ssl_info.[].organization.value	network.organization_name	organization.value dari elemen pertama dalam array ssl_info dipetakan ke network.organization_name.
ssl_info.[].organization.value	about.labels.organization	Organization.value dari elemen yang tersisa dalam array ssl_info dipetakan ke about.labels.organization.
ssl_info.[].subject.value	about.labels.subject	Diekstrak dari ssl_info.[].subject.value dan ditambahkan sebagai label di objek about.
statcounter_project_codes.[].value	about.labels.statcounter_project_codes	Diekstrak dari array statcounter_project_codes dan ditambahkan sebagai label di objek about.
statcounter_security_codes.[].value	about.labels.statcounter_security_codes	Diekstrak dari array statcounter_security_codes dan ditambahkan sebagai label di objek about.
tags.[].label	about.file.tags	Diekstrak dari tags.[].label dan ditambahkan ke kolom tags.
tags.[].scope	security_result.detection_fields.scope	Diekstrak dari tags.[].scope dan ditambahkan sebagai kolom deteksi dengan kunci "scope" di objek security_result.
tags.[].tagged_at	security_result.detection_fields.tagged_at	Diekstrak dari tags.[].tagged_at dan ditambahkan sebagai kolom deteksi dengan kunci "tagged_at" di objek security_result.
technical_contact.city.value	principal.domain.tech.office_address.city	Dipetakan langsung dari kolom technical_contact.city.value di log mentah.
technical_contact.country.value	principal.domain.tech.office_address.country_or_region	Dipetakan langsung dari kolom technical_contact.country.value di log mentah.
technical_contact.email.[].value	principal.domain.tech.email_addresses	Diekstrak dari array technical_contact.email dan ditambahkan ke kolom email_addresses.
technical_contact.fax.value	principal.domain.tech.attribute.labels.fax	Diekstrak dari technical_contact.fax.value dan ditambahkan sebagai label dengan kunci "fax" di atribut tech.
technical_contact.name.value	principal.domain.tech.user_display_name	Dipetakan langsung dari kolom technical_contact.name.value di log mentah.
technical_contact.org.value	principal.domain.tech.company_name	Dipetakan langsung dari kolom technical_contact.org.value di log mentah.
technical_contact.phone.value	principal.domain.tech.phone_numbers	Dipetakan langsung dari kolom technical_contact.phone.value di log mentah.
technical_contact.postal.value	principal.domain.tech.attribute.labels.postal	Diekstrak dari technical_contact.postal.value dan ditambahkan sebagai label dengan kunci "postal" di atribut tech.
technical_contact.state.value	principal.domain.tech.office_address.state	Dipetakan langsung dari kolom technical_contact.state.value di log mentah.
technical_contact.street.value	principal.domain.tech.office_address.name	Dipetakan langsung dari kolom technical_contact.street.value di log mentah.
tld	about.labels.tld	Dipetakan langsung dari kolom tld di log mentah dan ditambahkan sebagai label di objek about.
timestamp	about.labels.timestamp	Dipetakan langsung dari kolom stempel waktu di log mentah dan ditambahkan sebagai label di objek about.
website_response	principal.network.http.response_code	Dipetakan langsung dari kolom website_response di log mentah.
website_title	about.labels.website_title	Dipetakan langsung dari kolom website_title di log mentah dan ditambahkan sebagai label di objek about.
whois_url	principal.domain.whois_server	Dipetakan langsung dari kolom whois_url di log mentah.
yandex_codes.[].value	about.labels.yandex_codes	Diekstrak dari array yandex_codes dan ditambahkan sebagai label di objek about.
edr.client.hostname		Tetapkan ke nilai kolom domain.
edr.client.ip_addresses		Tetapkan ke nilai elemen pertama dalam array ip, khususnya ip.[0].address.value.
edr.raw_event_name		Tetapkan ke "STATUS_UPDATE" jika principal.hostname ada, jika tidak, tetapkan ke "GENERIC_EVENT".
metadata.event_timestamp		Disalin dari kolom create_time tingkat teratas di log mentah.
metadata.event_type		Tetapkan ke "STATUS_UPDATE" jika principal.hostname ada, jika tidak, tetapkan ke "GENERIC_EVENT".
metadata.log_type		Tetapkan ke "DOMAINTOOLS_THREATINTEL".
metadata.product_name		Tetapkan ke "DOMAINTOOLS".
metadata.vendor_name		Tetapkan ke "DOMAINTOOLS".

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.