Coletar registros da Menlo Security Isolation Platform (MSIP)

Compatível com:

Neste guia, explicamos como ingerir registros da Menlo Security Isolation Platform (MSIP) no Google SecOps usando o Google Cloud Storage.

A abordagem centrada em isolamento da Menlo Security divide a navegação na Web e a recuperação de documentos entre o dispositivo do usuário e um contêiner virtual descartável (DVC, na sigla em inglês) isolado, longe do endpoint. Todo o código de risco é executado no DVC isolado e nunca chega ao endpoint. Somente dados de exibição seguros são enviados ao navegador do usuário. A plataforma oferece geração de registros abrangente para acesso à Web, eventos de auditoria, segurança de e-mail, violações de DLP e atividade de SMTP.

Antes de começar

Verifique se você atende os seguintes pré-requisitos:

  • Uma instância do Google SecOps
  • Acesso privilegiado ao portal de administrador de segurança da Menlo Security
  • Permissões para criar tokens de API na Menlo Security
  • Um projeto do GCP com as APIs Cloud Storage, Cloud Run, Pub/Sub e API Cloud Scheduler ativadas

Configurar o acesso à API da Menlo Security

Para permitir que a função do Cloud Run recupere registros, crie um token de API com a permissão da API Log Export.

Criar token de API

  1. Faça login no Portal de Administração da Menlo Security em https://admin.menlosecurity.com.
  2. Acesse Settings > Authentication > API Tokens.
  3. Clique em Criar token.
  4. No campo Nome do token, insira um nome descritivo (por exemplo, Chronicle GCS Integration).
  5. Na seção Permissões, selecione API Log Export.
  6. Clique em Criar ou Salvar.
  7. Copie e armazene com segurança o token de API gerado.

Importante: o token de API é exibido apenas uma vez. Armazene-a em um local seguro imediatamente após a criação.

Permissões de API necessárias

  • O token de API requer a seguinte permissão:

    Permissão/escopo Nível de acesso Finalidade
    API Log Export Ler Recuperar registros da API Menlo Security

Criar um bucket do Google Cloud Storage

  1. Acesse o Console do Google Cloud.
  2. Selecione seu projeto ou crie um novo.
  3. No menu de navegação, acesse Cloud Storage > Buckets.
  4. Clique em Criar bucket.
  5. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nomeie seu bucket Insira um nome globalmente exclusivo (por exemplo, menlo-security-logs)
    Tipo de local Escolha de acordo com suas necessidades (região, birregional, multirregional)
    Local Selecione o local (por exemplo, us-central1).
    Classe de armazenamento Padrão (recomendado para registros acessados com frequência)
    Controle de acesso Uniforme (recomendado)
    Ferramentas de proteção Opcional: ativar o controle de versões de objetos ou a política de retenção
  6. Clique em Criar.

Criar uma conta de serviço para a função do Cloud Run

Criar conta de serviço

  1. No Console do GCP, acesse IAM e administrador > Contas de serviço.
  2. Clique em Criar conta de serviço.
  3. Informe os seguintes detalhes de configuração:
    • Nome da conta de serviço: insira menlo-logs-collector-sa.
    • Descrição da conta de serviço: insira Service account for Cloud Run function to collect Menlo Security logs.
  4. Clique em Criar e continuar.
  5. Na seção Conceder acesso a essa conta de serviço ao projeto, adicione os seguintes papéis:
    1. Clique em Selecionar papel.
    2. Pesquise e selecione Administrador de objetos do Storage.
    3. Clique em + Adicionar outro papel.
    4. Pesquise e selecione Invocador do Cloud Run.
    5. Clique em + Adicionar outro papel.
    6. Pesquise e selecione Invocador do Cloud Functions.
  6. Clique em Continuar.
  7. Clique em Concluído.

Conceder permissões do IAM no bucket do GCS

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket (menlo-security-logs).
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar principais: insira o e-mail da conta de serviço (menlo-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
    • Atribuir papéis: selecione Administrador de objetos do Storage.
  6. Clique em Salvar.

Criar tópico Pub/Sub

  1. No Console do GCP, acesse Pub/Sub > Tópicos.
  2. Selecione Criar tópico.
  3. Informe os seguintes detalhes de configuração:
    • ID do tópico: insira menlo-logs-trigger.
    • Não mude as outras configurações.
  4. Clique em Criar.

Criar uma função do Cloud Run para coletar registros

  1. No Console do GCP, acesse o Cloud Run.
  2. Clique em Criar serviço.
  3. Selecione Função (use um editor in-line para criar uma função).
  4. Na seção Configurar, forneça os seguintes detalhes de configuração:

    Configuração Valor
    Nome do serviço menlo-logs-collector
    Região Selecione a região correspondente ao bucket do GCS (por exemplo, us-central1).
    Ambiente de execução Selecione Python 3.12 ou mais recente.
  5. Na seção Acionador (opcional):

    1. Clique em + Adicionar gatilho.
    2. Selecione Cloud Pub/Sub.
    3. Em Selecionar um tópico do Cloud Pub/Sub, escolha menlo-logs-trigger.
    4. Clique em Salvar.
  6. Na seção Autenticação:

    1. Selecione Exigir autenticação.
    2. Verifique o Identity and Access Management (IAM).
  7. Role para baixo e abra Contêineres, rede, segurança.

  8. Acesse a guia Segurança:

    • Conta de serviço: selecione menlo-logs-collector-sa.
  9. Acesse a guia Contêineres:

    1. Clique em Variáveis e secrets.
    2. Clique em + Adicionar variável para cada variável de ambiente:
    Nome da variável Valor de exemplo Descrição
    GCS_BUCKET menlo-security-logs Nome do bucket do GCS
    GCS_PREFIX menlo-logs Prefixo para arquivos de registro
    STATE_KEY menlo-logs/state.json Caminho do arquivo de estado
    MENLO_API_TOKEN your-menlo-api-token Token da API Menlo Security
    MENLO_API_HOST logs.menlosecurity.com Host da API Menlo Security
    MENLO_LOG_TYPES web,audit,email,dlp Tipos de registro separados por vírgulas
    LOOKBACK_HOURS 1 Período de lookback inicial
  10. Na seção Variáveis e secrets, role para baixo até Solicitações:

    • Tempo limite da solicitação: insira 600 segundos (10 minutos)
  11. Acesse a guia Configurações:

    • Na seção Recursos:
      • Memória: selecione 512 MiB ou mais.
      • CPU: selecione 1.
  12. Na seção Escalonamento de revisão:

    • Número mínimo de instâncias: insira 0.
    • Número máximo de instâncias: insira 100.
  13. Clique em Criar.

  14. Aguarde a criação do serviço (1 a 2 minutos).

  15. Depois que o serviço for criado, o editor de código inline será aberto automaticamente.

Adicionar código da função

  1. Insira main no campo Ponto de entrada.
  2. No editor de código inline, crie dois arquivos:

    • main.py:
    import functions_framework
    from google.cloud import storage
    import os
    import json
    import urllib3
    import time
    import uuid
    from datetime import datetime, timezone, timedelta
    
    http = urllib3.PoolManager(
      timeout=urllib3.Timeout(connect=5.0, read=60.0),
      retries=False,
    )
    
    storage_client = storage.Client()
    
    GCS_BUCKET = os.environ.get('GCS_BUCKET')
    GCS_PREFIX = os.environ.get('GCS_PREFIX', 'menlo-logs')
    STATE_KEY = os.environ.get('STATE_KEY', 'menlo-logs/state.json')
    API_TOKEN = os.environ.get('MENLO_API_TOKEN')
    API_HOST = os.environ.get('MENLO_API_HOST', 'logs.menlosecurity.com')
    LOG_TYPES = os.environ.get('MENLO_LOG_TYPES', 'web').split(',')
    LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '1'))
    
    @functions_framework.cloud_event
    def main(cloud_event):
      if not all([GCS_BUCKET, API_TOKEN, API_HOST]):
        print('Error: Missing required environment variables')
        return
    
      try:
        bucket = storage_client.bucket(GCS_BUCKET)
        state = load_state(bucket)
        now = datetime.now(timezone.utc).replace(microsecond=0)
    
        if isinstance(state, dict) and state.get('last_event_time'):
          try:
            last_val = state['last_event_time']
            if last_val.endswith('Z'):
              last_val = last_val[:-1] + '+00:00'
            last_time = datetime.fromisoformat(last_val)
            last_time = last_time - timedelta(minutes=2)
          except Exception as e:
            print(f"Warning: Could not parse last_event_time: {e}")
            last_time = now - timedelta(hours=LOOKBACK_HOURS)
        else:
          last_time = now - timedelta(hours=LOOKBACK_HOURS)
    
        print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")
    
        total = 0
        newest_time = None
    
        for log_type in LOG_TYPES:
          log_type = log_type.strip()
          print(f"Fetching {log_type} logs...")
          events = fetch_logs(log_type, API_TOKEN, API_HOST, last_time, now)
    
          if events:
            object_key = f"{GCS_PREFIX}/{now:%Y/%m/%d}/menlo-{log_type}-{uuid.uuid4()}.ndjson"
            blob = bucket.blob(object_key)
    
            ndjson = '\n'.join(
              [json.dumps(ev, ensure_ascii=False) for ev in events]
            ) + '\n'
            blob.upload_from_string(ndjson, content_type='application/x-ndjson')
    
            print(f"Uploaded {len(events)} {log_type} events to gs://{GCS_BUCKET}/{object_key}")
            total += len(events)
    
            for ev in events:
              ev_time = ev.get('timestamp') or ev.get('time') or ev.get('created_at')
              if ev_time and (newest_time is None or str(ev_time) > str(newest_time)):
                newest_time = str(ev_time)
          else:
            print(f"No {log_type} events found")
    
        save_state(bucket, newest_time if newest_time else now.isoformat())
        print(f"Successfully processed {total} total events")
    
      except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise
    
    def fetch_logs(log_type, token, api_host, start, end):
      url = f"https://{api_host}/api/v1/logs/{log_type}"
      headers = {
        'Authorization': f'Token {token}',
        'Accept': 'application/json',
      }
      params = {
        'start': start.strftime('%Y-%m-%dT%H:%M:%SZ'),
        'end': end.strftime('%Y-%m-%dT%H:%M:%SZ'),
      }
      query = '&'.join(f'{k}={v}' for k, v in params.items())
      full_url = f'{url}?{query}'
    
      all_events = []
      backoff = 1.0
    
      while full_url:
        response = http.request('GET', full_url, headers=headers)
    
        if response.status == 429:
          retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
          print(f"Rate limited. Waiting {retry_after}s...")
          time.sleep(retry_after)
          backoff = min(backoff * 2, 60.0)
          continue
    
        if response.status != 200:
          print(f"API error {response.status}: {response.data.decode('utf-8')}")
          break
    
        backoff = 1.0
        data = json.loads(response.data.decode('utf-8'))
        events = data if isinstance(data, list) else data.get('events', data.get('data', []))
        all_events.extend(events)
    
        full_url = data.get('next') if isinstance(data, dict) else None
    
      print(f"Total {log_type} events fetched: {len(all_events)}")
      return all_events
    
    def load_state(bucket):
      try:
        blob = bucket.blob(STATE_KEY)
        if blob.exists():
          return json.loads(blob.download_as_text())
      except Exception as e:
        print(f"Warning: Could not load state: {e}")
      return {}
    
    def save_state(bucket, last_event_time_iso):
      try:
        state = {
          'last_event_time': last_event_time_iso,
          'last_run': datetime.now(timezone.utc).isoformat()
        }
        blob = bucket.blob(STATE_KEY)
        blob.upload_from_string(
          json.dumps(state, indent=2),
          content_type='application/json'
        )
        print(f"Saved state: last_event_time={last_event_time_iso}")
      except Exception as e:
        print(f"Warning: Could not save state: {e}")
    
    • requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. Clique em Implantar para salvar e implantar a função.

  4. Aguarde a conclusão da implantação (2 a 3 minutos).

Criar o job do Cloud Scheduler

  1. No Console do GCP, acesse o Cloud Scheduler.
  2. Clique em Criar job.
  3. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nome menlo-logs-collector-hourly
    Região Selecione a mesma região da função do Cloud Run
    Frequência 0 * * * * (de hora em hora)
    Fuso horário Selecione o fuso horário (UTC recomendado)
    Tipo de destino Pub/Sub
    Tópico Selecionar menlo-logs-trigger
    Corpo da mensagem {} (objeto JSON vazio)
  4. Clique em Criar.

Testar a integração

  1. No console do Cloud Scheduler, encontre seu job (menlo-logs-collector-hourly).
  2. Clique em Forçar execução para acionar o job manualmente.
  3. Aguarde alguns segundos.
  4. Acesse Cloud Run > Serviços.
  5. Clique em menlo-logs-collector.
  6. Clique na guia Registros.
  7. Verifique se a função foi executada com sucesso. Procure por:

    Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Fetching web logs...
    Total web events fetched: X
    Uploaded X web events to gs://menlo-security-logs/menlo-logs/YYYY/MM/DD/menlo-web-UUID.ndjson
    Successfully processed X total events
    
  8. Acesse Cloud Storage > Buckets.

  9. Clique em menlo-security-logs.

  10. Navegue até a pasta menlo-logs/.

  11. Verifique se os novos arquivos .ndjson foram criados com a data atual.

Se você encontrar erros nos registros:

  • HTTP 401: verifique se a variável de ambiente MENLO_API_TOKEN está correta.
  • HTTP 403: verifique se o token da API tem a permissão API Log Export.
  • HTTP 429: limitação de taxa. A função vai tentar novamente de forma automática com espera.
  • Variáveis de ambiente ausentes: verifique se todas as variáveis necessárias estão definidas na configuração da função do Cloud Run.

Recuperar a conta de serviço do Google SecOps

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, Menlo Security MSIP Logs).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Menlo Security como o Tipo de registro.
  7. Clique em Get Service Account. Um e-mail exclusivo da conta de serviço será exibido, por exemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copie esse endereço de e-mail para usar na próxima etapa.

  9. Clique em Próxima.

  10. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do GCS com o caminho do prefixo:

      gs://menlo-security-logs/menlo-logs/
      
    • Opção de exclusão da fonte: selecione a opção de exclusão de acordo com sua preferência:

      • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
      • Excluir arquivos transferidos: exclui arquivos após a transferência.
      • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência.

      • Idade máxima do arquivo: inclua arquivos modificados nos últimos dias (o padrão é 180 dias).

      • Namespace do recurso: o namespace do recurso

      • Rótulos de ingestão: o rótulo que será aplicado aos eventos desse feed.

  11. Clique em Próxima.

  12. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.

Conceder permissões do IAM à conta de serviço do Google SecOps

  1. Acesse Cloud Storage > Buckets.
  2. Clique em menlo-security-logs.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
    • Atribuir papéis: selecione Leitor de objetos do Storage.
  6. Clique em Salvar.

Tabela de mapeamento de UDM

Campo de registro Mapeamento de UDM Lógica
customer_name intermediary.hostname Defina se customer_name não for IP
customer_name intermediary.ip Extraído de customer_name se for IP ou de IPs xff_ip
xff_ip intermediary.ip
event_data.event_time metadata.event_timestamp Analisado usando o filtro grok e de data
request_type metadata.event_type Lógica condicional com base nesses campos
has_principal metadata.event_type
has_top_url metadata.event_type
has_dest metadata.event_type
log_type metadata.log_type Valor copiado diretamente
event_data.name metadata.product_event_type Valor copiado diretamente
reqId metadata.product_log_id Valor copiado diretamente
event_data.version metadata.product_version Valor copiado diretamente
event_data.protocol network.application_protocol Mapeado usando a lista de protocolos predefinidos
request_type network.http.method Valor copiado diretamente
referenciador network.http.referral_url Valor copiado diretamente
response_code network.http.response_code Convertido para número inteiro
event_data.user-agent network.http.user_agent Valor copiado diretamente
full_session_id network.session_id Valor copiado diretamente
browser_and_version principal.application Valor copiado diretamente
event_data.x-client-ip principal.asset.ip Valor de event_data.x-client-ip se não estiver vazio, caso contrário, src_ip
src_ip principal.asset.ip
grupos principal.group.product_object_id Valor copiado diretamente
event_data.x-client-ip principal.ip Valor de event_data.x-client-ip se não estiver vazio, caso contrário, src_ip
src_ip principal.ip
região principal.location.country_or_region Valor da região, se não estiver vazio, caso contrário, egress_country
egress_country principal.location.country_or_region
region_name principal.location.name Valor copiado diretamente
egress_ip principal.nat_ip Valor copiado diretamente
event_data.userid principal.user.email_addresses Mesclado se corresponder à regex de e-mail
event_data.userid principal.user.userid Valor copiado diretamente
event_data.domain security_result.about.administrative_domain Valor copiado diretamente
event_data.url security_result.about.url Valor copiado diretamente
event_data.pe_action security_result.action Mapeado para ALLOW, BLOCK ou ALLOW_WITH_MODIFICATION
event_data.categories security_result.category_details Mesclado de event_data.categories (extraído ou direto) e casb_cat_name
casb_cat_name security_result.category_details
event_data.risk_score security_result.confidence_details Valor copiado diretamente
content-type security_result.detection_fields Mesclado de vários campos de rótulo
produto security_result.detection_fields
ameaças security_result.detection_fields
virusDetails security_result.detection_fields
sandboxResult security_result.detection_fields
fullScanResult security_result.detection_fields
tab_id security_result.detection_fields
pe_reason security_result.detection_fields
ua_type security_result.detection_fields
email_isolation_state security_result.detection_fields
document_url security_result.detection_fields
archive_path security_result.detection_fields
casb_app_name security_result.detection_fields
casb_fun_name security_result.detection_fields
casb_org_name security_result.detection_fields
casb_profile_id security_result.detection_fields
casb_profile_name security_result.detection_fields
casb_profile_type security_result.detection_fields
casb_risk_score security_result.detection_fields
connId security_result.detection_fields
origin_country security_result.detection_fields
egress_country security_result.detection_fields
is_casb_ddl security_result.detection_fields
is_iframe security_result.detection_fields
parent_file_id security_result.detection_fields
parent_filename security_result.detection_fields
parent_sha256 security_result.detection_fields
parent_tid security_result.detection_fields
root_file_id security_result.detection_fields
root_filename security_result.detection_fields
root_sha256 security_result.detection_fields
casb_risk_score security_result.risk_score Convertido em float
casb_profile_id security_result.rule_id Valor copiado diretamente
pe_rulename security_result.rule_name Valor copiado diretamente
casb_profile_name security_result.rule_set Valor copiado diretamente
casb_profile_type security_result.rule_type Valor copiado diretamente
event_data.severity security_result.severity_details Valor copiado diretamente
magicName security_result.summary Concatenado como "%{magicName} is %{threats}."
ameaças security_result.summary
threat_types security_result.threat_name Valor copiado diretamente
origin_ip src.ip Valor copiado diretamente
origin_country src.location.country_or_region Valor copiado diretamente
event_data.dst target.asset.ip Extraído de event_data.dst ou dst usando o padrão de IP do grok
dst target.asset.ip
filename target.file.full_path Valor copiado diretamente
mimeType target.file.mime_type Valor copiado diretamente
sha256 target.file.sha256 Valor copiado diretamente
file_size target.file.size Convertido em float e depois em uinteger
event_data.dst target.ip Extraído de event_data.dst ou dst usando o padrão de IP do grok
dst target.ip
top_url target.url Extraído usando o padrão grok de URI
metadata.product_name metadata.product_name Defina como "MENLO SECURITY"
metadata.vendor_name metadata.vendor_name Defina como "MENLO SECURITY"
region event.idm.read_only_udm.principal.location.country_or_region Mapeado do registro de alterações
region_name event.idm.read_only_udm.principal.location.name Mapeado do registro de alterações
src_ip event.idm.read_only_udm.principal.ip e event.idm.read_only_udm.principal.asset.ip Mapeado do registro de alterações
groups event.idm.read_only_udm.principal.group.product_object_id Mapeado do registro de alterações
content-type event.idm.read_only_udm.security_result.detection_fields Mapeado do registro de alterações
product event.idm.read_only_udm.security_result.detection_fields Mapeado do registro de alterações
mimeType event.idm.read_only_udm.target.file.mime_type Mapeado do registro de alterações

Registro de alterações

Confira o registro de alterações deste analisador

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.