Coletar registros de IOCs do Proofpoint Emerging Threats Pro

Versão do analisador: 2.0

Compatível com:

Neste documento, explicamos como ingerir registros de IOC do Proofpoint Emerging Threats Pro no Google Security Operations usando o Cloud Storage. A Emerging Threats Intelligence publica listas de reputação de IPs e domínios em formato CSV a cada hora com dados de inteligência contra ameaças, incluindo categorias, pontuações e informações temporais. O código do analisador processa dados de inteligência contra ameaças ET_PRO formatados em CSV. Ele extrai endereços IP, domínios, categorias, pontuações e outras informações relevantes, mapeando-os para um formato de IOC padronizado e para o esquema de UDM do Chronicle para análise e uso adicionais no Google SecOps.

Antes de começar

Verifique se você atende os seguintes pré-requisitos:

  • Uma instância do Google SecOps
  • Um projeto do Google Cloud com a API Storage do Cloud Storage ativada.
  • Permissões para criar e gerenciar buckets do Cloud Storage
  • Permissões para gerenciar políticas do Identity and Access Management (IAM) em buckets do Cloud Storage
  • Permissões para criar serviços do Cloud Run, tópicos do Pub/Sub e jobs do Cloud Scheduler
  • Assinatura do Proofpoint ET Intelligence com acesso a listas de reputação
  • Chave de API ET Intelligence de https://etadmin.proofpoint.com/api-access

Coletar pré-requisitos do Emerging Threats Pro

  1. Faça login no portal de administração do ET Intelligence em https://etadmin.proofpoint.com.
  2. Acesse Acesso à API.
  3. Copie e salve sua chave de API.
  4. Entre em contato com seu representante da Proofpoint para receber:
    • URL da lista detalhada de reputação de IP
    • URL da lista detalhada de reputação de domínios

O ET Intelligence fornece arquivos CSV separados para listas de reputação de IP e domínio, atualizados de hora em hora. Use o formato "detalhado", que inclui estas colunas:

  • Lista de domínios: nome de domínio, categoria, pontuação, primeira visualização, última visualização, portas
  • Lista de IPs: endereço IP, categoria, pontuação, primeira visualização, última visualização, portas

Os URLs de formato detalhado geralmente seguem este padrão:

  • Lista de IPs: https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-iprepdata.txt
  • Lista de domínios: https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-domainrepdata.txt

O cabeçalho de autorização precisa conter o valor bruto da chave de API sem um prefixo Bearer, de acordo com as expectativas da API Emerging Threats.

criar o bucket do Cloud Storage

  1. Acesse o console doGoogle Cloud .
  2. Selecione seu projeto ou crie um novo.
  3. No menu de navegação, acesse Cloud Storage > Buckets.
  4. Clique em Criar bucket.
  5. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nomeie seu bucket Insira um nome globalmente exclusivo (por exemplo, et-pro-ioc-bucket)
    Tipo de local Escolha de acordo com suas necessidades (região, birregional, multirregional)
    Local Selecione o local (por exemplo, us-central1).
    Classe de armazenamento Padrão (recomendado para registros acessados com frequência)
    Controle de acesso Uniforme (recomendado)
    Ferramentas de proteção Opcional: ativar o controle de versões de objetos ou a política de retenção
  6. Clique em Criar.

Criar uma conta de serviço para a função do Cloud Run

A função do Cloud Run precisa de uma conta de serviço com permissões para gravar no bucket do Cloud Storage e ser invocada pelo Pub/Sub.

Criar conta de serviço

  1. No console do Google Cloud , acesse IAM e administrador > Contas de serviço.
  2. Clique em Criar conta de serviço.
  3. Informe os seguintes detalhes de configuração:
    • Nome da conta de serviço: insira et-pro-ioc-fetcher-sa.
    • Descrição da conta de serviço: insira Service account for Cloud Run function to collect Proofpoint ET Pro IOC logs.
  4. Clique em Criar e continuar.
  5. Na seção Conceder acesso a essa conta de serviço ao projeto, adicione os seguintes papéis:
    1. Clique em Selecionar papel.
    2. Pesquise e selecione Administrador de objetos do Storage.
    3. Clique em + Adicionar outro papel.
    4. Pesquise e selecione Invocador do Cloud Run.
    5. Clique em + Adicionar outro papel.
    6. Pesquise e selecione Invocador do Cloud Functions.
  6. Clique em Continuar.
  7. Clique em Concluído.

Esses papéis são necessários para:

  • Administrador de objetos do Storage: grava registros no bucket do Cloud Storage e gerencia arquivos de estado
  • Invocador do Cloud Run: permite que o Pub/Sub invoque a função.
  • Invocador do Cloud Functions: permite a invocação de funções.

Conceder permissões do IAM no bucket do Cloud Storage

Conceda à conta de serviço permissões de gravação no bucket do Cloud Storage:

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: insira o e-mail da conta de serviço (por exemplo, et-pro-ioc-fetcher-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Atribuir papéis: selecione Administrador de objetos do Storage.
  6. Clique em Salvar.

Criar tópico Pub/Sub

Crie um tópico do Pub/Sub em que o Cloud Scheduler vai publicar e a função do Cloud Run vai se inscrever.

  1. No console do Google Cloud , acesse Pub/Sub > Tópicos.
  2. Selecione Criar tópico.
  3. Informe os seguintes detalhes de configuração:
    • ID do tópico: insira et-pro-ioc-trigger.
    • Não mude as outras configurações.
  4. Clique em Criar.

Criar uma função do Cloud Run para coletar registros

A função do Cloud Run é acionada por mensagens do Pub/Sub do Cloud Scheduler para buscar registros da API Proofpoint ET Intelligence e gravá-los no Cloud Storage.

  1. No console do Google Cloud , acesse o Cloud Run.
  2. Clique em Criar serviço.
  3. Selecione Função (use um editor in-line para criar uma função).
  4. Na seção Configurar, forneça os seguintes detalhes de configuração:

    Configuração Valor
    Nome do serviço et-pro-ioc-fetcher
    Região Selecione a região correspondente ao bucket do Cloud Storage (por exemplo, us-central1)
    Ambiente de execução Selecione Python 3.12 ou mais recente.
  5. Na seção Gatilho (opcional):

    1. Clique em + Adicionar gatilho.
    2. Selecione Cloud Pub/Sub.
    3. Em Selecionar um tópico do Cloud Pub/Sub, escolha et-pro-ioc-trigger.
    4. Clique em Salvar.
  6. Na seção Autenticação:

    1. Selecione Exigir autenticação.
    2. Verifique o Identity and Access Management (IAM).
  7. Role para baixo e abra Contêineres, rede, segurança.

  8. Acesse a guia Segurança:

    • Conta de serviço: selecione et-pro-ioc-fetcher-sa.
  9. Acesse a guia Contêineres:

    1. Clique em Variáveis e secrets.
    2. Clique em + Adicionar variável para cada variável de ambiente:
    Nome da variável Valor de exemplo Descrição
    GCS_BUCKET et-pro-ioc-bucket Nome do bucket do Cloud Storage
    GCS_PREFIX et-pro-ioc Prefixo para arquivos de registro
    STATE_KEY et-pro-ioc/state.json Caminho do arquivo de estado
    ET_API_KEY your-et-api-key Chave de API do ET Intelligence
    ET_IP_LIST_URL https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-iprepdata.txt URL da lista detalhada de reputação de IP
    ET_DOMAIN_LIST_URL https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-domainrepdata.txt URL da lista detalhada de reputação de domínios
    TIMEOUT 120 Tempo limite da solicitação HTTP em segundos
  10. Role para baixo na guia Variáveis e secrets até Solicitações:

    • Tempo limite da solicitação: insira 600 segundos (10 minutos).
  11. Acesse a guia Configurações em Contêineres:

    • Na seção Recursos:
      • Memória: selecione 512 MiB ou mais.
      • CPU: selecione 1.
    • Clique em Concluído.
  12. Role até Ambiente de execução:

    • Selecione Padrão (recomendado).
  13. Na seção Escalonamento de revisão:

    • Número mínimo de instâncias: insira 0.
    • Número máximo de instâncias: insira 100 (ou ajuste com base na carga esperada).
  14. Clique em Criar.

  15. Aguarde a criação do serviço (1 a 2 minutos).

  16. Depois que o serviço for criado, o editor de código inline será aberto automaticamente.

Adicionar código da função

  1. Digite main em Ponto de entrada da função.
  2. No editor de código inline, crie dois arquivos:

    • Primeiro arquivo: main.py:
    import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone
    import time
    
    # Initialize HTTP client with timeouts
    http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
    )
    
    # Initialize Storage client
    storage_client = storage.Client()
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch ET Pro IOC reputation lists and write to GCS.
    
        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """
    
        # Get environment variables
        bucket_name = os.environ.get('GCS_BUCKET')
        prefix = os.environ.get('GCS_PREFIX', 'et-pro-ioc').strip('/')
        state_key = os.environ.get('STATE_KEY', f'{prefix}/state.json')
        et_api_key = os.environ.get('ET_API_KEY')
        et_ip_list_url = os.environ.get('ET_IP_LIST_URL')
        et_domain_list_url = os.environ.get('ET_DOMAIN_LIST_URL')
        timeout = int(os.environ.get('TIMEOUT', '120'))
    
        if not all([bucket_name, et_api_key, et_ip_list_url, et_domain_list_url]):
            print('Error: Missing required environment variables')
            return
    
        try:
            # Get GCS bucket
            bucket = storage_client.bucket(bucket_name)
    
            # Generate timestamp for file naming
            now = datetime.now(timezone.utc)
            timestamp = now.strftime('%Y/%m/%d/%H%M%S')
    
            results = []
            errors = []
    
            # Fetch IP reputation list
            try:
                print('Fetching IP reputation list...')
                ip_data = fetch_with_retry(et_ip_list_url, et_api_key, timeout)
                ip_key = f'{prefix}/ip/{timestamp}.csv'
                save_to_gcs(bucket, ip_key, ip_data)
                results.append({'type': 'ip', 'key': ip_key, 'size': len(ip_data)})
                print(f'Successfully fetched IP list: {len(ip_data)} bytes')
            except Exception as e:
                error_msg = f'Failed to fetch IP list: {str(e)}'
                print(error_msg)
                errors.append(error_msg)
    
            # Fetch Domain reputation list
            try:
                print('Fetching Domain reputation list...')
                domain_data = fetch_with_retry(et_domain_list_url, et_api_key, timeout)
                domain_key = f'{prefix}/domain/{timestamp}.csv'
                save_to_gcs(bucket, domain_key, domain_data)
                results.append({'type': 'domain', 'key': domain_key, 'size': len(domain_data)})
                print(f'Successfully fetched Domain list: {len(domain_data)} bytes')
            except Exception as e:
                error_msg = f'Failed to fetch Domain list: {str(e)}'
                print(error_msg)
                errors.append(error_msg)
    
            # Save state
            state = {
                'last_fetch': now.isoformat(),
                'results': results,
                'errors': errors
            }
            save_state(bucket, state_key, state)
    
            if errors:
                print(f'Completed with {len(errors)} error(s)')
            else:
                print('Successfully completed all fetches')
    
        except Exception as e:
            print(f'Error processing logs: {str(e)}')
            raise
    
    def fetch_with_retry(url, api_key, timeout, max_retries=3):
        """Fetch URL with retry logic for rate limits."""
        if not url.lower().startswith('https://'):
            raise ValueError('Only HTTPS URLs are allowed')
    
        headers = {'Authorization': api_key}
    
        for attempt in range(max_retries):
            try:
                response = http.request('GET', url, headers=headers, timeout=timeout)
    
                if response.status == 200:
                    return response.data
                elif response.status == 429:
                    # Rate limited, wait and retry
                    wait_time = min(30 * (2 ** attempt), 300)
                    print(f'Rate limited, waiting {wait_time}s...')
                    time.sleep(wait_time)
                else:
                    raise Exception(f'HTTP {response.status}: {response.reason}')
            except Exception as e:
                if attempt == max_retries - 1:
                    raise
                time.sleep(5 * (attempt + 1))
    
        raise Exception(f'Failed to fetch {url} after {max_retries} attempts')
    
    def save_to_gcs(bucket, key, content):
        """Save content to GCS with appropriate content type."""
        blob = bucket.blob(key)
        blob.upload_from_string(content, content_type='text/csv')
        print(f'Saved {len(content)} bytes to gs://{bucket.name}/{key}')
    
    def save_state(bucket, key, state):
        """Save state to GCS."""
        try:
            blob = bucket.blob(key)
            blob.upload_from_string(
                json.dumps(state, indent=2),
                content_type='application/json'
            )
        except Exception as e:
            print(f'Warning: Could not save state: {str(e)}')
    
    • Segundo arquivo: requirements.txt::
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. Clique em Implantar para salvar e implantar a função.

  4. Aguarde a conclusão da implantação (2 a 3 minutos).

Criar o job do Cloud Scheduler

O Cloud Scheduler publica mensagens no tópico do Pub/Sub em intervalos regulares, acionando a função do Cloud Run.

  1. No console do Google Cloud , acesse o Cloud Scheduler.
  2. Clique em Criar job.
  3. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nome et-pro-ioc-fetcher-hourly
    Região Selecione a mesma região da função do Cloud Run
    Frequência 0 * * * * (de hora em hora)
    Fuso horário Selecione o fuso horário (UTC recomendado)
    Tipo de destino Pub/Sub
    Tópico Selecionar et-pro-ioc-trigger
    Corpo da mensagem {} (objeto JSON vazio)
  4. Clique em Criar.

Opções de frequência de programação

  • Escolha a frequência com base no volume de registros e nos requisitos de latência:

    Frequência Expressão Cron Caso de uso
    A cada hora 0 * * * * Padrão (recomendado para ET Pro IOC)
    A cada 2 horas 0 */2 * * * Frequência mais baixa
    A cada 6 horas 0 */6 * * * Atualizações mínimas

Testar a integração

  1. No console do Cloud Scheduler, encontre seu job.
  2. Clique em Forçar execução para acionar o job manualmente.
  3. Aguarde alguns segundos.
  4. Acesse Cloud Run > Serviços.
  5. Clique no nome da função (et-pro-ioc-fetcher).
  6. Clique na guia Registros.
  7. Verifique se a função foi executada com sucesso. Procure o seguinte:

    Fetching IP reputation list...
    Successfully fetched IP list: X bytes
    Fetching Domain reputation list...
    Successfully fetched Domain list: X bytes
    Successfully completed all fetches
    
  8. Acesse Cloud Storage > Buckets.

  9. Clique no nome do bucket.

  10. Navegue até as pastas de prefixo (et-pro-ioc/ip/ e et-pro-ioc/domain/).

  11. Verifique se os novos arquivos .csv foram criados com o carimbo de data/hora atual.

Se você encontrar erros nos registros:

  • HTTP 401: verifique ET_API_KEY nas variáveis de ambiente.
  • HTTP 403: verifique se a chave de API tem as permissões necessárias.
  • HTTP 429: limitação de taxa. A função vai tentar novamente de forma automática com espera
  • Variáveis de ambiente ausentes: verifique se todas as variáveis necessárias estão definidas.

Recuperar a conta de serviço do Google SecOps

O Google SecOps usa uma conta de serviço exclusiva para ler dados do seu bucket do Cloud Storage. É necessário conceder a essa conta de serviço acesso ao bucket.

Encontrar o e-mail da conta de serviço

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, ET Pro IOC - IP Reputation).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Emerging Threats Pro como o Tipo de registro.
  7. Clique em Get Service Account. Um e-mail de conta de serviço exclusivo é exibido, por exemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copie esse endereço de e-mail para usar na próxima etapa.

Conceder permissões do IAM à conta de serviço do Google SecOps

A conta de serviço do Google SecOps precisa do papel de Leitor de objetos do Storage no bucket do Cloud Storage.

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
    • Atribuir papéis: selecione Leitor de objetos do Storage.
  6. Clique em Salvar.

Configurar feeds no Google SecOps para ingerir registros de IOC do Proofpoint Emerging Threats Pro

Você precisa criar dois feeds separados: um para reputação de IP e outro para reputação de domínio.

Criar feed de reputação de IP

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira ET Pro IOC - IP Reputation.
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Emerging Threats Pro como o Tipo de registro.
  7. Clique em Próxima.
  8. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do Cloud Storage com o caminho do prefixo:

      gs://et-pro-ioc-bucket/et-pro-ioc/ip/
      
      • Substitua et-pro-ioc-bucket pelo nome do bucket do Cloud Storage.
    • Opção de exclusão da fonte: selecione a opção de exclusão de acordo com sua preferência:

      • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
      • Excluir arquivos transferidos: exclui arquivos após a transferência.
      • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência.

    • Idade máxima do arquivo: inclua arquivos modificados nos últimos dias. O padrão é 180 dias.

    • Namespace do recurso: o namespace do recurso.

    • Rótulos de ingestão: o rótulo aplicado aos eventos desse feed.

  9. Clique em Próxima.

  10. Revise a configuração do seu novo feed de notícias na tela Finalizar e clique em Enviar.

Criar feed de reputação de domínio

Repita o processo de criação do feed:

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira ET Pro IOC - Domain Reputation.
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Emerging Threats Pro como o Tipo de registro.
  7. Clique em Próxima.
  8. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do Cloud Storage com o caminho do prefixo:
    gs://et-pro-ioc-bucket/et-pro-ioc/domain/
    

    Substitua et-pro-ioc-bucket pelo nome do bucket do Cloud Storage.

    • Opção de exclusão da origem: selecione de acordo com sua preferência.
    • Idade máxima do arquivo: inclua arquivos modificados nos últimos dias. O padrão é 180 dias.
    • Namespace do recurso: o namespace do recurso.
    • Rótulos de ingestão: o rótulo aplicado aos eventos desse feed.
  9. Clique em Próxima.

  10. Revise a configuração do seu novo feed de notícias na tela Finalizar e clique em Enviar.

Tabela de mapeamento de UDM

Campo de registro mapeamento de UDM Lógica
categoria Esse campo é usado na lógica do analisador, mas não é mapeado diretamente para o UDM. Ele determina o valor de event.ioc.categorization usando uma tabela de consulta.
collection_time.nanos event.idm.entity.metadata.collected_timestamp.nanos Mapeado diretamente do registro bruto.
collection_time.seconds event.idm.entity.metadata.collected_timestamp.seconds Mapeado diretamente do registro bruto.
dados Esse campo é analisado em vários campos do UDM com base no conteúdo.
first_seen event.idm.entity.metadata.interval.start_time Analisado como uma data e mapeado para o UDM.
first_seen event.ioc.active_timerange.start Analisado como uma data e mapeado para o UDM.
ip_or_domain event.idm.entity.entity.hostname Mapeado para o UDM se o padrão grok extrair um host do campo.
ip_or_domain event.idm.entity.entity.ip Mapeado para o UDM se o padrão grok não extrair um host do campo.
ip_or_domain event.ioc.domain_and_ports.domain Mapeado para o UDM se o padrão grok extrair um host do campo.
ip_or_domain event.ioc.ip_and_ports.ip_address Mapeado para o UDM se o padrão grok não extrair um host do campo.
last_seen event.idm.entity.metadata.interval.end_time Analisado como uma data e mapeado para o UDM.
last_seen event.ioc.active_timerange.end Analisado como uma data e mapeado para o UDM.
portas event.idm.entity.entity.labels.value Analisado, unido com delimitador de vírgula e mapeado para o UDM se houver várias portas.
portas event.idm.entity.entity.port Analisado e mapeado para o UDM se houver apenas uma porta.
portas event.ioc.domain_and_ports.ports Analisado e mapeado para o UDM se o padrão grok extrair um host do campo.
portas event.ioc.ip_and_ports.ports Analisado e mapeado para o UDM se o padrão grok não extrair um host do campo.
score event.ioc.confidence_score Mapeado diretamente do registro bruto.
event.idm.entity.entity.labels.key Defina como "ports" se houver várias portas.
event.idm.entity.metadata.entity_type Defina como "DOMAIN_NAME" se o padrão grok extrair um host do campo ip_or_domain. Caso contrário, defina como "IP_ADDRESS".
event.idm.entity.metadata.threat.category Defina como "SOFTWARE_MALICIOUS".
event.idm.entity.metadata.threat.category_details Derivado do campo de categoria usando uma tabela de consulta.
event.idm.entity.metadata.threat.threat_name Defina como "ET Intelligence Rep List".
event.idm.entity.metadata.vendor_name Defina como "ET_PRO_IOC".
event.ioc.feed_name Defina como "ET Intelligence Rep List".
event.ioc.raw_severity Defina como "Mal-intencionado".
timestamp.nanos Copiado de collection_time.nanos.
timestamp.seconds Copiado de collection_time.seconds.

Registro de alterações

Confira o registro de alterações deste analisador

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.