Coletar registros do WP Engine

Compatível com:

Este documento explica como ingerir registros do WP Engine no Google Security Operations usando o Google Cloud Storage V2.

O WP Engine é uma plataforma de hospedagem gerenciada do WordPress que oferece hospedagem de nível empresarial com segurança integrada, otimização de desempenho e serviços de CDN. Ele gera registros de acesso, de erros e de eventos da CDN que podem ser coletados pela API WP Engine.

Antes de começar

Verifique se você tem os pré-requisitos a seguir:

  • Uma instância do Google SecOps
  • Um projeto do GCP com a API Storage ativada
  • Permissões para criar e gerenciar intervalos do GCS
  • Permissões para gerenciar políticas do IAM em buckets do GCS
  • Permissões para criar serviços do Cloud Run, tópicos do Pub/Sub e jobs do Cloud Scheduler
  • Acesso privilegiado ao portal do usuário do WP Engine com permissões de acesso à API
  • Uma conta do WP Engine com acesso à API ativado

Criar um bucket do Google Cloud Storage

  1. Acesse o Console do Google Cloud.
  2. Selecione seu projeto ou crie um novo.
  3. No menu de navegação, acesse Cloud Storage > Buckets.
  4. Clique em Criar bucket.

  5. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nomeie seu bucket Insira um nome exclusivo globalmente, por exemplo, wpengine-logs.
    Tipo de local Escolha com base nas suas necessidades (região, birregional, multirregional)
    Local Selecione o local (por exemplo, us-central1).
    Classe de armazenamento Padrão (recomendado para registros acessados com frequência)
    Controle de acesso Uniforme (recomendado)
    Ferramentas de proteção Opcional: ativar o controle de versões de objetos ou a política de retenção

  6. Clique em Criar.

Coletar credenciais da API WP Engine

Gerar credenciais de API

  1. Faça login no Portal do usuário do WP Engine.
  2. Clique no nome do seu perfil e acesse Perfil > Acesso à API.
  3. Clique em Gerar credenciais.

  4. Copie e salve os seguintes detalhes em um local seguro:

    • Nome de usuário da API: o nome de usuário da API gerado
    • Senha da API: a senha da API gerada (mostrada apenas uma vez)

Receber nome da instalação

  1. Faça login no Portal do usuário do WP Engine.
  2. Acesse Sites no menu de navegação.
  3. Clique no site de que você quer coletar registros.
  4. Anote o Nome da instalação exibido na página de visão geral do site. Cada ambiente (Production, preparo e desenvolvimento) tem um nome de instalação separado.

Testar o acesso à API

  • Teste suas credenciais antes de prosseguir com a integração:

    # Replace with your actual credentials
WPE_USER="your-api-username"
WPE_PASSWORD="your-api-password"

# Test API access - list installs
curl -v -u "${WPE_USER}:${WPE_PASSWORD}" "https://api.wpengineapi.com/v1/installs"

Criar uma conta de serviço para a função do Cloud Run

A função do Cloud Run precisa de uma conta de serviço com permissões para gravar no bucket do GCS e ser invocada pelo Pub/Sub.

Criar conta de serviço

  1. No Console do GCP, acesse IAM e administrador > Contas de serviço.
  2. Clique em Criar conta de serviço.
  3. Informe os seguintes detalhes de configuração:
    • Nome da conta de serviço: insira wpengine-logs-collector-sa
    • Descrição da conta de serviço: insira Service account for Cloud Run function to collect WP Engine logs
  4. Clique em Criar e continuar.
  5. Na seção Conceder acesso a essa conta de serviço ao projeto, adicione os seguintes papéis:
    1. Clique em Selecionar papel.
    2. Pesquise e selecione Administrador de objetos do Storage.
    3. Clique em + Adicionar outro papel.
    4. Pesquise e selecione Invocador do Cloud Run.
    5. Clique em + Adicionar outro papel.
    6. Pesquise e selecione Invocador do Cloud Functions.
  6. Clique em Continuar.
  7. Clique em Concluído.

Esses papéis são necessários para:

  • Administrador de objetos do Storage: grava registros no bucket do GCS e gerencia arquivos de estado.
  • Invocador do Cloud Run: permite que o Pub/Sub invoque a função.
  • Invocador do Cloud Functions: permite a invocação de funções

Conceder permissões do IAM no bucket do GCS

Conceda permissões de gravação à conta de serviço no bucket do GCS:

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket (por exemplo, wpengine-logs).
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar principais: insira o e-mail da conta de serviço (por exemplo, wpengine-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Atribuir papéis: selecione Administrador de objetos do Storage.
  6. Clique em Salvar.

Criar tópico Pub/Sub

Crie um tópico do Pub/Sub em que o Cloud Scheduler vai publicar e a função do Cloud Run vai se inscrever.

  1. No Console do GCP, acesse Pub/Sub > Tópicos.
  2. Selecione Criar tópico.
  3. Informe os seguintes detalhes de configuração:
    • ID do tópico: insira wpengine-logs-trigger
    • Não mude as outras configurações.
  4. Clique em Criar.

Criar uma função do Cloud Run para coletar registros

A função do Cloud Run será acionada por mensagens do Pub/Sub do Cloud Scheduler para buscar registros da API WP Engine e gravá-los no GCS.

  1. No console do GCP, acesse o Cloud Run.
  2. Clique em Criar serviço.
  3. Selecione Função (use um editor in-line para criar uma função).

  4. Na seção Configurar, forneça os seguintes detalhes de configuração:

    Configuração Valor
    Nome do serviço wpengine-logs-collector
    Região Selecione a região correspondente ao seu bucket do GCS (por exemplo, us-central1).
    Ambiente de execução Selecione Python 3.12 ou uma versão mais recente.

  5. Na seção Acionador (opcional):

    1. Clique em + Adicionar gatilho.
    2. Selecione Cloud Pub/Sub.
    3. Em Selecionar um tópico do Cloud Pub/Sub, escolha o tópico wpengine-logs-trigger.
    4. Clique em Salvar.

  6. Na seção Autenticação:

    1. Selecione Exigir autenticação.
    2. Confira o Identity and Access Management (IAM).

  7. Role a tela para baixo e abra Contêineres, rede, segurança.

  8. Acesse a guia Segurança:

    • Conta de serviço: selecione a conta de serviço wpengine-logs-collector-sa.

  9. Acesse a guia Contêineres:

    1. Clique em Variáveis e secrets.
    2. Clique em + Adicionar variável para cada variável de ambiente:
    Nome da variável Valor de exemplo Descrição
    GCS_BUCKET wpengine-logs Nome do bucket do GCS
    GCS_PREFIX wpengine Prefixo para arquivos de registro
    STATE_KEY wpengine/state.json Caminho do arquivo de estado
    WPE_API_USER your-api-username Nome de usuário da API WP Engine
    WPE_API_PASSWORD your-api-password Senha da API do WP Engine
    WPE_INSTALL_ID myinstall Nome da instalação do WP Engine
    MAX_RECORDS 5000 Máximo de registros por execução
    PAGE_SIZE 100 Registros por página
    LOOKBACK_HOURS 24 Período de lookback inicial

  10. Na seção Variáveis e secrets, role a tela para baixo até Solicitações:

    • Tempo limite da solicitação: insira 600 segundos (10 minutos)

  11. Acesse a guia Configurações:

    • Na seção Recursos:
      • Memória: selecione 512 MiB ou mais.
      • CPU: selecione 1

  12. Na seção Escalonamento de revisão:

    • Número mínimo de instâncias: insira 0
    • Número máximo de instâncias: insira 100 ou ajuste com base na carga esperada.

  13. Clique em Criar.

  14. Aguarde a criação do serviço (1 a 2 minutos).

  15. Depois que o serviço for criado, o editor de código inline será aberto automaticamente.

Adicionar código da função

  1. Insira main no campo Ponto de entrada.

  2. No editor de código inline, crie dois arquivos:

    • Primeiro arquivo: main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=30.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wpengine')
STATE_KEY = os.environ.get('STATE_KEY', 'wpengine/state.json')
WPE_API_USER = os.environ.get('WPE_API_USER')
WPE_API_PASSWORD = os.environ.get('WPE_API_PASSWORD')
WPE_INSTALL_ID = os.environ.get('WPE_INSTALL_ID')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))

# WP Engine API base URL
API_BASE = 'https://api.wpengineapi.com/v1'

# Log types to fetch
LOG_TYPES = ['access', 'error']

def get_auth_header():
  """Generate HTTP Basic auth header for WP Engine API."""
  credentials = f"{WPE_API_USER}:{WPE_API_PASSWORD}"
  encoded = base64.b64encode(credentials.encode('utf-8')).decode('utf-8')
  return f"Basic {encoded}"

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch WP Engine
  logs and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, WPE_API_USER, WPE_API_PASSWORD, WPE_INSTALL_ID]):
    print('Error: Missing required environment variables')
    return

  try:
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    # Determine time window
    now = datetime.now(timezone.utc)
    last_offsets = {}

    if isinstance(state, dict) and state.get("last_offsets"):
      last_offsets = state["last_offsets"]

    print(f"Fetching logs for install: {WPE_INSTALL_ID}")

    auth_header = get_auth_header()
    all_records = []

    # Fetch both access and error log types
    for log_type in LOG_TYPES:
      last_offset = last_offsets.get(log_type, 0)

      records = fetch_logs(
        auth_header=auth_header,
        install_id=WPE_INSTALL_ID,
        log_type=log_type,
        start_offset=last_offset,
        page_size=PAGE_SIZE,
        max_records=MAX_RECORDS,
      )

      # Tag records with log type
      for record in records:
        record['_wpe_log_type'] = log_type

      all_records.extend(records)

      # Update offset for this log type
      if records:
        last_offsets[log_type] = last_offset + len(records)

      print(f"Fetched {len(records)} {log_type} log records")

    if not all_records:
      print("No new log records found.")
      save_state(bucket, STATE_KEY, last_offsets)
      return

    # Write to GCS as NDJSON
    timestamp = now.strftime('%Y%m%d_%H%M%S')
    object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
    blob = bucket.blob(object_key)

    ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n'
    blob.upload_from_string(ndjson, content_type='application/x-ndjson')

    print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}")

    # Update state
    save_state(bucket, STATE_KEY, last_offsets)

    print(f"Successfully processed {len(all_records)} records")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_offsets: dict):
  """Save the last offsets to GCS state file."""
  try:
    state = {'last_offsets': last_offsets}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_offsets={last_offsets}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def fetch_logs(auth_header: str, install_id: str, log_type: str, start_offset: int, page_size: int, max_records: int):
  """
  Fetch logs from WP Engine API with offset-based pagination
  and rate limiting.

  Args:
    auth_header: HTTP Basic auth header
    install_id: WP Engine install name
    log_type: Log type to fetch (access or error)
    start_offset: Starting offset for pagination
    page_size: Number of records per page
    max_records: Maximum total records to fetch

  Returns:
    List of log records
  """
  headers = {
    'Authorization': auth_header,
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-WPEngineCollector/1.0'
  }

  records = []
  offset = start_offset
  page_num = 0
  backoff = 1.0

  while True:
    page_num += 1

    if len(records) >= max_records:
      print(f"Reached max_records limit ({max_records}) for {log_type}")
      break

    limit = min(page_size, max_records - len(records))
    url = f"{API_BASE}/installs/{install_id}/logs?type={log_type}&limit={limit}&offset={offset}"

    try:
      response = http.request('GET', url, headers=headers)

      # Handle rate limiting with exponential backoff
      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429). Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      backoff = 1.0

      if response.status != 200:
        print(f"HTTP Error: {response.status}")
        response_text = response.data.decode('utf-8')
        print(f"Response body: {response_text}")
        return []

      data = json.loads(response.data.decode('utf-8'))

      page_results = data.get('results', data.get('data', []))

      if not page_results:
        print(f"No more results (empty page) for {log_type}")
        break

      print(f"Page {page_num}: Retrieved {len(page_results)} {log_type} events")
      records.extend(page_results)

      offset += len(page_results)

      # If we got fewer results than requested, no more pages
      if len(page_results) < limit:
        print(f"Last page reached for {log_type}")
        break

    except Exception as e:
      print(f"Error fetching {log_type} logs: {e}")
      return []

  print(f"Retrieved {len(records)} total {log_type} records from {page_num} pages")
  return records
    • Segundo arquivo: requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. Clique em Implantar para salvar e implantar a função.

  4. Aguarde a conclusão da implantação (2 a 3 minutos).

Criar o job do Cloud Scheduler

O Cloud Scheduler publica mensagens no tópico do Pub/Sub em intervalos regulares, acionando a função do Cloud Run.

  1. No Console do GCP, acesse o Cloud Scheduler.
  2. Clique em Criar job.

  3. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nome wpengine-logs-collector-hourly
    Região Selecione a mesma região da função do Cloud Run
    Frequência 0 * * * * (a cada hora, na hora)
    Fuso horário Selecione o fuso horário (UTC recomendado)
    Tipo de destino Pub/Sub
    Tópico Selecione o tópico wpengine-logs-trigger.
    Corpo da mensagem {} (objeto JSON vazio)

  4. Clique em Criar.

Opções de frequência de programação

Escolha a frequência com base no volume de registros e nos requisitos de latência:

Frequência Expressão Cron Caso de uso
A cada 5 minutos */5 * * * * Alto volume e baixa latência
A cada 15 minutos */15 * * * * Volume médio
A cada hora 0 * * * * Padrão (recomendado)
A cada 6 horas 0 */6 * * * Baixo volume, processamento em lote
Diariamente 0 0 * * * Coleta de dados históricos

Testar a integração

  1. No console do Cloud Scheduler, encontre seu job.
  2. Clique em Forçar execução para acionar o job manualmente.
  3. Aguarde alguns segundos.
  4. Acesse Cloud Run > Serviços.
  5. Clique em wpengine-logs-collector.
  6. Clique na guia Registros.

  7. Verifique se a função foi executada com sucesso. Procure:

    Fetching logs for install: myinstall
Page 1: Retrieved X access events
Fetched X access log records
Page 1: Retrieved X error events
Fetched X error log records
Wrote X records to gs://wpengine-logs/wpengine/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. Acesse Cloud Storage > Buckets.

  9. Clique no nome do bucket (wpengine-logs).

  10. Navegue até a pasta wpengine/.

  11. Verifique se um novo arquivo .ndjson foi criado com o carimbo de data/hora atual.

Se você encontrar erros nos registros:

  • HTTP 401: verifique as credenciais da API nas variáveis de ambiente
  • HTTP 403: verifique se o acesso à API está ativado no portal do usuário do WP Engine.
  • HTTP 429: limitação de taxa. A função vai tentar novamente automaticamente com espera.
  • Variáveis de ambiente ausentes: verifique se todas as variáveis necessárias estão definidas.

Configurar um feed no Google SecOps para ingerir registros do WP Engine

  1. Acesse Configurações do SIEM > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, WP Engine Logs).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione WPEngine como o Tipo de registro.

  7. Clique em Receber conta de serviço. Um e-mail exclusivo da conta de serviço será exibido, por exemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. Copie o endereço de e-mail.

  9. Clique em Próxima.

  10. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do GCS com o caminho do prefixo:

      gs://wpengine-logs/wpengine/
      • Substitua:
        • wpengine-logs: o nome do bucket do GCS.
        • wpengine: prefixo/caminho da pasta opcional onde os registros são armazenados (deixe em branco para a raiz).

    • Opção de exclusão de fonte: selecione a opção de exclusão de acordo com sua preferência:

      • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
      • Excluir arquivos transferidos: exclui os arquivos após a transferência ser concluída.

      • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência bem-sucedida.

    • Idade máxima do arquivo: inclui arquivos modificados nos últimos dias (o padrão é 180 dias).

    • Namespace do recurso: o namespace do recurso

    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos deste feed

  11. Clique em Próxima.

  12. Revise a nova configuração do feed na tela Finalizar e clique em Enviar.

Conceder permissões do IAM à conta de serviço do Google SecOps

A conta de serviço do Google SecOps precisa do papel Leitor de objetos do Storage no seu bucket do GCS.

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar principais: cole o e-mail da conta de serviço do Google SecOps.
    • Atribuir papéis: selecione Leitor de objetos do Storage.
  6. Clique em Salvar.

Tabela de mapeamento do UDM

Campo de registro Mapeamento do UDM Lógica
request, sig, blog_id, kind, name, slug, ver additional.fields Mesclado com rótulos da solicitação (como request_label), sig (como sig_label), blog_id (como blog_id_label), kind (como kind_label), name (como name_label), slug (como slug_label), ver (como ver_label) se cada um não estiver vazio
msg metadata.description Valor copiado diretamente
metadata.event_type Definido como "STATUS_UPDATE" se has_principal for verdadeiro, caso contrário, "GENERIC_EVENT"
protocolo network.application_protocol Valor copiado diretamente
version network.application_protocol_version Convertido em string
método network.http.method Valor copiado diretamente
user_agent network.http.parsed_user_agent Convertido para parseduseragent
secure_url network.http.referral_url Valor copiado diretamente
response_code network.http.response_code Convertido para string e depois para número inteiro
user_agent network.http.user_agent Valor copiado diretamente
received_bytes network.received_bytes Convertido para string e depois para uinteger
Nome do host principal.asset.hostname Valor copiado diretamente
client_ip principal.asset.ip Valor copiado diretamente
Nome do host principal.hostname Valor copiado diretamente
client_ip principal.ip Valor copiado diretamente
porta principal.port Convertido para string e depois para número inteiro
pid principal.process.pid Convertido em string
scan_type, scan_value security_result.description Valor de scan_value se não estiver vazio, caso contrário, de scan_type se não estiver vazio

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.