Coletar registros do Atlassian Confluence

Versão do analisador: 5.0

Compatível com:

Neste documento, explicamos como ingerir registros do Atlassian Confluence no Google Security Operations. O analisador primeiro tenta extrair campos da mensagem de registro bruta usando expressões regulares (padrões grok) projetadas para registros do Atlassian Confluence. Se a análise do grok falhar ou o registro estiver no formato JSON, o código vai tentar analisar a mensagem como JSON. Por fim, os campos extraídos são mapeados para o esquema de UDM do Google SecOps e enriquecidos com mais contexto.

Antes de começar

Verifique se você tem os pré-requisitos a seguir:

  • Uma instância do Google SecOps
  • Uma conta do Atlassian Confluence Cloud com acesso ao registro de auditoria OU ao Confluence Data Center/Server com acesso administrativo
  • Para o método baseado em Google Cloud: acesso privilegiado ao Google Cloud (Cloud Storage, Identity and Access Management (IAM), Cloud Run, Pub/Sub, Cloud Scheduler)
  • Para o método Bindplane: Windows Server 2016 ou posterior ou host Linux com systemd

Visão geral das opções de integração

Este guia oferece dois caminhos de integração:

  • Opção 1: Confluence Data Center/Server via Bindplane + Syslog
  • Opção 2: registros de auditoria do Confluence Cloud por meio da função do Cloud Run + Cloud Storage (formato JSON)

Escolha a opção que melhor se adapta ao tipo de implantação e à infraestrutura do Confluence.

Opção 1: Confluence Data Center/Server via Bindplane + Syslog

Essa opção configura o Confluence Data Center ou Server para enviar registros via syslog para um agente do Bindplane, que os encaminha para o Google SecOps.

Receber credenciais do Google SecOps para o agente do Bindplane

Para autenticar o agente do Bindplane no Google SecOps, escolha um dos seguintes métodos:

  • Novas implantações: use a API Chronicle (opção 1).
  • Implantações legadas: continue usando o arquivo de autenticação de ingestão (opção 2) até que a API Ingestion seja desativada em 20 de julho de 2027.
  1. Faça login no console doGoogle Cloud e selecione o projeto do Google Cloud vinculado à sua instância do Google SecOps.
  2. Acesse IAM e administrador > Contas de serviço.
  3. Clique em Criar conta de serviço.
  4. Informe os seguintes detalhes de configuração:
    • Nome da conta de serviço: insira um nome para a conta (por exemplo, bindplane-ingest).
    • Descrição da conta de serviço: insira uma descrição (por exemplo, Bindplane agent log ingestion).
  5. Clique em Criar e continuar.
  6. Na seção Conceder a essa conta de serviço acesso ao projeto, clique em Selecionar um papel e escolha Editor do Chronicle.
  7. Clique em Continuar e depois em Concluído.
  8. Clique na conta de serviço que você criou e acesse a guia Chaves.
  9. Clique em Adicionar chave > Criar nova chave.
  10. Selecione JSON e clique em Criar. O arquivo de chave é salvo no seu computador.
  11. Salve o arquivo de chave como ingestion-auth.json no diretório do coletor do BindPlane (/opt/observiq-otel-collector/ingestion-auth.json no Linux ou C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json no Windows) ou atualize creds_file_path em config.yaml para corresponder ao caminho em que você o salvou.
  12. Acesse IAM e administrador > Configurações e copie o Número do projeto. Você vai precisar dele para configurar o exportador.

Opção 2: fazer o download do arquivo de autenticação de ingestão (legado)

  1. Faça login no console do Google SecOps.
  2. Acesse Configurações > Gerenciamento de dados > Agentes de coleta. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Agentes de coleta.
  3. Faça o download do arquivo de autenticação de ingestão.
  4. Salve o arquivo com segurança no sistema em que o agente do Bindplane será instalado.

Receber o ID de cliente do Google SecOps

  1. Faça login no console do Google SecOps.
  2. Acesse Configurações > Administração > Perfil. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Perfil.
  3. Copie e salve o ID de cliente na seção Detalhes da organização.

Instalar o agente do BindPlane

Instale o agente do Bindplane no seu sistema operacional Windows ou Linux de acordo com as instruções a seguir.

Instalação do Windows

  1. Abra o Prompt de comando ou o PowerShell como administrador.
  2. Execute este comando:

    msiexec /i "https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. Aguarde a conclusão da instalação.

  4. Execute o seguinte comando para confirmar a instalação:

    sc query observiq-otel-collector
    

O serviço precisa aparecer como RUNNING.

Instalação do Linux

  1. Abra um terminal com privilégios de raiz ou sudo.
  2. Execute este comando:

    sudo sh -c "$(curl -fsSlL https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. Aguarde a conclusão da instalação.

  4. Execute o seguinte comando para confirmar a instalação:

    sudo systemctl status observiq-otel-collector
    

O serviço precisa aparecer como active (running).

Outros recursos de instalação

Para mais opções de instalação e solução de problemas, consulte o guia de instalação do agente do BindPlane.

Configurar o agente do Bindplane para ingerir o syslog e enviar ao Google SecOps

Localize o arquivo de configuração.

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

Editar o arquivo de configuração

  • Substitua todo o conteúdo de config.yaml pela seguinte configuração:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/confluence_logs:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: 'YOUR_CUSTOMER_ID'
        endpoint: chronicle.googleapis.com
        log_type: ATLASSIAN_CONFLUENCE
        raw_log_field: body
        ingestion_labels:
          service: confluence
    
    service:
      pipelines:
        logs/confluence:
          receivers:
            - udplog
          exporters:
            - chronicle/confluence_logs
    

Parâmetros de configuração

Substitua os seguintes marcadores de posição:

  • listen_address: substitua a porta e o endereço IP conforme necessário na sua infraestrutura. Use 0.0.0.0:514 para detectar todas as interfaces na porta 514.
  • creds_file_path: atualize para o caminho em que o arquivo de chave da conta de serviço (opção 1) foi salvo:
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: substitua YOUR_CUSTOMER_ID pelo ID de cliente real da etapa anterior.
  • location: substitua <LOCATION> pela região da sua instância do Google SecOps (por exemplo, us, europe ou asia-southeast1). O exportador prefixa chronicle.googleapis.com com esse valor. Consulte Endpoints regionais para ver a lista completa.
  • project: substitua <PROJECT_NUMBER> pelo número do projeto em IAM e administrador > Configurações.
  • endpoint: mantenha definido como chronicle.googleapis.com.

Exportador da API de ingestão legada

  • Se você usar o arquivo de autenticação de ingestão da Opção 2, substitua o bloco exporters pelo seguinte. Defina creds_file_path como o caminho para o arquivo de autenticação de ingestão. Se a instância estiver fora dos EUA, substitua malachiteingestion-pa.googleapis.com pelo endpoint regional (por exemplo, europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/confluence_logs:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: 'YOUR_CUSTOMER_ID'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: ATLASSIAN_CONFLUENCE
        raw_log_field: body
        ingestion_labels:
          service: confluence
    

Salve o arquivo de configuração.

Depois de editar, salve o arquivo:

  • Linux: pressione Ctrl+O, depois Enter e, em seguida, Ctrl+X.
  • Windows: clique em Arquivo > Salvar.

Reinicie o agente do BindPlane para aplicar as mudanças:

Para reiniciar o agente do BindPlane no Linux:

  1. Execute este comando:

    sudo systemctl restart observiq-otel-collector
    
  2. Verifique se o serviço está em execução:

    sudo systemctl status observiq-otel-collector
    
  3. Verifique se há erros nos registros:

    sudo journalctl -u observiq-otel-collector -f
    

Para reiniciar o agente do BindPlane no Windows:

  1. Escolha uma das seguintes opções:

    • Prompt de comando ou PowerShell como administrador:
    net stop observiq-otel-collector && net start observiq-otel-collector
    
    • Console de serviços:
      1. Pressione Win+R, digite services.msc e pressione Enter.
      2. Localize o coletor do OpenTelemetry da observIQ.
      3. Clique com o botão direito do mouse e selecione Reiniciar.
  2. Verifique se o serviço está em execução:

    sc query observiq-otel-collector
    
  3. Verifique se há erros nos registros:

    type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
    

Configurar o encaminhamento de Syslog no Confluence Data Center/Server

  1. Configure o Confluence para gravar registros em arquivos (comportamento padrão).
  2. Instale o rsyslog se ele não estiver presente:

    sudo apt-get install rsyslog  # Debian/Ubuntu
    sudo yum install rsyslog      # RHEL/CentOS
    
  3. Crie o arquivo de configuração rsyslog /etc/rsyslog.d/confluence.conf:

    # Forward Confluence logs to Bindplane
    $ModLoad imfile
    
    # Application logs
    $InputFileName /opt/atlassian/confluence/logs/atlassian-confluence.log
    $InputFileTag confluence-app:
    $InputFileStateFile stat-confluence-app
    $InputFileSeverity info
    $InputFileFacility local0
    $InputRunFileMonitor
    
    # Audit logs (JSON format in DC/Server)
    $InputFileName <confluence-home-directory>/log/audit/audit.log
    $InputFileTag confluence-audit:
    $InputFileStateFile stat-confluence-audit
    $InputFileSeverity info
    $InputFileFacility local1
    $InputRunFileMonitor
    
    # Forward to Bindplane agent
    *.* @@BINDPLANE_AGENT_IP:514
    
  4. Substitua BINDPLANE_AGENT_IP pelo endereço IP do agente do Bindplane (por exemplo, 192.168.1.100).

  5. Ajuste os caminhos dos arquivos de registro com base na instalação do Confluence:

    • Os registros de aplicativos normalmente são: <confluence-install>/logs/ ou <local-home>/logs/
    • Registros de auditoria: <confluence-home-directory>/log/audit/ (formato JSON)
    • Para encontrar o diretório inicial do Confluence, acesse Configurações > Configuração geral > Informações do sistema e procure por Início do Confluence ou Início local.
  6. Reinicie o rsyslog:

    sudo systemctl restart rsyslog
    

Opção B: configurar o encaminhamento do Syslog do Log4j2

  1. Faça login no servidor do Confluence via SSH ou RDP.
  2. Localize o arquivo de configuração do Log4j2 em:

    <confluence-install>/confluence/WEB-INF/classes/log4j2.xml
    
  3. Edite o arquivo de configuração para adicionar um appender do Syslog:

    <Configuration>
      <Appenders>
        <!-- Existing appenders -->
        <Syslog name="SyslogAppender" 
                host="BINDPLANE_AGENT_IP" 
                port="514" 
                protocol="UDP"
                format="RFC 5424"
                facility="LOCAL0">
          <PatternLayout pattern="%d{ISO8601} %p [%t] [%c{1}] %m%n"/>
        </Syslog>
      </Appenders>
    
      <Loggers>
        <Root level="info">
          <AppenderRef ref="SyslogAppender"/>
          <!-- Other appender refs -->
        </Root>
    
        <!-- Audit logger -->
        <Logger name="com.atlassian.confluence.event.events.security.AuditEvent" 
                level="info" 
                additivity="false">
          <AppenderRef ref="SyslogAppender"/>
        </Logger>
      </Loggers>
    </Configuration>
    
  4. Substitua BINDPLANE_AGENT_IP pelo endereço IP do agente do Bindplane (por exemplo, 192.168.1.100).

  5. Reinicie o Confluence para implementar mudanças:

    sudo systemctl restart confluence
    

Opção 2: registros de auditoria do Confluence Cloud por meio da função do Cloud Run e do Cloud Storage

Coletar credenciais da API do Confluence Cloud

  1. Faça login na sua conta da Atlassian.
  2. Acesse https://id.atlassian.com/manage-profile/security/api-tokens.
  3. Clique em Criar um token de API.
  4. Insira um rótulo para o token (por exemplo, Google Security Operations Integration).
  5. Clique em Criar.
  6. Copie e salve o token da API com segurança.
  7. Anote o URL do site do Confluence Cloud (por exemplo, https://yoursite.atlassian.net).
  8. Anote o endereço de e-mail da sua conta da Atlassian (usado para autenticação).

Verifique as permissões

Para verificar se a conta tem as permissões necessárias:

  1. Faça login no Confluence Cloud.
  2. Clique no ícone Configurações no canto superior direito.
  3. Se você encontrar Monitoramento > Registro de auditoria na navegação à esquerda, isso significa que você tem as permissões necessárias.
  4. Se essa opção não estiver disponível, peça ao administrador para conceder a permissão de administrador do Confluence.

Testar o acesso à API

  • Teste suas credenciais antes de prosseguir com a integração:

    # Replace with your actual credentials
    CONFLUENCE_EMAIL="your-email@example.com"
    CONFLUENCE_API_TOKEN="your-api-token"
    CONFLUENCE_URL="https://yoursite.atlassian.net"
    
    # Test API access
    curl -u "${CONFLUENCE_EMAIL}:${CONFLUENCE_API_TOKEN}" \
      -H "Accept: application/json" \
      "${CONFLUENCE_URL}/wiki/rest/api/audit"
    

criar o bucket do Cloud Storage

  1. Acesse o console doGoogle Cloud .
  2. Selecione seu projeto ou crie um novo.
  3. No menu de navegação, acesse Cloud Storage > Buckets.
  4. Clique em Criar bucket.
  5. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nomeie seu bucket Insira um nome globalmente exclusivo (por exemplo, confluence-audit-logs)
    Tipo de local Escolha de acordo com suas necessidades (região, birregional, multirregional)
    Local Selecione o local (por exemplo, us-central1).
    Classe de armazenamento Padrão (recomendado para registros acessados com frequência)
    Controle de acesso Uniforme (recomendado)
    Ferramentas de proteção Opcional: ativar o controle de versões de objetos ou a política de retenção
  6. Clique em Criar.

Criar uma conta de serviço para a função do Cloud Run

A função do Cloud Run precisa de uma conta de serviço com permissões para gravar no bucket do Cloud Storage e ser invocada pelo Pub/Sub.

Criar conta de serviço

  1. No console do Google Cloud , acesse IAM e administrador > Contas de serviço.
  2. Clique em Criar conta de serviço.
  3. Informe os seguintes detalhes de configuração:
    • Nome da conta de serviço: insira confluence-audit-collector-sa.
    • Descrição da conta de serviço: insira Service account for Cloud Run function to collect Confluence Cloud audit logs.
  4. Clique em Criar e continuar.
  5. Na seção Conceder acesso a essa conta de serviço ao projeto, adicione os seguintes papéis:
    1. Clique em Selecionar papel.
    2. Pesquise e selecione Administrador de objetos do Storage.
    3. Clique em + Adicionar outro papel.
    4. Pesquise e selecione Invocador do Cloud Run.
    5. Clique em + Adicionar outro papel.
    6. Pesquise e selecione Invocador do Cloud Functions.
  6. Clique em Continuar.
  7. Clique em Concluído.

Esses papéis são necessários para:

  • Administrador de objetos do Storage: grava registros no bucket do Cloud Storage e gerencia arquivos de estado
  • Invocador do Cloud Run: permite que o Pub/Sub invoque a função.
  • Invocador do Cloud Functions: permite a invocação de funções.

Conceder permissões do IAM no bucket do Cloud Storage

Conceda à conta de serviço permissões de gravação no bucket do Cloud Storage:

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: insira o e-mail da conta de serviço (por exemplo, confluence-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Atribuir papéis: selecione Administrador de objetos do Storage.
  6. Clique em Salvar.

Criar tópico Pub/Sub

Crie um tópico do Pub/Sub em que o Cloud Scheduler vai publicar e a função do Cloud Run vai se inscrever.

  1. No console do Google Cloud , acesse Pub/Sub > Tópicos.
  2. Selecione Criar tópico.
  3. Informe os seguintes detalhes de configuração:
    • ID do tópico: insira confluence-audit-trigger.
    • Não mude as outras configurações.
  4. Clique em Criar.

Criar uma função do Cloud Run para coletar registros

A função do Cloud Run será acionada por mensagens do Pub/Sub do Cloud Scheduler para buscar registros da API Confluence Cloud Audit e gravá-los no Cloud Storage.

  1. No console do Google Cloud , acesse o Cloud Run.
  2. Clique em Criar serviço.
  3. Selecione Função (use um editor in-line para criar uma função).
  4. Na seção Configurar, forneça os seguintes detalhes de configuração:

    Configuração Valor
    Nome do serviço confluence-audit-collector
    Região Selecione a região correspondente ao bucket do Cloud Storage (por exemplo, us-central1)
    Ambiente de execução Selecione Python 3.12 ou mais recente.
  5. Na seção Gatilho (opcional):

    1. Clique em + Adicionar gatilho.
    2. Selecione Cloud Pub/Sub.
    3. Em Selecionar um tópico do Cloud Pub/Sub, escolha confluence-audit-trigger.
    4. Clique em Salvar.
  6. Na seção Autenticação:

    1. Selecione Exigir autenticação.
    2. Verifique o Identity and Access Management (IAM).
  7. Role para baixo e abra Contêineres, rede, segurança.

  8. Acesse a guia Segurança:

    • Conta de serviço: selecione confluence-audit-collector-sa.
  9. Acesse a guia Contêineres:

    1. Clique em Variáveis e secrets.
    2. Clique em + Adicionar variável para cada variável de ambiente:
    Nome da variável Valor de exemplo Descrição
    GCS_BUCKET confluence-audit-logs Nome do bucket do Cloud Storage
    GCS_PREFIX confluence-audit Prefixo para arquivos de registro
    STATE_KEY confluence-audit/state.json Caminho do arquivo de estado
    CONFLUENCE_URL https://yoursite.atlassian.net URL do site do Confluence
    CONFLUENCE_EMAIL your-email@example.com E-mail da conta da Atlassian
    CONFLUENCE_API_TOKEN your-api-token-here Token da API
    MAX_RECORDS 1000 Máximo de registros por execução
  10. Na seção Variáveis e secrets, role para baixo até Solicitações:

    • Tempo limite da solicitação: insira 600 segundos (10 minutos).
  11. Acesse a guia Configurações:

    • Na seção Recursos:
      • Memória: selecione 512 MiB ou mais.
      • CPU: selecione 1.
  12. Na seção Escalonamento de revisão:

    • Número mínimo de instâncias: insira 0.
    • Número máximo de instâncias: insira 100 (ou ajuste com base na carga esperada).
  13. Clique em Criar.

  14. Aguarde a criação do serviço (1 a 2 minutos).

  15. Depois que o serviço for criado, o editor de código inline será aberto automaticamente.

Adicionar código da função

  1. Digite main em Ponto de entrada da função.
  2. No editor de código inline, crie dois arquivos:

    • main.py:
    import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone, timedelta
    import time
    import base64
    
    # Initialize HTTP client with timeouts
    http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
    )
    
    # Initialize Storage client
    storage_client = storage.Client()
    
    # Environment variables
    GCS_BUCKET = os.environ.get('GCS_BUCKET')
    GCS_PREFIX = os.environ.get('GCS_PREFIX', 'confluence-audit/')
    STATE_KEY = os.environ.get('STATE_KEY', 'confluence-audit/state.json')
    CONFLUENCE_URL = os.environ.get('CONFLUENCE_URL')
    CONFLUENCE_EMAIL = os.environ.get('CONFLUENCE_EMAIL')
    CONFLUENCE_API_TOKEN = os.environ.get('CONFLUENCE_API_TOKEN')
    MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))
    
    def to_unix_millis(dt: datetime) -> int:
        """Convert datetime to Unix epoch milliseconds."""
        if dt.tzinfo is None:
            dt = dt.replace(tzinfo=timezone.utc)
        dt = dt.astimezone(timezone.utc)
        return int(dt.timestamp() * 1000)
    
    def parse_datetime(value: str) -> datetime:
        """Parse ISO datetime string to datetime object."""
        if value.endswith("Z"):
            value = value[:-1] + "+00:00"
        return datetime.fromisoformat(value)
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch Confluence Cloud audit logs and write to GCS.
    
        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """
    
        if not all([GCS_BUCKET, CONFLUENCE_URL, CONFLUENCE_EMAIL, CONFLUENCE_API_TOKEN]):
            print('Error: Missing required environment variables')
            return
    
        try:
            # Get GCS bucket
            bucket = storage_client.bucket(GCS_BUCKET)
    
            # Load state
            state = load_state(bucket, STATE_KEY)
    
            # Determine time window
            now = datetime.now(timezone.utc)
            last_time = None
    
            if isinstance(state, dict) and state.get("last_event_time"):
                try:
                    last_time = parse_datetime(state["last_event_time"])
                    # Overlap by 2 minutes to catch any delayed events
                    last_time = last_time - timedelta(minutes=2)
                except Exception as e:
                    print(f"Warning: Could not parse last_event_time: {e}")
    
            if last_time is None:
                last_time = now - timedelta(hours=24)
    
            print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")
    
            # Convert to Unix milliseconds
            start_millis = to_unix_millis(last_time)
            end_millis = to_unix_millis(now)
    
            # Fetch logs
            records, newest_event_time = fetch_logs(
                api_base=CONFLUENCE_URL,
                email=CONFLUENCE_EMAIL,
                api_token=CONFLUENCE_API_TOKEN,
                start_time_ms=start_millis,
                end_time_ms=end_millis,
                max_records=MAX_RECORDS,
            )
    
            if not records:
                print("No new log records found.")
                save_state(bucket, STATE_KEY, now.isoformat())
                return
    
            # Write to GCS as NDJSON
            timestamp = now.strftime('%Y%m%d_%H%M%S')
            object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
            blob = bucket.blob(object_key)
    
            ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
            blob.upload_from_string(ndjson, content_type='application/x-ndjson')
    
            print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
    
            # Update state with newest event time
            if newest_event_time:
                save_state(bucket, STATE_KEY, newest_event_time)
            else:
                save_state(bucket, STATE_KEY, now.isoformat())
    
            print(f"Successfully processed {len(records)} records")
    
        except Exception as e:
            print(f'Error processing logs: {str(e)}')
            raise
    
    def load_state(bucket, key):
        """Load state from GCS."""
        try:
            blob = bucket.blob(key)
            if blob.exists():
                state_data = blob.download_as_text()
                return json.loads(state_data)
        except Exception as e:
            print(f"Warning: Could not load state: {e}")
    
        return {}
    
    def save_state(bucket, key, last_event_time_iso: str):
        """Save the last event timestamp to GCS state file."""
        try:
            state = {'last_event_time': last_event_time_iso}
            blob = bucket.blob(key)
            blob.upload_from_string(
                json.dumps(state, indent=2),
                content_type='application/json'
            )
            print(f"Saved state: last_event_time={last_event_time_iso}")
        except Exception as e:
            print(f"Warning: Could not save state: {e}")
    
    def fetch_logs(api_base: str, email: str, api_token: str, start_time_ms: int, end_time_ms: int, max_records: int):
        """
        Fetch logs from Confluence Cloud Audit API with pagination and rate limiting.
    
        Args:
            api_base: Confluence site URL
            email: Atlassian account email
            api_token: API token
            start_time_ms: Start time in Unix milliseconds
            end_time_ms: End time in Unix milliseconds
            max_records: Maximum total records to fetch
    
        Returns:
            Tuple of (records list, newest_event_time ISO string)
        """
        # Clean up URL
        base_url = api_base.rstrip('/')
    
        # Build authentication header
        auth_string = f"{email}:{api_token}"
        auth_bytes = auth_string.encode('utf-8')
        auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')
        headers = {
            'Authorization': f'Basic {auth_b64}',
            'Accept': 'application/json',
            'User-Agent': 'GoogleSecOps-ConfluenceCollector/1.0'
        }
    
        records = []
        newest_time = None
        page_num = 0
        backoff = 1.0
        start_index = 0
    
        while True:
            page_num += 1
    
            if len(records) >= max_records:
                print(f"Reached max_records limit ({max_records})")
                break
    
            # Build request URL
            url = f"{base_url}/wiki/rest/api/audit?startDate={start_time_ms}&endDate={end_time_ms}&start={start_index}&limit=100"
    
            try:
                response = http.request('GET', url, headers=headers)
    
                # Handle rate limiting with exponential backoff
                if response.status == 429:
                    retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                    print(f"Rate limited (429). Retrying after {retry_after}s...")
                    time.sleep(retry_after)
                    backoff = min(backoff * 2, 30.0)
                    continue
    
                backoff = 1.0
    
                if response.status != 200:
                    print(f"HTTP Error: {response.status}")
                    response_text = response.data.decode('utf-8')
                    print(f"Response body: {response_text}")
                    return [], None
    
                data = json.loads(response.data.decode('utf-8'))
    
                page_results = data.get('results', [])
    
                if not page_results:
                    print(f"No more results (empty page)")
                    break
    
                print(f"Page {page_num}: Retrieved {len(page_results)} events")
                records.extend(page_results)
    
                # Track newest event time
                for event in page_results:
                    try:
                        # creationDate is in Unix milliseconds
                        event_time_ms = event.get('creationDate')
                        if event_time_ms:
                            event_dt = datetime.fromtimestamp(event_time_ms / 1000, tz=timezone.utc)
                            event_time = event_dt.isoformat()
                            if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                                newest_time = event_time
                    except Exception as e:
                        print(f"Warning: Could not parse event time: {e}")
    
                # Check for more results
                current_size = data.get('size', 0)
                if current_size < 100:
                    print(f"Reached last page (size={current_size} < limit=100)")
                    break
    
                start_index += current_size
    
            except Exception as e:
                print(f"Error fetching logs: {e}")
                return [], None
    
        print(f"Retrieved {len(records)} total records from {page_num} pages")
        return records[:max_records], newest_time
    
    • requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. Clique em Implantar para salvar e implantar a função.

  4. Aguarde a conclusão da implantação (2 a 3 minutos).

Criar o job do Cloud Scheduler

O Cloud Scheduler vai publicar mensagens no tópico do Pub/Sub em intervalos regulares, acionando a função do Cloud Run.

  1. No console do Google Cloud , acesse o Cloud Scheduler.
  2. Clique em Criar job.
  3. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nome confluence-audit-collector-hourly
    Região Selecione a mesma região da função do Cloud Run
    Frequência 0 * * * * (de hora em hora)
    Fuso horário Selecione o fuso horário (UTC recomendado)
    Tipo de destino Pub/Sub
    Tópico Selecionar confluence-audit-trigger
    Corpo da mensagem {} (objeto JSON vazio)
  4. Clique em Criar.

Opções de frequência de programação

Escolha a frequência com base no volume de registros e nos requisitos de latência:

Frequência Expressão Cron Caso de uso
A cada 5 minutos */5 * * * * Alto volume e baixa latência
A cada 15 minutos */15 * * * * Volume médio
A cada hora 0 * * * * Padrão (recomendado)
A cada 6 horas 0 */6 * * * Processamento em lote de baixo volume
Diário 0 0 * * * Coleta de dados históricos

Testar a integração

  1. No console do Cloud Scheduler, encontre seu job.
  2. Clique em Forçar execução para acionar o job manualmente.
  3. Aguarde alguns segundos.
  4. Acesse Cloud Run > Serviços.
  5. Clique em confluence-audit-collector.
  6. Clique na guia Registros.
  7. Verifique se a função foi executada com sucesso. Procure por:

    Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Page 1: Retrieved X events
    Wrote X records to gs://bucket-name/prefix/logs_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  8. Acesse Cloud Storage > Buckets.

  9. Clique no nome do bucket.

  10. Navegue até a pasta confluence-audit/.

  11. Verifique se um novo arquivo .ndjson foi criado com o carimbo de data/hora atual.

Se você encontrar erros nos registros:

  • HTTP 401: verifique as credenciais da API nas variáveis de ambiente.
  • HTTP 403: verifique se a conta tem permissões de administrador do Confluence.
  • HTTP 429: limitação de taxa. A função vai tentar novamente de forma automática com espera
  • Variáveis de ambiente ausentes: verifique se todas as variáveis necessárias estão definidas.

Configurar um feed no Google SecOps para ingerir registros do Confluence

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, Confluence Cloud Audit Logs).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Atlassian Confluence como o Tipo de registro.
  7. Clique em Get Service Account. Um e-mail exclusivo da conta de serviço será exibido, por exemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copie o endereço de e-mail. Você vai usá-la na próxima etapa.

  9. Clique em Próxima.

  10. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do Cloud Storage com o caminho do prefixo:
    gs://confluence-audit-logs/confluence-audit/
    
    • Substitua:
    • confluence-audit-logs: o nome do bucket do Cloud Storage.
    • confluence-audit: prefixo/caminho de pasta opcional em que os registros são armazenados (deixe em branco para a raiz).

    Exemplos:

    • Bucket raiz: gs://company-logs/
    • Com o prefixo: gs://company-logs/confluence-audit/
    • Com subpasta: gs://company-logs/confluence/audit/
    • Opção de exclusão da origem: selecione a opção de exclusão de acordo com sua preferência:
      • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
      • Excluir arquivos transferidos: exclui arquivos após a transferência.
      • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência.
    • Idade máxima do arquivo: inclua arquivos modificados nos últimos dias. O padrão é 180 dias.
    • Namespace do recurso: o namespace do recurso.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
  11. Clique em Próxima.

  12. Revise a configuração do seu novo feed de notícias na tela Finalizar e clique em Enviar.

Conceder permissões do IAM à conta de serviço do Google SecOps

A conta de serviço do Google SecOps precisa do papel de Leitor de objetos do Storage no bucket do Cloud Storage.

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket.
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
    • Atribuir papéis: selecione Leitor de objetos do Storage.
  6. Clique em Salvar.

Tabela de mapeamento de UDM

Campo de registro Mapeamento de UDM Lógica
agente read_only_udm.network.http.user_agent Valor extraído do campo "agent".
app_protocol read_only_udm.network.application_protocol Derivado do campo "app_protocol". Se "app_protocol" contiver "HTTPS", "HTTP", "SSH" ou "RDP", o protocolo correspondente será usado. Caso contrário, o padrão será "UNKNOWN_APPLICATION_PROTOCOL".
app_protocol read_only_udm.network.application_protocol_version Valor extraído do campo "app_protocol".
auditType.action read_only_udm.security_result.action Derivado do campo "auditType.action". Se "auditType.action" contiver "successful", o valor será definido como "ALLOW". Se contiver "restricted", o valor será definido como "BLOCK".
auditType.action read_only_udm.security_result.summary Valor retirado do campo "auditType.action" quando "auditType" não está vazio e "auditType_area" é "SECURITY".
auditType.actionI18nKey read_only_udm.metadata.product_event_type Valor extraído do campo "auditType.actionI18nKey" quando "auditType" não está vazio.
auditType.area read_only_udm.security_result.detection_fields.value Valor retirado do campo "auditType.area" e atribuído ao campo "value" de um campo de detecção com o campo "key" definido como "auditType area". Esse mapeamento é feito quando "auditType" não está vazio.
auditType.category read_only_udm.security_result.category_details Valor retirado do campo "auditType.category" quando "auditType" não está vazio.
auditType.categoryI18nKey read_only_udm.security_result.detection_fields.value Valor retirado do campo "auditType.categoryI18nKey" e atribuído ao campo "value" de um campo de detecção com o campo "key" definido como "auditType categoryI18nKey". Esse mapeamento é feito quando "auditType" não está vazio.
auditType.level read_only_udm.security_result.detection_fields.value Valor retirado do campo "auditType.level" e atribuído ao campo "value" de um campo de detecção com o campo "key" definido como "auditType level". Esse mapeamento é feito quando "auditType" não está vazio.
author.displayName read_only_udm.principal.user.user_display_name Valor extraído do campo "author.displayName".
author.externalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value Valor extraído do campo "author.externalCollaborator" e atribuído ao campo "value" de um marcador com o campo "key" definido como "externalCollaborator".
author.id read_only_udm.principal.user.userid Valor retirado do campo "author.id" quando "author.type" é "user" e "principal_user_present" é "false".
author.isExternalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value Valor extraído do campo "author.isExternalCollaborator" e atribuído ao campo "value" de um rótulo com o campo "key" definido como "isExternalCollaborator".
author.name read_only_udm.principal.user.user_display_name Valor extraído do campo "author.name" quando "author.type" é "user" e "principal_user_present" é "false".
bytes_in read_only_udm.network.received_bytes Valor extraído do campo "bytes_in" se ele tiver dígitos. Caso contrário, o padrão será 0.
categoria read_only_udm.security_result.category_details Valor retirado do campo "category".
changedValues read_only_udm.principal.resource.attribute.labels Itera por cada elemento em "changedValues" e cria rótulos com chaves como "changedValue [index] [key]" e valores dos valores correspondentes na matriz "changedValues".
creationDate read_only_udm.metadata.event_timestamp Valor extraído do campo "creationDate", analisado como carimbo de data/hora UNIX ou UNIX_MS.
extraAttributes read_only_udm.principal.resource.attribute.labels Itera em cada elemento em "extraAttributes" e cria rótulos com chaves baseadas nos campos "name" e "nameI18nKey" e valores do campo "value" correspondente.
http_verb read_only_udm.network.http.method Valor extraído do campo "http_verb".
ip read_only_udm.target.ip Valor extraído do campo "ip".
principal_host read_only_udm.principal.hostname Valor extraído do campo "principal_host".
referral_url read_only_udm.network.http.referral_url Valor extraído do campo "referral_url".
remoteAddress read_only_udm.principal.ip Valor extraído do campo "remoteAddress", analisado como um endereço IP.
response_code read_only_udm.network.http.response_code Valor extraído do campo "response_code".
session_duration read_only_udm.additional.fields.value.string_value Valor extraído do campo "duração da sessão" e atribuído ao campo "string_value" de um rótulo com o campo "chave" definido como "Session Duration".
source read_only_udm.principal.ip Valor extraído do campo "source", analisado como um endereço IP.
src_ip read_only_udm.principal.ip Valor extraído do campo "src_ip" se "remoteAddress" estiver vazio.
resumo read_only_udm.security_result.summary Valor extraído do campo "summary".
sysAdmin read_only_udm.security_result.about.resource.attribute.labels.value Valor retirado do campo "sysAdmin" e atribuído ao campo "value" de um rótulo com o campo "key" definido como "sysAdmin".
superAdmin read_only_udm.security_result.about.resource.attribute.labels.value Valor retirado do campo "superAdmin" e atribuído ao campo "value" de um marcador com o campo "key" definido como "superAdmin".
target_url read_only_udm.target.url Valor extraído do campo "target_url".
timestamp read_only_udm.metadata.event_timestamp Valor extraído do campo "timestamp", analisado como uma string de data e hora.
user_id read_only_udm.principal.user.userid Valor extraído do campo "user_id".
read_only_udm.metadata.event_type O valor desse campo é determinado por uma série de verificações e o padrão é "GENERIC_EVENT". Ele é definido como valores específicos, como "NETWORK_HTTP", "USER_UNCATEGORIZED" ou "STATUS_UPDATE", com base na presença e no conteúdo de outros campos, como "principal_host", "user_id", "has_principal" e "author.type".
read_only_udm.metadata.vendor_name Defina como "ATLASSIAN".
read_only_udm.metadata.product_name Defina como "CONFLUENCE".
read_only_udm.metadata.log_type Defina como "ATLASSIAN_CONFLUENCE".
read_only_udm.principal.user.user_display_name O valor desse campo pode vir de "author.displayName" ou "affectedObject.name", dependendo do contexto.
read_only_udm.target.process.pid O valor desse campo pode vir de "principal_host" ou "pid", dependendo do contexto.
read_only_udm.principal.resource.attribute.labels Esse campo é preenchido com vários rótulos derivados de campos como "affectedObjects", "changedValues" e "extraAttributes". As chaves e os valores desses rótulos são gerados dinamicamente com base no conteúdo específico desses campos.
affectedObjects.id", "affectedObjects.name", "affectedObjects.type principal.resource.attribute.labels Mapeado do registro de alterações
affectedObjects.id principal.user.userid Mapeado do registro de alterações
affectedObjects.name principal.user.user_display_name Mapeado do registro de alterações
changedValues.from", "changedValues.i18nKey", "changedValues.key" and "changedValues.to principal.resource.attribute.labels Mapeado do registro de alterações
extraAttributes.name", "extraAttributes.nameI18nKey" and "extraAttributes.value principal.resource.attribute.labels Mapeado do registro de alterações
system principal.hostname Mapeado do registro de alterações
session_duration additional fields Mapeado do registro de alterações

Registro de alterações

Confira o registro de alterações deste analisador

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.