Coletar registros de administrador do Duo

Compatível com:

Google SecOps SIEM

Observação: esse recurso é coberto pelos Termos de produtos pré-GA dos Termos específicos de serviço do Google Security Operations. Os recursos pré-GA podem ter suporte limitado, e as mudanças realizadas podem não ser compatíveis com outras versões pré-GA. Para mais informações, consulte as diretrizes do serviço de suporte técnico do Google SecOps e os Termos específicos de serviço do Google SecOps.

Este documento explica como ingerir registros de administrador do Duo no Google Security Operations usando o Google Cloud Storage. O analisador extrai campos dos registros (formato JSON) e os mapeia para o modelo de dados unificado (UDM). Ele processa vários tipos de ações do Duo (login, gerenciamento de usuários, gerenciamento de grupos) de maneira diferente, preenchendo os campos relevantes da UDM com base na ação e nos dados disponíveis, incluindo detalhes do usuário, fatores de autenticação e resultados de segurança. Ele também realiza transformações de dados, como mesclar endereços IP, converter carimbos de data/hora e processar erros.

Antes de começar

Verifique se você atende os seguintes pré-requisitos:

• Uma instância do Google SecOps
• Um projeto do GCP com a API Cloud Storage ativada
• Permissões para criar e gerenciar buckets do GCS
• Permissões para gerenciar políticas do IAM em buckets do GCS
• Permissões para criar funções do Cloud Run, tópicos do Pub/Sub e jobs do Cloud Scheduler
• Acesso privilegiado ao locatário do Duo (aplicativo da API Admin)

Configurar o aplicativo da API Admin do Duo

1. Faça login no painel de administração do Duo.
2. Acesse Aplicativos > Catálogo de aplicativos.
3. Adicione o aplicativo API Admin.
4. Anote os seguintes valores:
   • Chave de integração (ikey)
   • Chave secreta (skey)
   • Nome do host da API (por exemplo, api-XXXXXXXX.duosecurity.com)
5. Em Permissões, ative Conceder registro de leitura (para ler registros de administrador).
6. Salve o aplicativo.

Criar um bucket do Google Cloud Storage

1. Acesse o Console do Google Cloud.
2. Selecione seu projeto ou crie um novo.
3. No menu de navegação, acesse Cloud Storage > Buckets.
4. Clique em Criar bucket.

5. Informe os seguintes detalhes de configuração:

   Configuração	Valor
   Nomeie seu bucket	Insira um nome exclusivo globalmente, por exemplo, duo-admin-logs.
   Tipo de local	Escolha com base nas suas necessidades (região, birregional, multirregional)
   Local	Selecione o local (por exemplo, us-central1).
   Classe de armazenamento	Padrão (recomendado para registros acessados com frequência)
   Controle de acesso	Uniforme (recomendado)
   Ferramentas de proteção	Opcional: ativar o controle de versões de objetos ou a política de retenção

6. Clique em Criar.

Criar uma conta de serviço para a função do Cloud Run

A função do Cloud Run precisa de uma conta de serviço com permissões para gravar no bucket do GCS.

Criar conta de serviço

1. No Console do GCP, acesse IAM e administrador > Contas de serviço.
2. Clique em Criar conta de serviço.
3. Informe os seguintes detalhes de configuração:
   • Nome da conta de serviço: insira duo-admin-collector-sa.
   • Descrição da conta de serviço: insira Service account for Cloud Run function to collect Duo administrator logs.
4. Clique em Criar e continuar.
5. Na seção Conceda a essa conta de serviço acesso ao projeto:
   1. Clique em Selecionar papel.
   2. Pesquise e selecione Administrador de objetos do Storage.
   3. Clique em + Adicionar outro papel.
   4. Pesquise e selecione Invocador do Cloud Run.
   5. Clique em + Adicionar outro papel.
   6. Pesquise e selecione Invocador do Cloud Functions.
6. Clique em Continuar.
7. Clique em Concluído.

Esses papéis são necessários para:

• Administrador de objetos do Storage: grava registros em um bucket do GCS e gerencia arquivos de estado.
• Invocador do Cloud Run: permite que o Pub/Sub invoque a função
• Invocador do Cloud Functions: permite a invocação de funções

Conceder permissões do IAM no bucket do GCS

Conceda permissões de gravação à conta de serviço no bucket do GCS:

1. Acesse Cloud Storage > Buckets.
2. Clique no nome do bucket.
3. Acesse a guia Permissões.
4. Clique em Conceder acesso.
5. Informe os seguintes detalhes de configuração:
   • Adicionar participantes: insira o e-mail da conta de serviço.
   • Atribuir papéis: selecione Administrador de objetos do Storage.
6. Clique em Salvar.

Criar tópico Pub/Sub

Crie um tópico do Pub/Sub em que o Cloud Scheduler vai publicar e a função do Cloud Run vai se inscrever.

1. No Console do GCP, acesse Pub/Sub > Tópicos.
2. Selecione Criar tópico.
3. Informe os seguintes detalhes de configuração:
   • ID do tópico: insira duo-admin-trigger.
   • Não altere as outras configurações.
4. Clique em Criar.

Criar uma função do Cloud Run para coletar registros

A função do Cloud Run é acionada por mensagens do Pub/Sub do Cloud Scheduler para buscar registros da API Duo Admin e gravá-los no GCS.

1. No console do GCP, acesse o Cloud Run.
2. Clique em Criar serviço.
3. Selecione Função (use um editor in-line para criar uma função).

4. Na seção Configurar, forneça os seguintes detalhes de configuração:

   Configuração	Valor
   Nome do serviço	duo-admin-collector
   Região	Selecione a região que corresponde ao seu bucket do GCS (por exemplo, us-central1).
   Ambiente de execução	Selecione Python 3.12 ou uma versão mais recente.

5. Na seção Acionador (opcional):

   1. Clique em + Adicionar gatilho.
   2. Selecione Cloud Pub/Sub.
   3. Em Selecionar um tópico do Cloud Pub/Sub, escolha o tópico (duo-admin-trigger).
   4. Clique em Salvar.

6. Na seção Autenticação:

   1. Selecione Exigir autenticação.
   2. Confira o Identity and Access Management (IAM).
   Observação: o Pub/Sub processa automaticamente a autenticação ao invocar a função.

7. Role a tela para baixo e abra Contêineres, rede, segurança.

8. Acesse a guia Segurança:

   • Conta de serviço: selecione a conta de serviço (duo-admin-collector-sa).

9. Acesse a guia Contêineres:

   1. Clique em Variáveis e secrets.
   2. Clique em + Adicionar variável para cada variável de ambiente:

   Nome da variável	Valor de exemplo
   GCS_BUCKET	duo-admin-logs
   GCS_PREFIX	duo/admin
   STATE_KEY	duo/admin/state.json
   DUO_IKEY	DIXYZ...
   DUO_SKEY	****************
   DUO_API_HOSTNAME	api-XXXXXXXX.duosecurity.com

10. Role a tela para baixo na guia Variáveis e secrets até Solicitações:

    • Tempo limite da solicitação: insira 600 segundos (10 minutos).

11. Acesse a guia Configurações em Contêineres:

    • Na seção Recursos:
      • Memória: selecione 512 MiB ou mais.
      • CPU: selecione 1.
    • Clique em Concluído.

12. Role até Ambiente de execução:

    • Selecione Padrão (recomendado).

13. Na seção Escalonamento de revisão:

    • Número mínimo de instâncias: insira 0.
    • Número máximo de instâncias: insira 100 ou ajuste com base na carga esperada.

14. Clique em Criar.

15. Aguarde a criação do serviço (1 a 2 minutos).

16. Depois que o serviço é criado, o editor de código inline é aberto automaticamente.

Adicionar código da função

1. Insira main em Ponto de entrada da função.

2. No editor de código em linha, crie dois arquivos:

   • Primeiro arquivo: main.py::

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timezone
   import hmac
   import hashlib
   import base64
   import email.utils
   import urllib.parse
   import time
   
   # Initialize HTTP client
   http = urllib3.PoolManager()
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Duo Admin logs and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       # Get environment variables
       bucket_name = os.environ.get('GCS_BUCKET')
       prefix = os.environ.get('GCS_PREFIX', 'duo/admin')
       state_key = os.environ.get('STATE_KEY', 'duo/admin/state.json')
   
       # Duo API credentials
       duo_ikey = os.environ.get('DUO_IKEY')
       duo_skey = os.environ.get('DUO_SKEY')
       duo_api_hostname = os.environ.get('DUO_API_HOSTNAME', '').strip()
   
       if not all([bucket_name, duo_ikey, duo_skey, duo_api_hostname]):
           print('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(bucket_name)
   
           # Load state (last processed timestamp)
           state = load_state(bucket, state_key)
           now = int(time.time())
           mintime = state.get('mintime', now - 3600)
   
           print(f'Processing logs since {mintime}')
   
           # Fetch logs from Duo Admin API
           page = 0
           total = 0
           next_mintime = mintime
           max_seen_ts = mintime
   
           while True:
               page_num = 0
   
               data = duo_api_request(
                   duo_ikey, 
                   duo_skey, 
                   duo_api_hostname,
                   'GET',
                   '/admin/v1/logs/administrator',
                   {'mintime': mintime}
               )
   
               # Write page to GCS
               write_page(bucket, prefix, data, now, page)
               page += 1
   
               # Extract items
               resp = data.get('response')
               items = resp if isinstance(resp, list) else (resp.get('items') if isinstance(resp, dict) else [])
               items = items or []
   
               if not items:
                   break
   
               total += len(items)
   
               # Track the newest timestamp in this batch
               for it in items:
                   ts = epoch_from_item(it)
                   if ts and ts > max_seen_ts:
                       max_seen_ts = ts
   
               # Duo returns only the 1000 earliest events; page by advancing mintime
               if len(items) >= 1000 and max_seen_ts >= mintime:
                   mintime = max_seen_ts
                   next_mintime = max_seen_ts
                   continue
               else:
                   break
   
           # Save checkpoint: newest seen ts, or "now" if nothing new
           if max_seen_ts > next_mintime:
               save_state(bucket, state_key, {'mintime': max_seen_ts})
               next_state = max_seen_ts
           else:
               save_state(bucket, state_key, {'mintime': now})
               next_state = now
   
           print(f'Successfully processed {total} events across {page} pages, next_mintime: {next_state}')
   
       except Exception as e:
           print(f'Error processing logs: {str(e)}')
           raise
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           print(f'Warning: Could not load state: {str(e)}')
       return {}
   
   def save_state(bucket, key, state):
       """Save state to GCS."""
       try:
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(state),
               content_type='application/json'
           )
       except Exception as e:
           print(f'Warning: Could not save state: {str(e)}')
   
   def write_page(bucket, prefix, payload, when, page):
       """Write a page of logs to GCS."""
       try:
           timestamp_str = time.strftime('%Y/%m/%d', time.gmtime(when))
           key = f"{prefix}/{timestamp_str}/duo-admin-{page:05d}.json"
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(payload, separators=(',', ':')),
               content_type='application/json'
           )
           print(f'Wrote page {page} to {key}')
       except Exception as e:
           print(f'Error writing page {page}: {str(e)}')
           raise
   
   def canon_params(params):
       """Canonicalize parameters for Duo API signature."""
       parts = []
       for k in sorted(params.keys()):
           v = params[k]
           if v is None:
               continue
           parts.append(f"{urllib.parse.quote(str(k), '~')}={urllib.parse.quote(str(v), '~')}")
       return "&".join(parts)
   
   def sign_request(method, host, path, params, ikey, skey):
       """Sign Duo API request."""
       now = email.utils.formatdate()
       canon = "\n".join([
           now,
           method.upper(),
           host.lower(),
           path,
           canon_params(params)
       ])
       sig = hmac.new(skey.encode('utf-8'), canon.encode('utf-8'), hashlib.sha1).hexdigest()
       auth = base64.b64encode(f"{ikey}:{sig}".encode()).decode()
       return {
           'Date': now,
           'Authorization': f'Basic {auth}'
       }
   
   def duo_api_request(ikey, skey, host, method, path, params, timeout=60, max_retries=5):
       """Make a signed request to Duo Admin API with retry logic."""
       assert host.startswith('api-') and host.endswith('.duosecurity.com'), \
           "DUO_API_HOSTNAME must be like api-XXXXXXXX.duosecurity.com"
   
       qs = canon_params(params)
       url = f"https://{host}{path}" + (f"?{qs}" if qs else "")
   
       attempt = 0
       backoff = 1.0
   
       while True:
           headers = sign_request(method, host, path, params, ikey, skey)
           headers['Accept'] = 'application/json'
   
           try:
               response = http.request(method.upper(), url, headers=headers, timeout=timeout)
               return json.loads(response.data.decode('utf-8'))
           except urllib3.exceptions.HTTPError as e:
               # Retry on 429 or 5xx
               if hasattr(e, 'status') and (e.status == 429 or 500 <= e.status <= 599) and attempt < max_retries:
                   time.sleep(backoff)
                   attempt += 1
                   backoff *= 2
                   continue
               raise
           except Exception as e:
               if attempt < max_retries:
                   time.sleep(backoff)
                   attempt += 1
                   backoff *= 2
                   continue
               raise
   
   def epoch_from_item(item):
       """Extract epoch timestamp from log item."""
       # Prefer numeric 'timestamp' (seconds); fallback to ISO8601 'ts'
       ts_num = item.get('timestamp')
       if isinstance(ts_num, (int, float)):
           return int(ts_num)
   
       ts_iso = item.get('ts')
       if isinstance(ts_iso, str):
           try:
               # Accept "...Z" or with offset
               return int(datetime.fromisoformat(ts_iso.replace('Z', '+00:00')).timestamp())
           except Exception:
               return None
       return None
   

   • Segundo arquivo: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. Clique em Implantar para salvar e implantar a função.

4. Aguarde a conclusão da implantação (2 a 3 minutos).

   Observação: a configuração do acionador do Pub/Sub cria automaticamente as assinaturas e permissões necessárias.

Criar o job do Cloud Scheduler

O Cloud Scheduler vai publicar mensagens no tópico do Pub/Sub em intervalos regulares, acionando a função do Cloud Run.

1. No Console do GCP, acesse o Cloud Scheduler.
2. Clique em Criar job.

3. Informe os seguintes detalhes de configuração:

   Configuração	Valor
   Nome	duo-admin-collector-hourly
   Região	Selecione a mesma região da função do Cloud Run
   Frequência	0 * * * * (a cada hora, na hora)
   Fuso horário	Selecione o fuso horário (UTC recomendado)
   Tipo de destino	Pub/Sub
   Tópico	Selecione o assunto (duo-admin-trigger)
   Corpo da mensagem	{} (objeto JSON vazio)

4. Clique em Criar.

Opções de frequência de programação

• Escolha a frequência com base no volume de registros e nos requisitos de latência:

  Frequência	Expressão Cron	Caso de uso
  A cada 5 minutos	*/5 * * * *	Alto volume e baixa latência
  A cada 15 minutos	*/15 * * * *	Volume médio
  A cada hora	0 * * * *	Padrão (recomendado)
  A cada 6 horas	0 */6 * * *	Baixo volume, processamento em lote
  Diário	0 0 * * *	Coleta de dados históricos

Testar o job do programador

1. No console do Cloud Scheduler, encontre seu job.
2. Clique em Forçar execução para acionar manualmente.
3. Aguarde alguns segundos e acesse Cloud Run > Serviços > duo-admin-collector > Registros.
4. Verifique se a função foi executada com sucesso.
5. Verifique o bucket do GCS para confirmar se os registros foram gravados.

Recuperar a conta de serviço do Google SecOps

O Google SecOps usa uma conta de serviço exclusiva para ler dados do seu bucket do GCS. Você precisa conceder a essa conta de serviço acesso ao seu bucket.

Receber o e-mail da conta de serviço

1. Acesse Configurações do SIEM > Feeds.
2. Clique em Adicionar novo feed.
3. Clique em Configurar um único feed.
4. No campo Nome do feed, insira um nome para o feed (por exemplo, Duo Administrator Logs).
5. Selecione Google Cloud Storage V2 como o Tipo de origem.
6. Selecione Registros do administrador do Duo como o Tipo de registro.

7. Clique em Receber conta de serviço. Um e-mail exclusivo da conta de serviço é exibido, por exemplo:

   [e-mail]
   

8. Copie esse endereço de e-mail para usar na próxima etapa.

   Observação: cada instância do Google SecOps tem uma conta de serviço exclusiva. Não use contas de serviço de outras documentações ou exemplos.

Conceder permissões do IAM à conta de serviço do Google SecOps

A conta de serviço do Google SecOps precisa do papel de Leitor de objetos do Storage no seu bucket do GCS.

1. Acesse Cloud Storage > Buckets.
2. Clique no nome do bucket.
3. Acesse a guia Permissões.
4. Clique em Conceder acesso.
5. Informe os seguintes detalhes de configuração:
   • Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
   • Atribuir papéis: selecione Leitor de objetos do Storage.

6. Clique em Salvar.

   Observação: se você planeja usar a opção de exclusão "Excluir arquivos transferidos" ou "Excluir arquivos transferidos e diretórios vazios", conceda o papel Administrador de objetos do Storage em vez de Leitor de objetos do Storage.

Configurar um feed no Google SecOps para ingerir registros de administrador do Duo

1. Acesse Configurações do SIEM > Feeds.
2. Clique em Adicionar novo feed.
3. Clique em Configurar um único feed.
4. No campo Nome do feed, insira um nome para o feed (por exemplo, Duo Administrator Logs).
5. Selecione Google Cloud Storage V2 como o Tipo de origem.
6. Selecione Registros do administrador do Duo como o Tipo de registro.
7. Clique em Próxima.

8. Especifique valores para os seguintes parâmetros de entrada:

   • URL do bucket de armazenamento: insira o URI do bucket do GCS com o caminho do prefixo:

     gs://duo-admin-logs/duo/admin/
     

     • Substitua:

       • duo-admin-logs: o nome do bucket do GCS.
       • duo/admin: prefixo/caminho da pasta opcional onde os registros são armazenados (deixe em branco para a raiz).

     • Exemplos:

       • Bucket raiz: gs://company-logs/
       • Com prefixo: gs://company-logs/duo-logs/
       • Com subpasta: gs://company-logs/duo/admin/
     Observação: sempre inclua a barra (/) no final do URI.

   • Opção de exclusão da fonte: selecione a opção de exclusão de acordo com sua preferência:

     • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
     • Excluir arquivos transferidos: exclui os arquivos após a transferência bem-sucedida.

     • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência bem-sucedida.

       Observação: se você selecionar uma opção de exclusão, a conta de serviço precisará ter o papel Administrador de objetos do Storage em vez de Leitor de objetos do Storage. Atualize as permissões do IAM de acordo com a necessidade.

   • Idade máxima do arquivo: inclui arquivos modificados no último número de dias. O padrão é de 180 dias.

   • Namespace do recurso: o namespace do recurso.

   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos deste feed.

9. Clique em Próxima.

10. Revise a nova configuração do feed na tela Finalizar e clique em Enviar.

Tabela de mapeamento do UDM

Campo de registro	Mapeamento do UDM	Lógica
ação	metadata.product_event_type	O valor do campo de ação do registro bruto.
desc	metadata.description	O valor do campo "desc" do objeto de descrição do registro bruto.
description._status	target.group.attribute.labels.value	O valor do campo _status no objeto de descrição do registro bruto, especificamente ao processar ações relacionadas a grupos. Esse valor é colocado em uma matriz "labels" com uma "key" correspondente de "status".
description.desc	metadata.description	O valor do campo "desc" do objeto de descrição do registro bruto.
description.email	target.user.email_addresses	O valor do campo de e-mail do objeto de descrição do registro bruto.
description.error	security_result.summary	O valor do campo de erro do objeto de descrição do registro bruto.
description.factor	extensions.auth.auth_details	O valor do campo "factor" do objeto de descrição do registro bruto.
description.groups.0._status	target.group.attribute.labels.value	O valor do campo "_status" do primeiro elemento na matriz "groups" dentro do objeto de descrição do registro bruto. Esse valor é colocado em uma matriz "labels" com uma "key" correspondente de "status".
description.groups.0.name	target.group.group_display_name	O valor do campo "name" do primeiro elemento na matriz "groups" dentro do objeto de descrição do registro bruto.
description.ip_address	principal.ip	O valor do campo "ip_address" do objeto de descrição do registro bruto.
description.name	target.group.group_display_name	O valor do campo "name" do objeto de descrição do registro bruto.
description.realname	target.user.user_display_name	O valor do campo "realname" do objeto de descrição do registro bruto.
description.status	target.user.attribute.labels.value	O valor do campo "status" do objeto de descrição do registro bruto. Esse valor é colocado em uma matriz "labels" com uma "key" correspondente de "status".
description.uname	target.user.email_addresses ou target.user.userid	O valor do campo "uname" do objeto de descrição do registro bruto. Se ele corresponder a um formato de endereço de e-mail, será mapeado para "email_addresses". Caso contrário, será mapeado para "userid".
host	principal.hostname	O valor do campo "host" do registro bruto.
isotimestamp	metadata.event_timestamp.seconds	O valor do campo "isotimestamp" do registro bruto, convertido em segundos de época.
objeto	target.group.group_display_name	O valor do campo do objeto do registro bruto.
timestamp	metadata.event_timestamp.seconds	O valor do campo de carimbo de data/hora do registro bruto.
nome de usuário	target.user.userid ou principal.user.userid	Se o campo de ação contiver "login", o valor será mapeado para target.user.userid. Caso contrário, ele será mapeado para principal.user.userid.
-	extensions.auth.mechanism	Defina como "USERNAME_PASSWORD" se o campo de ação contiver "login".
-	metadata.event_type	Determinado pelo analisador com base no campo "ação". Valores possíveis: USER_LOGIN, GROUP_CREATION, USER_UNCATEGORIZED, GROUP_DELETION, USER_CREATION, GROUP_MODIFICATION, GENERIC_EVENT.
-	metadata.product_name	Sempre defina como "DUO_ADMIN".
-	metadata.product_version	Sempre definido como "MULTI-FACTOR_AUTHENTICATION".
-	metadata.vendor_name	Sempre definido como "DUO_SECURITY".
-	principal.user.user_role	Definido como "ADMINISTRATOR" se o campo "eventtype" contiver "admin".
-	security_result.action	Determinado pelo analisador com base no campo "ação". Defina como "BLOCK" se o campo de ação contiver "error". Caso contrário, defina como "ALLOW".
-	target.group.attribute.labels.key	Sempre defina como "status" ao preencher target.group.attribute.labels.
-	target.user.attribute.labels.key	Sempre definido como "status" ao preencher target.user.attribute.labels.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.