Coletar registros do Group-IB Threat Intelligence

Compatível com:

Este documento explica como ingerir registros de inteligência contra ameaças do Group-IB no Google Security Operations usando o Cloud Storage.

O Group-IB Threat Intelligence & Attribution (TI&A) é uma plataforma de inteligência contra ameaças cibernéticas que fornece dados em tempo real sobre agentes de ameaças, indicadores de comprometimento (IOCs), malware, infraestrutura de comando e controle (C2), credenciais comprometidas, campanhas de phishing e vulnerabilidades. Ela agrega inteligência de fontes da web aberta, da deep web e da dark web, permitindo que as equipes de segurança detectem e respondam a ameaças de forma proativa.

Antes de começar

Verifique se você tem os pré-requisitos a seguir:

  • Uma instância do Google SecOps
  • Uma conta do Group-IB TI&A com acesso à API ativado
  • Acesso ao portal de TI&A do Group-IB (tap.group-ib.com)
  • Um projeto do Google Cloud com as seguintes APIs ativadas:
    • API Cloud Storage
    • API Cloud Functions
    • API Cloud Scheduler
    • API Cloud Build

Gerar chave de API do Group-IB

  1. Faça login no portal do Group-IB TI&A em https://tap.group-ib.com.
  2. Clique no seu nome no canto superior direito e selecione Perfil.
  3. Clique em Acessar minhas configurações.
  4. Acesse a guia Segurança e acesso.
  5. Na seção Token pessoal, clique em Gerar novo token.
  6. Copie e salve a chave de API com segurança.

criar o bucket do Cloud Storage

  1. Acesse o console doGoogle Cloud .
  2. Selecione seu projeto ou crie um novo.
  3. No menu de navegação, acesse Cloud Storage > Buckets.
  4. Clique em Criar bucket.
  5. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nomeie seu bucket Insira um nome globalmente exclusivo (por exemplo, groupib-ti-logs)
    Tipo de local Escolha de acordo com suas necessidades (região, birregional, multirregional)
    Local Selecione o local (por exemplo, us-central1).
    Classe de armazenamento Padrão (recomendado para registros acessados com frequência)
    Controle de acesso Uniforme (recomendado)
  6. Clique em Criar.

Implantar a função do Cloud para extrair dados do Group-IB

Crie uma função do Cloud que extraia dados de inteligência contra ameaças da API TI&A do Group-IB e os grave no bucket do Cloud Storage como arquivos NDJSON para que o Google SecOps os ingira.

Criar a função do Cloud

  1. Acesse o console doGoogle Cloud .
  2. Acesse o Cloud Functions.
  3. Clique em Criar função.
  4. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Ambiente 2ª geração
    Nome da função groupib-to-gcs
    Região Selecione a região mais próxima do bucket do Cloud Storage.
    Tipo de gatilho HTTPS
    Authentication Autenticação necessária
    Memória alocada 512 MB (aumente se estiver buscando coleções grandes)
    Tempo limite 540 segundos
  5. Clique em Próxima.

  6. Defina o Ambiente de execução como Python 3.11 (ou mais recente).

  7. Defina o Ponto de entrada como main.

  8. Substitua o conteúdo de main.py pelo seguinte código:

    import json
    import os
    import requests
    import functions_framework
    from datetime import datetime, timedelta, timezone
    from urllib.parse import urljoin
    from requests.auth import HTTPBasicAuth
    from google.cloud import storage
    
    GIB_API_URL = os.environ.get('GIB_API_URL', 'https://tap.group-ib.com/api/v2/')
    GIB_USERNAME = os.environ.get('GIB_USERNAME')
    GIB_API_KEY = os.environ.get('GIB_API_KEY')
    GCS_BUCKET = os.environ.get('GCS_BUCKET')
    GCS_PREFIX = os.environ.get('GCS_PREFIX', 'groupib-ti')
    COLLECTIONS = os.environ.get('GIB_COLLECTIONS', 'compromised/account,malware/cnc,apt/threat,hi/threat').split(',')
    DEFAULT_DAYS_BACK = int(os.environ.get('DEFAULT_DAYS_BACK', '3'))
    
    # Max items per request: 100 for most collections, 20 for apt/threat and hi/threat
    BIG_DATA_COLLECTIONS = ['apt/threat', 'hi/threat']
    
    # File to persist seqUpdate values between runs (use GCS for durability)
    STATE_BLOB = '_state/seq_updates.json'
    
    def load_state():
        """Load seqUpdate state from GCS."""
        client = storage.Client()
        bucket = client.bucket(GCS_BUCKET)
        blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}")
        if blob.exists():
            return json.loads(blob.download_as_text())
        return {}
    
    def save_state(state):
        """Save seqUpdate state to GCS."""
        client = storage.Client()
        bucket = client.bucket(GCS_BUCKET)
        blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}")
        blob.upload_from_string(json.dumps(state), content_type='application/json')
    
    def gib_request(session, url, params=None):
        """Send authenticated GET request to Group-IB API."""
        resp = session.get(url, params=params)
        if resp.status_code == 301:
            raise Exception('IP not whitelisted by Group-IB. Contact Group-IB support.')
        resp.raise_for_status()
        return resp.json()
    
    def get_seq_update_by_date(session, collection, date_str):
        """Get seqUpdate value for a collection starting from a given date."""
        url = urljoin(GIB_API_URL, 'sequence_list')
        data = gib_request(session, url, {'date': date_str, 'collection': collection})
        return data.get('list', {}).get(collection)
    
    def fetch_collection(session, collection, seq_update):
        """Fetch all new items from a collection starting after the given seqUpdate."""
        limit = 20 if collection in BIG_DATA_COLLECTIONS else 100
        url = urljoin(GIB_API_URL, f"{collection}/updated")
        all_items = []
        last_seq = seq_update
    
        while True:
            data = gib_request(session, url, {'seqUpdate': str(last_seq), 'limit': limit})
            items = data.get('items', [])
            if not items:
                break
            all_items.extend(items)
            last_seq = items[-1].get('seqUpdate')
    
        return all_items, last_seq
    
    def write_to_gcs(items, collection_name):
        """Write items to GCS as NDJSON."""
        if not items:
            return 0
        client = storage.Client()
        bucket = client.bucket(GCS_BUCKET)
        timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
        safe_name = collection_name.replace('/', '_')
        blob_path = f"{GCS_PREFIX}/{safe_name}_{timestamp}.ndjson"
        blob = bucket.blob(blob_path)
        ndjson = '\n'.join(json.dumps(item, ensure_ascii=False) for item in items) + '\n'
        blob.upload_from_string(ndjson, content_type='application/x-ndjson')
        return len(items)
    
    @functions_framework.http
    def main(request):
        """Cloud Function entry point."""
        session = requests.Session()
        session.auth = HTTPBasicAuth(GIB_USERNAME, GIB_API_KEY)
        session.headers.update({'Accept': '*/*'})
    
        state = load_state()
        total = 0
    
        for collection in COLLECTIONS:
            collection = collection.strip()
            seq_update = state.get(collection)
    
            if seq_update is None:
                default_date = (datetime.now(timezone.utc) - timedelta(days=DEFAULT_DAYS_BACK)).strftime('%Y-%m-%d')
                seq_update = get_seq_update_by_date(session, collection, default_date)
                if seq_update is None:
                    continue
    
            items, last_seq = fetch_collection(session, collection, seq_update)
            if items:
                write_to_gcs(items, collection)
                total += len(items)
            state[collection] = last_seq
    
        save_state(state)
        return json.dumps({'status': 'success', 'total_items': total}), 200
    
  9. Substitua o conteúdo de requirements.txt pelas seguintes dependências:

    functions-framework==3.*
    requests>=2.28.0
    google-cloud-storage>=2.0.0
    
  10. Clique em Implantar.

Configure as variáveis de ambiente

  1. Após a implantação, acesse a página de detalhes da função.
  2. Clique em Editar.
  3. Expanda a seção Ambiente de execução, criação, conexões e configurações de segurança.
  4. Em Variáveis de ambiente de execução, adicione as seguintes variáveis:

    Variável Valor
    GIB_API_URL https://tap.group-ib.com/api/v2/ (ou https://bt.group-ib.com/api/v2/, dependendo da sua região)
    GIB_USERNAME O endereço de e-mail da sua conta do Group-IB
    GIB_API_KEY Sua chave de API do Group-IB (token pessoal)
    GCS_BUCKET O nome do bucket do Cloud Storage (por exemplo, groupib-ti-logs)
    GCS_PREFIX Prefixo para arquivos de registro (por exemplo, groupib-ti)
    GIB_COLLECTIONS Lista separada por vírgulas de coleções a serem buscadas (veja abaixo)
    DEFAULT_DAYS_BACK Número de dias para analisar na primeira execução (padrão: 3)
  5. Clique em Implantar.

Coleções disponíveis do Group-IB

Configure a variável GIB_COLLECTIONS com as coleções relevantes para seu caso de uso:

Coleção Descrição Limite máximo
compromised/account Credenciais de conta comprometidas (login, senha, domínio) 100
compromised/card Cartões bancários comprometidos 100
compromised/mule Contas de mulas de dinheiro 100
compromised/imei IMEIs de dispositivos móveis comprometidos 100
compromised/file Arquivos comprometidos com atribuição de malware 100
attacks/ddos Dados de ataques DDoS (IPs de destino, domínios) 100
attacks/deface Incidentes de desfiguração de sites 100
attacks/phishing URLs e domínios de phishing 100
attacks/phishing_kit Hashes de kits de phishing e marcas visadas 100
bp/phishing Proteção da marca: incidentes de phishing 100
bp/phishing_kit Proteção de marca: kits de phishing 100
hi/threat Relatórios de ameaças de cibercriminosos (HI) com IOCs e mapeamento MITRE ATT&CK 20
hi/threat_actor Perfis de autores de ameaças cibercriminosas 100
apt/threat Relatórios de ameaças de APT (estado-nação) com IOCs e mapeamento MITRE ATT&CK 20
apt/threat_actor Perfis de agentes de ameaças de APT 100
malware/cnc Indicadores de servidor de comando e controle (IPs, domínios) 100
malware/malware Descrições de malware e níveis de ameaça 100
malware/targeted_malware Amostras de malware direcionado (hashes, nomes de arquivos) 100
osi/git_leak Vazamentos de dados do repositório Git 100
osi/public_leak Vazamentos de dados públicos (pastas, despejos) 100
osi/vulnerability Dados de vulnerabilidade com pontuações do CVSS 100
suspicious_ip/tor_node Endereços IP de nós de saída do Tor 100
suspicious_ip/open_proxy Abrir endereços IP de proxy 100
suspicious_ip/socks_proxy Endereços IP do proxy SOCKS 100
  • Exemplo: para coletar credenciais comprometidas, infraestrutura de C2 e dados de APT:

    compromised/account,malware/cnc,apt/threat,hi/threat
    

Programar a função do Cloud

Use o Cloud Scheduler para acionar a função em intervalos regulares.

  1. Acesse o Cloud Scheduler no console do Google Cloud .
  2. Clique em Criar job.
  3. Informe os seguintes detalhes de configuração:

    Configuração Valor
    Nome groupib-to-gcs-schedule
    Região Mesma região da função do Cloud
    Frequência 0 */1 * * * (a cada hora) ou 0 0 * * * (diariamente)
    Fuso horário Selecione seu fuso horário.
  4. Em Configurar a execução:

    • Tipo de destino: selecione HTTP.
    • URL: insira o URL de gatilho da função do Cloud.
    • Método HTTP: selecione POST.
    • Cabeçalho de autenticação: selecione Adicionar token OIDC.
    • Conta de serviço: selecione uma conta de serviço com a permissão roles/cloudfunctions.invoker.
  5. Clique em Criar.

Testar a exportação de dados

  1. No console do Cloud Scheduler, clique em Forçar execução ao lado do job para acionar a função manualmente.
  2. Verifique os registros do função do Cloud no Cloud Logging para confirmar se os dados foram buscados no Group-IB.
  3. Acesse Cloud Storage > Buckets no console do Google Cloud .
  4. Clique no nome do bucket (por exemplo, groupib-ti-logs).
  5. Navegue até a pasta de prefixo (por exemplo, groupib-ti/).
  6. Verifique se os novos arquivos .ndjson estão aparecendo no bucket.

Recuperar a conta de serviço do Google SecOps

O Google SecOps usa uma conta de serviço exclusiva para ler dados do seu bucket do Cloud Storage. É necessário conceder a essa conta de serviço acesso ao bucket.

Encontrar o e-mail da conta de serviço

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, Group-IB Threat Intelligence).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Group-IB Threat Intelligence como o Tipo de inteligência contra ameaças.
  7. Clique em Get Service Account. Um e-mail de conta de serviço exclusivo é exibido, por exemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copie esse endereço de e-mail para usar na próxima etapa.

Conceder permissões do Identity and Access Management (IAM) à conta de serviço do Google SecOps

A conta de serviço do Google SecOps precisa do papel de Leitor de objetos do Storage no bucket do Cloud Storage.

  1. Acesse Cloud Storage > Buckets.
  2. Clique no nome do bucket (por exemplo, groupib-ti-logs).
  3. Acesse a guia Permissões.
  4. Clique em Conceder acesso.
  5. Informe os seguintes detalhes de configuração:
    • Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
    • Atribuir papéis: selecione Leitor de objetos do Storage.
  6. Clique em Salvar.

Configurar um feed no Google SecOps para ingerir registros de inteligência contra ameaças do Group-IB

  1. Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
  2. Clique em Adicionar novo feed.
  3. Clique em Configurar um único feed.
  4. No campo Nome do feed, insira um nome para o feed (por exemplo, Group-IB Threat Intelligence).
  5. Selecione Google Cloud Storage V2 como o Tipo de origem.
  6. Selecione Group-IB Threat Intelligence como o Tipo de inteligência contra ameaças.
  7. Clique em Próxima.
  8. Especifique valores para os seguintes parâmetros de entrada:

    • URL do bucket de armazenamento: insira o URI do bucket do Cloud Storage com o caminho do prefixo:

      gs://groupib-ti-logs/groupib-ti/
      

      Substitua:

      • groupib-ti-logs: o nome do bucket do Cloud Storage.
      • groupib-ti: o caminho do prefixo/pasta em que os registros são armazenados.
    • Opção de exclusão da fonte: selecione a opção de exclusão de acordo com sua preferência:

      • Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
      • Excluir arquivos transferidos: exclui arquivos após a transferência.
      • Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência.
    • Idade máxima do arquivo: inclua arquivos modificados nos últimos dias. O padrão é 180 dias.

    • Namespace do recurso: o namespace do recurso.

    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.

  9. Clique em Próxima.

  10. Revise a configuração do seu novo feed de notícias na tela Finalizar e clique em Enviar.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.