Coletar registros do Group-IB Threat Intelligence
Este documento explica como ingerir registros de inteligência contra ameaças do Group-IB no Google Security Operations usando o Cloud Storage.
O Group-IB Threat Intelligence & Attribution (TI&A) é uma plataforma de inteligência contra ameaças cibernéticas que fornece dados em tempo real sobre agentes de ameaças, indicadores de comprometimento (IOCs), malware, infraestrutura de comando e controle (C2), credenciais comprometidas, campanhas de phishing e vulnerabilidades. Ela agrega inteligência de fontes da web aberta, da deep web e da dark web, permitindo que as equipes de segurança detectem e respondam a ameaças de forma proativa.
Antes de começar
Verifique se você tem os pré-requisitos a seguir:
- Uma instância do Google SecOps
- Uma conta do Group-IB TI&A com acesso à API ativado
- Acesso ao portal de TI&A do Group-IB (
tap.group-ib.com) - Um projeto do Google Cloud com as seguintes APIs ativadas:
- API Cloud Storage
- API Cloud Functions
- API Cloud Scheduler
- API Cloud Build
Gerar chave de API do Group-IB
- Faça login no portal do Group-IB TI&A em
https://tap.group-ib.com. - Clique no seu nome no canto superior direito e selecione Perfil.
- Clique em Acessar minhas configurações.
- Acesse a guia Segurança e acesso.
- Na seção Token pessoal, clique em Gerar novo token.
Copie e salve a chave de API com segurança.
criar o bucket do Cloud Storage
- Acesse o console doGoogle Cloud .
- Selecione seu projeto ou crie um novo.
- No menu de navegação, acesse Cloud Storage > Buckets.
- Clique em Criar bucket.
Informe os seguintes detalhes de configuração:
Configuração Valor Nomeie seu bucket Insira um nome globalmente exclusivo (por exemplo, groupib-ti-logs)Tipo de local Escolha de acordo com suas necessidades (região, birregional, multirregional) Local Selecione o local (por exemplo, us-central1).Classe de armazenamento Padrão (recomendado para registros acessados com frequência) Controle de acesso Uniforme (recomendado) Clique em Criar.
Implantar a função do Cloud para extrair dados do Group-IB
Crie uma função do Cloud que extraia dados de inteligência contra ameaças da API TI&A do Group-IB e os grave no bucket do Cloud Storage como arquivos NDJSON para que o Google SecOps os ingira.
Criar a função do Cloud
- Acesse o console doGoogle Cloud .
- Acesse o Cloud Functions.
- Clique em Criar função.
Informe os seguintes detalhes de configuração:
Configuração Valor Ambiente 2ª geração Nome da função groupib-to-gcsRegião Selecione a região mais próxima do bucket do Cloud Storage. Tipo de gatilho HTTPS Authentication Autenticação necessária Memória alocada 512 MB (aumente se estiver buscando coleções grandes) Tempo limite 540 segundos Clique em Próxima.
Defina o Ambiente de execução como
Python 3.11(ou mais recente).Defina o Ponto de entrada como
main.Substitua o conteúdo de
main.pypelo seguinte código:import json import os import requests import functions_framework from datetime import datetime, timedelta, timezone from urllib.parse import urljoin from requests.auth import HTTPBasicAuth from google.cloud import storage GIB_API_URL = os.environ.get('GIB_API_URL', 'https://tap.group-ib.com/api/v2/') GIB_USERNAME = os.environ.get('GIB_USERNAME') GIB_API_KEY = os.environ.get('GIB_API_KEY') GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'groupib-ti') COLLECTIONS = os.environ.get('GIB_COLLECTIONS', 'compromised/account,malware/cnc,apt/threat,hi/threat').split(',') DEFAULT_DAYS_BACK = int(os.environ.get('DEFAULT_DAYS_BACK', '3')) # Max items per request: 100 for most collections, 20 for apt/threat and hi/threat BIG_DATA_COLLECTIONS = ['apt/threat', 'hi/threat'] # File to persist seqUpdate values between runs (use GCS for durability) STATE_BLOB = '_state/seq_updates.json' def load_state(): """Load seqUpdate state from GCS.""" client = storage.Client() bucket = client.bucket(GCS_BUCKET) blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}") if blob.exists(): return json.loads(blob.download_as_text()) return {} def save_state(state): """Save seqUpdate state to GCS.""" client = storage.Client() bucket = client.bucket(GCS_BUCKET) blob = bucket.blob(f"{GCS_PREFIX}/{STATE_BLOB}") blob.upload_from_string(json.dumps(state), content_type='application/json') def gib_request(session, url, params=None): """Send authenticated GET request to Group-IB API.""" resp = session.get(url, params=params) if resp.status_code == 301: raise Exception('IP not whitelisted by Group-IB. Contact Group-IB support.') resp.raise_for_status() return resp.json() def get_seq_update_by_date(session, collection, date_str): """Get seqUpdate value for a collection starting from a given date.""" url = urljoin(GIB_API_URL, 'sequence_list') data = gib_request(session, url, {'date': date_str, 'collection': collection}) return data.get('list', {}).get(collection) def fetch_collection(session, collection, seq_update): """Fetch all new items from a collection starting after the given seqUpdate.""" limit = 20 if collection in BIG_DATA_COLLECTIONS else 100 url = urljoin(GIB_API_URL, f"{collection}/updated") all_items = [] last_seq = seq_update while True: data = gib_request(session, url, {'seqUpdate': str(last_seq), 'limit': limit}) items = data.get('items', []) if not items: break all_items.extend(items) last_seq = items[-1].get('seqUpdate') return all_items, last_seq def write_to_gcs(items, collection_name): """Write items to GCS as NDJSON.""" if not items: return 0 client = storage.Client() bucket = client.bucket(GCS_BUCKET) timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') safe_name = collection_name.replace('/', '_') blob_path = f"{GCS_PREFIX}/{safe_name}_{timestamp}.ndjson" blob = bucket.blob(blob_path) ndjson = '\n'.join(json.dumps(item, ensure_ascii=False) for item in items) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') return len(items) @functions_framework.http def main(request): """Cloud Function entry point.""" session = requests.Session() session.auth = HTTPBasicAuth(GIB_USERNAME, GIB_API_KEY) session.headers.update({'Accept': '*/*'}) state = load_state() total = 0 for collection in COLLECTIONS: collection = collection.strip() seq_update = state.get(collection) if seq_update is None: default_date = (datetime.now(timezone.utc) - timedelta(days=DEFAULT_DAYS_BACK)).strftime('%Y-%m-%d') seq_update = get_seq_update_by_date(session, collection, default_date) if seq_update is None: continue items, last_seq = fetch_collection(session, collection, seq_update) if items: write_to_gcs(items, collection) total += len(items) state[collection] = last_seq save_state(state) return json.dumps({'status': 'success', 'total_items': total}), 200Substitua o conteúdo de
requirements.txtpelas seguintes dependências:functions-framework==3.* requests>=2.28.0 google-cloud-storage>=2.0.0Clique em Implantar.
Configure as variáveis de ambiente
- Após a implantação, acesse a página de detalhes da função.
- Clique em Editar.
- Expanda a seção Ambiente de execução, criação, conexões e configurações de segurança.
Em Variáveis de ambiente de execução, adicione as seguintes variáveis:
Variável Valor GIB_API_URLhttps://tap.group-ib.com/api/v2/(ouhttps://bt.group-ib.com/api/v2/, dependendo da sua região)GIB_USERNAMEO endereço de e-mail da sua conta do Group-IB GIB_API_KEYSua chave de API do Group-IB (token pessoal) GCS_BUCKETO nome do bucket do Cloud Storage (por exemplo, groupib-ti-logs)GCS_PREFIXPrefixo para arquivos de registro (por exemplo, groupib-ti)GIB_COLLECTIONSLista separada por vírgulas de coleções a serem buscadas (veja abaixo) DEFAULT_DAYS_BACKNúmero de dias para analisar na primeira execução (padrão: 3)Clique em Implantar.
Coleções disponíveis do Group-IB
Configure a variável GIB_COLLECTIONS com as coleções relevantes para seu caso de uso:
| Coleção | Descrição | Limite máximo |
|---|---|---|
compromised/account |
Credenciais de conta comprometidas (login, senha, domínio) | 100 |
compromised/card |
Cartões bancários comprometidos | 100 |
compromised/mule |
Contas de mulas de dinheiro | 100 |
compromised/imei |
IMEIs de dispositivos móveis comprometidos | 100 |
compromised/file |
Arquivos comprometidos com atribuição de malware | 100 |
attacks/ddos |
Dados de ataques DDoS (IPs de destino, domínios) | 100 |
attacks/deface |
Incidentes de desfiguração de sites | 100 |
attacks/phishing |
URLs e domínios de phishing | 100 |
attacks/phishing_kit |
Hashes de kits de phishing e marcas visadas | 100 |
bp/phishing |
Proteção da marca: incidentes de phishing | 100 |
bp/phishing_kit |
Proteção de marca: kits de phishing | 100 |
hi/threat |
Relatórios de ameaças de cibercriminosos (HI) com IOCs e mapeamento MITRE ATT&CK | 20 |
hi/threat_actor |
Perfis de autores de ameaças cibercriminosas | 100 |
apt/threat |
Relatórios de ameaças de APT (estado-nação) com IOCs e mapeamento MITRE ATT&CK | 20 |
apt/threat_actor |
Perfis de agentes de ameaças de APT | 100 |
malware/cnc |
Indicadores de servidor de comando e controle (IPs, domínios) | 100 |
malware/malware |
Descrições de malware e níveis de ameaça | 100 |
malware/targeted_malware |
Amostras de malware direcionado (hashes, nomes de arquivos) | 100 |
osi/git_leak |
Vazamentos de dados do repositório Git | 100 |
osi/public_leak |
Vazamentos de dados públicos (pastas, despejos) | 100 |
osi/vulnerability |
Dados de vulnerabilidade com pontuações do CVSS | 100 |
suspicious_ip/tor_node |
Endereços IP de nós de saída do Tor | 100 |
suspicious_ip/open_proxy |
Abrir endereços IP de proxy | 100 |
suspicious_ip/socks_proxy |
Endereços IP do proxy SOCKS | 100 |
Exemplo: para coletar credenciais comprometidas, infraestrutura de C2 e dados de APT:
compromised/account,malware/cnc,apt/threat,hi/threat
Programar a função do Cloud
Use o Cloud Scheduler para acionar a função em intervalos regulares.
- Acesse o Cloud Scheduler no console do Google Cloud .
- Clique em Criar job.
Informe os seguintes detalhes de configuração:
Configuração Valor Nome groupib-to-gcs-scheduleRegião Mesma região da função do Cloud Frequência 0 */1 * * *(a cada hora) ou0 0 * * *(diariamente)Fuso horário Selecione seu fuso horário. Em Configurar a execução:
- Tipo de destino: selecione HTTP.
- URL: insira o URL de gatilho da função do Cloud.
- Método HTTP: selecione POST.
- Cabeçalho de autenticação: selecione Adicionar token OIDC.
- Conta de serviço: selecione uma conta de serviço com a permissão
roles/cloudfunctions.invoker.
Clique em Criar.
Testar a exportação de dados
- No console do Cloud Scheduler, clique em Forçar execução ao lado do job para acionar a função manualmente.
- Verifique os registros do função do Cloud no Cloud Logging para confirmar se os dados foram buscados no Group-IB.
- Acesse Cloud Storage > Buckets no console do Google Cloud .
- Clique no nome do bucket (por exemplo,
groupib-ti-logs). - Navegue até a pasta de prefixo (por exemplo,
groupib-ti/). Verifique se os novos arquivos
.ndjsonestão aparecendo no bucket.
Recuperar a conta de serviço do Google SecOps
O Google SecOps usa uma conta de serviço exclusiva para ler dados do seu bucket do Cloud Storage. É necessário conceder a essa conta de serviço acesso ao bucket.
Encontrar o e-mail da conta de serviço
- Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
- Clique em Adicionar novo feed.
- Clique em Configurar um único feed.
- No campo Nome do feed, insira um nome para o feed (por exemplo,
Group-IB Threat Intelligence). - Selecione Google Cloud Storage V2 como o Tipo de origem.
- Selecione Group-IB Threat Intelligence como o Tipo de inteligência contra ameaças.
Clique em Get Service Account. Um e-mail de conta de serviço exclusivo é exibido, por exemplo:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopie esse endereço de e-mail para usar na próxima etapa.
Conceder permissões do Identity and Access Management (IAM) à conta de serviço do Google SecOps
A conta de serviço do Google SecOps precisa do papel de Leitor de objetos do Storage no bucket do Cloud Storage.
- Acesse Cloud Storage > Buckets.
- Clique no nome do bucket (por exemplo,
groupib-ti-logs). - Acesse a guia Permissões.
- Clique em Conceder acesso.
- Informe os seguintes detalhes de configuração:
- Adicionar participantes: cole o e-mail da conta de serviço do Google SecOps.
- Atribuir papéis: selecione Leitor de objetos do Storage.
Clique em Salvar.
Configurar um feed no Google SecOps para ingerir registros de inteligência contra ameaças do Group-IB
- Acesse Configurações > Gerenciamento de dados > Feeds. Se você estiver em uma plataforma somente SIEM, acesse Configurações > Feeds.
- Clique em Adicionar novo feed.
- Clique em Configurar um único feed.
- No campo Nome do feed, insira um nome para o feed (por exemplo,
Group-IB Threat Intelligence). - Selecione Google Cloud Storage V2 como o Tipo de origem.
- Selecione Group-IB Threat Intelligence como o Tipo de inteligência contra ameaças.
- Clique em Próxima.
Especifique valores para os seguintes parâmetros de entrada:
URL do bucket de armazenamento: insira o URI do bucket do Cloud Storage com o caminho do prefixo:
gs://groupib-ti-logs/groupib-ti/Substitua:
groupib-ti-logs: o nome do bucket do Cloud Storage.groupib-ti: o caminho do prefixo/pasta em que os registros são armazenados.
Opção de exclusão da fonte: selecione a opção de exclusão de acordo com sua preferência:
- Nunca: nunca exclui arquivos após as transferências (recomendado para testes).
- Excluir arquivos transferidos: exclui arquivos após a transferência.
- Excluir arquivos transferidos e diretórios vazios: exclui arquivos e diretórios vazios após a transferência.
Idade máxima do arquivo: inclua arquivos modificados nos últimos dias. O padrão é 180 dias.
Namespace do recurso: o namespace do recurso.
Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
Clique em Próxima.
Revise a configuração do seu novo feed de notícias na tela Finalizar e clique em Enviar.
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.