Crear registros de auditoría de copias de seguridad y restablecimiento

Las copias de seguridad de los registros de auditoría en el dispositivo de Google Distributed Cloud (GDC) aislado conservan los registros históricos en buckets de almacenamiento remoto para el cumplimiento, el análisis de seguridad y la recuperación ante desastres. Configura credenciales de bucket remoto y trabajos de transferencia para crear copias de seguridad de los registros de auditoría, o implementa una instancia de restablecimiento para consultar los registros recuperados en Grafana.

Antes de comenzar

Asegúrate de tener acceso a los siguientes recursos:

  • Un bucket remoto para copias de seguridad con un extremo, una clave de acceso secreta y un ID de clave de acceso.
  • Un certificado de autoridad certificadora (AC) para el sistema de almacenamiento.
  • Un clúster de Kubernetes en funcionamiento.

Para obtener los permisos que necesitas para administrar copias de seguridad, pídele al administrador de IAM de tu proyecto que te otorgue uno de los siguientes roles en el espacio de nombres de tu proyecto:

  • Creador de buckets de restablecimiento de la plataforma de registros de auditoría
  • Visualizador de buckets de la plataforma de registros de auditoría

Según el nivel de acceso y los permisos que necesites, puedes obtener roles de creador o visualizador para los recursos de bucket de copia de seguridad en el espacio de nombres de tu proyecto. Para obtener más información sobre estos roles, consulta Prepara los permisos de IAM.

Configura variables de entorno: Configura las siguientes variables de entorno para ejecutar los comandos de esta página:

* The path of the kubeconfig file:

    ```sh
    export KUBECONFIG=KUBECONFIG_PATH
    ```

    Replace `KUBECONFIG_PATH` with the path to the
    kubeconfig file for the Management API server.

* Your project namespace:

    ```sh
    export PROJECT_NAMESPACE=PROJECT_NAMESPACE
    ```

Protege los registros de auditoría en una copia de seguridad

En esta sección, se incluyen los pasos para crear una copia de seguridad de los registros de auditoría en un bucket remoto.

Configura las credenciales del bucket

Debes configurar las credenciales de acceso para los siguientes buckets:

  • Bucket de origen: Es el bucket local de GDC que contiene los registros de auditoría originales que deseas proteger.
  • Bucket de destino: Es el bucket remoto en el que deseas crear la copia de seguridad de los registros de auditoría.

Establece las credenciales para ambos buckets:

Bucket de origen

  1. Enumera los buckets en el espacio de nombres de tu proyecto desde el servidor de la API de Management:

    kubectl --kubeconfig=${KUBECONFIG} get bucket -n ${PROJECT_NAMESPACE}

    El campo DESCRIPTION en el resultado indica qué buckets contienen registros de auditoría. Selecciona el bucket que contiene los registros que deseas proteger.

  2. Según la información del resultado, configura las siguientes variables de entorno:

    SRC_BUCKET= BUCKET_NAME
SRC_ENDPOINT = ENDPOINT
SRC_PATH= FULLY_QUALIFIED_BUCKET_NAME

    Reemplaza lo siguiente:

    • BUCKET_NAME: Es el valor BUCKET NAME del resultado.
    • ENDPOINT: Es el valor ENDPOINT de la salida.
    • FULLY_QUALIFIED_BUCKET_NAME: Es el valor FULLY-QUALIFIED-BUCKET-NAME del resultado.

  3. Obtén el nombre del Secret del bucket:

    kubectl get secret -n PROJECT_NAMESPACE -o json| jq --arg jq_src $SRC_BUCKET '.items[].metadata|select(.annotations."object.gdc.goog/subject"==$jq_src)|.name'

  4. Configura la variable de credenciales:

    SRC_CREDENTIALS="PROJECT_NAMESPACE/SECRET_NAME"

    Reemplaza SECRET_NAME por el nombre del Secret que obtuviste.

  5. Crea el secreto del certificado de la AC:

    kubectl create secret generic -n PROJECT_NAMESPACE audit-log-loki-ca \
--from-literal=ca.crt=CERTIFICATE

    Reemplaza CERTIFICATE por el certificado de la AC del sistema de almacenamiento.

  6. Establece la variable del certificado de la AC:

    SRC_CA_CERTIFICATE=PROJECT_NAMESPACE/audit-log-loki-ca

Bucket de destino

  1. Configura las siguientes variables de entorno para el bucket de destino remoto:

    DST_ACCESS_KEY_ID= ACCESS_KEY
DST_SECRET_ACCESS_KEY= ACCESS_SECRET
DST_ENDPOINT= REMOTE_ENDPOINT
DST_PATH= REMOTE_BUCKET_NAME

    Reemplaza lo siguiente:

    • ACCESS_KEY: Es la clave de acceso del bucket.
    • ACCESS_SECRET: Es el secreto de acceso del bucket.
    • REMOTE_ENDPOINT: Es el extremo del bucket.
    • REMOTE_BUCKET_NAME: el nombre del bucket.

  2. Crea un secreto de bucket remoto:

    kubectl create secret generic -n PROJECT_NAMESPACE s3-bucket-credentials \
  --from-literal=access-key-id=$DST_ACCESS_KEY_ID \
  --from-literal=secret-access-key=$DST_SECRET_ACCESS_KEY

    Reemplaza PROJECT_NAMESPACE por el espacio de nombres de tu proyecto.

  3. Configura la variable de credenciales:

    DST_CREDENTIALS=PROJECT_NAMESPACE/s3-bucket-credentials

  4. Si es necesario, crea un Secret con el certificado de la AC del bucket y establece la variable del certificado de la AC:

    kubectl create secret generic -n PROJECT_NAMESPACE s3-bucket-ca \
--from-literal=ca.crt=REMOTE_CERTIFICATE

    Reemplaza REMOTE_CERTIFICATE por el certificado de la AC del bucket de destino.

    Establece la variable del certificado de la AC:

    DST_CA_CERTIFICATE=PROJECT_NAMESPACE/s3-bucket-ca

Registros de auditoría de transferencias

Tu operador de infraestructura (IO) debe crear un trabajo de transferencia para que exportes los registros de auditoría del bucket de origen al bucket de destino para la copia de seguridad. El IO usa la cuenta de servicio audit-log-pa-backup-restore-sa preconfigurada para configurar el servicio de transferencia para los buckets predefinidos de los registros de auditoría de la plataforma.

Usa el siguiente trabajo para transferir registros de auditoría:

apiVersion: batch/v1
kind: Job
metadata:
  name: audit-log-transfer-job
  namespace: PROJECT_NAMESPACE
spec:
  template:
    spec:
      serviceAccountName: audit-log-pa-backup-restore-sa
      containers:
        - name: storage-transfer-pod
          image: gcr.io/private-cloud-staging/storage-transfer:latest
          imagePullPolicy: Always
          command:
            - /storage-transfer
          args:
            - '--src_endpoint=$SRC_ENDPOINT
            - '--dst_endpoint=$DST_ENDPOINT
            - '--src_path=\$SRC_PATH
            - '--dst_path=\$DST_PATH
            - '--src_credentials=$SRC_CREDENTIALS
            - '--dst_credentials=$DST_CREDENTIALS
            - '--dst_ca_certificate_reference=$DST_CA_CERTIFICATE # Optional. Based on destination type.
            - '--src_ca_certificate_reference=$SRC_CA_CERTIFICATE
            - '--src_type=s3'
            - '--dst_type=s3'
            - '--bandwidth_limit=100M' # Optional of the form '10K', '100M', '1G' bytes per second
      restartPolicy: OnFailure # Will restart on failure.

Supervisa la transferencia de datos con el nombre del trabajo (audit-log-transfer-job) y el espacio de nombres de tu proyecto.

El trabajo finaliza cuando todos los datos se transfieren al bucket de destino.

Restablece los registros de auditoría desde una copia de seguridad

En esta sección, se incluyen los pasos para restablecer los registros de auditoría desde una copia de seguridad en un bucket remoto.

Crea un bucket para los registros restablecidos

Crea un bucket para almacenar los registros de auditoría restablecidos:

  1. Crea el bucket de restablecimiento:

    apiVersion: object.gdc.goog/v1
kind: Bucket
metadata:
  annotations:
    object.gdc.goog/audit-logs: PA
  labels:
    logging.private.gdch.goog/loggingpipeline-name: default
  name: audit-logs-loki-restore-pa
  namespace: PROJECT_NAMESPACE
spec:
  bucketPolicy:
    lockingPolicy:
      defaultObjectRetentionDays: 1
  description: Bucket for storing audit-logs-loki logs restore
  storageClass: Standard

    Reemplaza PROJECT_NAMESPACE por el espacio de nombres de tu proyecto.

  2. Visualiza el bucket:

    kubectl get bucket audit-logs-loki-restore-pa -n PROJECT_NAMESPACE

    La creación del bucket puede tardar unos minutos.

  3. Según la información del resultado, configura las siguientes variables de entorno:

    DST_BUCKET= RESTORE_BUCKET_NAME
DST_ENDPOINT = RESTORE_ENDPOINT
DST_PATH= RESTORE_FULLY_QUALIFIED_BUCKET_NAME

    Reemplaza lo siguiente:

    • RESTORE_BUCKET_NAME: Es el valor BUCKET NAME del resultado.
    • RESTORE_ENDPOINT: Es el valor ENDPOINT del resultado.
    • RESTORE_FULLY_QUALIFIED_BUCKET_NAME: Es el valor FULLY-QUALIFIED-BUCKET-NAME del resultado.

  4. Obtén el nombre del Secret del bucket:

    kubectl get secret -n PROJECT_NAMESPACE -o json| jq --arg jq_src $DST_BUCKET '.items[].metadata|select(.annotations."object.gdc.goog/subject"==$jq_src)|.name'

  5. Configura las variables de credenciales:

    DST_SECRET_NAME=RESTORE_SECRET_NAME
DST_CREDENTIALS="PROJECT_NAMESPACE/RESTORE_SECRET_NAME"

    Reemplaza RESTORE_SECRET_NAME por el nombre del Secret que obtuviste.

  6. Crea el secreto del certificado de la AC:

    kubectl create secret generic -n PROJECT_NAMESPACE audit-log-loki-restore-ca \
--from-literal=ca.crt=CERTIFICATE

    Reemplaza CERTIFICATE por el certificado de la AC del sistema de almacenamiento.

  7. Establece la variable del certificado de la AC:

    DST_CA_CERTIFICATE=PROJECT_NAMESPACE/audit-log-loki-restore-ca

Configura las credenciales del bucket de origen

Establece las credenciales del bucket que contiene la copia de seguridad de los registros de auditoría:

  1. Configura las siguientes variables de entorno:

    SRC_ACCESS_KEY_ID= ACCESS_KEY
SRC_SECRET_ACCESS_KEY= ACCESS_SECRET
SRC_ENDPOINT= REMOTE_ENDPOINT
SRC_PATH= REMOTE_BUCKET_NAME

    Reemplaza lo siguiente:

    • ACCESS_KEY: Es la clave de acceso del bucket de copia de seguridad.
    • ACCESS_SECRET: Es el secreto de acceso del bucket de copia de seguridad.
    • REMOTE_ENDPOINT: Es el extremo del bucket de copia de seguridad.
    • REMOTE_BUCKET_NAME: Es el nombre del bucket de copia de seguridad.

  2. Crea un Secret de bucket de copia de seguridad:

    kubectl create secret generic -n PROJECT_NAMESPACE s3-backup-bucket-credentials \
  --from-literal=access-key-id=$SRC_ACCESS_KEY_ID \
  --from-literal=secret-access-key=$SRC_SECRET_ACCESS_KEY

  3. Configura la variable de credenciales:

    SRC_CREDENTIALS=PROJECT_NAMESPACE/s3-backup-bucket-credentials

  4. Crea un Secret con el certificado de la AC del bucket:

    kubectl create secret generic -n PROJECT_NAMESPACE s3-backup-bucket-ca \
--from-literal=ca.crt=BACKUP_CERTIFICATE

    Reemplaza BACKUP_CERTIFICATE por el certificado de la AC del bucket de copia de seguridad.

  5. Establece la variable del certificado de la AC:

    SRC_CA_CERTIFICATE=PROJECT_NAMESPACE/s3-backup-bucket-ca

Registros de auditoría de transferencias restablecidas

Tu operador de infraestructura (IO) debe crear un trabajo de transferencia para que restablezcas los registros de auditoría del bucket de copia de seguridad al bucket de restablecimiento. El IO usa la cuenta de servicio audit-log-pa-backup-restore-sa preconfigurada para configurar el servicio de transferencia para los buckets predefinidos de los registros de auditoría de la plataforma.

Usa el siguiente trabajo para transferir registros de auditoría:

apiVersion: batch/v1
kind: Job
metadata:
  name: audit-log-restore-job
  namespace: PROJECT_NAMESPACE
spec:
  template:
    spec:
      serviceAccountName: audit-log-pa-backup-restore-sa
      containers:
        - name: storage-transfer-pod
          image: gcr.io/private-cloud-staging/storage-transfer:latest
          imagePullPolicy: Always
          command:
            - /storage-transfer
          args:
            - '--src_endpoint=$SRC_ENDPOINT
            - '--dst_endpoint=$DST_ENDPOINT
            - '--src_path=\$SRC_PATH
            - '--dst_path=\$DST_PATH
            - '--src_credentials=$SRC_CREDENTIALS
            - '--dst_credentials=$DST_CREDENTIALS
            - '--dst_ca_certificate_reference=$DST_CA_CERTIFICATE
            - '--src_ca_certificate_reference=$SRC_CA_CERTIFICATE # Optional. Based on destination type
            - '--src_type=s3'
            - '--dst_type=s3'
            - '--bandwidth_limit=100M' # Optional of the form '10K', '100M', '1G' bytes per second
      restartPolicy: OnFailure # Will restart on failure.

Supervisa la transferencia de datos con el nombre del trabajo (audit-log-restore-job) y el espacio de nombres de tu proyecto.

El trabajo finaliza cuando todos los datos se transfieren al bucket de restablecimiento.

Accede a los registros restablecidos

Implementa una instancia de Loki para acceder a los registros restablecidos con los manifiestos de configuración y de implementación proporcionados:

  1. Crea un objeto ConfigMap para la configuración de la instancia.

    A continuación, se muestra un ejemplo de un objeto ConfigMap:

    apiVersion: v1
kind: ConfigMap
metadata:
  name: audit-logs-loki-restore-pa
  namespace: PROJECT_NAMESPACE
data:
  loki.yaml: |-
    auth_enabled: true
    common:
      ring:
        kvstore:
          store: inmemory
    chunk_store_config:
      max_look_back_period: 0s
    compactor:
      shared_store: s3
      working_directory: /data/loki/boltdb-shipper-compactor
      compaction_interval: 10m
      retention_enabled: true
      retention_delete_delay: 2h
      retention_delete_worker_count: 150
    ingester:
      chunk_target_size: 1572864
      chunk_encoding: snappy
      max_chunk_age: 2h
      chunk_idle_period: 90m
      chunk_retain_period: 30s
      autoforget_unhealthy: true
      lifecycler:
        ring:
          kvstore:
            store: inmemory
          replication_factor: 1
          heartbeat_timeout: 10m
      max_transfer_retries: 0
      wal:
        enabled: true
        flush_on_shutdown: true
        dir: /wal
        checkpoint_duration: 1m
        replay_memory_ceiling: 20GB
    limits_config:
      retention_period: 48h
      enforce_metric_name: false
      reject_old_samples: false
      ingestion_rate_mb: 256
      ingestion_burst_size_mb: 256
      max_streams_per_user: 20000
      max_global_streams_per_user: 20000
      per_stream_rate_limit: 256MB
      per_stream_rate_limit_burst: 256MB
      shard_streams:
        enabled: false
        desired_rate: 3MB
    schema_config:
      configs:
      - from: "2020-10-24"
        index:
          period: 24h
          prefix: index_
        object_store: s3
        schema: v11
        store: boltdb-shipper
    server:
      http_listen_port: 3100
      grpc_server_max_recv_msg_size: 104857600
      grpc_server_max_send_msg_size: 104857600
    analytics:
      reporting_enabled: false
    storage_config:
      boltdb_shipper:
        active_index_directory: /data/loki/boltdb-shipper-active
        cache_location: /data/loki/boltdb-shipper-cache
        cache_ttl: 24h
        shared_store: s3
      aws:
        endpoint: $DST_ENDPOINT
        bucketnames: $DST_PATH
        access_key_id: ${S3_ACCESS_KEY_ID}
        secret_access_key: ${S3_SECRET_ACCESS_KEY}
        s3forcepathstyle: true

  2. Implementa la instancia como un objeto StatefulSet con un Service para acceder a los registros.

    A continuación, se muestra un ejemplo de objetos StatefulSet y Service:

    apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: audit-logs-loki-restore-pa
    logging.private.gdch.goog/loggingpipeline-name: default
  name: audit-logs-loki-restore-pa
  namespace: PROJECT_NAMESPACE
spec:
  persistentVolumeClaimRetentionPolicy:
    whenDeleted: Retain
    whenScaled: Retain
  podManagementPolicy: OrderedReady
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: audit-logs-loki-restore-pa
  serviceName: audit-logs-loki-restore-pa
  template:
    metadata:
      labels:
        app: audit-logs-loki-restore-pa
        app.kubernetes.io/part-of: audit-logs-loki-restore-pa
        egress.networking.gke.io/enabled: "true"
        istio.io/rev: default
        logging.private.gdch.goog/log-type: audit
    spec:
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - preference:
              matchExpressions:
              - key: node-role.kubernetes.io/control-plane
                operator: DoesNotExist
              - key: node-role.kubernetes.io/master
                operator: DoesNotExist
            weight: 1
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - audit-logs-loki-restore-pa
              topologyKey: kubernetes.io/hostname
            weight: 100
      containers:
      - args:
        - -config.file=/etc/loki/loki.yaml
        - -config.expand-env=true
        - -target=all
        env:
        - name: S3_ACCESS_KEY_ID
          valueFrom:
            secretKeyRef:
              key: access-key-id
              name: $DST_SECRET_NAME
              optional: false
        - name: S3_SECRET_ACCESS_KEY
          valueFrom:
              secretKeyRef:
                key: secret-access-key
                name: $DST_SECRET_NAME
                optional: false
        image: gcr.io/private-cloud-staging/loki:v2.8.4-gke.2
        imagePullPolicy: Always
        livenessProbe:
          failureThreshold: 3
          httpGet:
            path: /ready
            port: http-metrics
            scheme: HTTP
          initialDelaySeconds: 330
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 1
        name: audit-logs-loki-restore-pa
        ports:
        - containerPort: 3100
          name: http-metrics
          protocol: TCP
        - containerPort: 7946
          name: gossip-ring
          protocol: TCP
        readinessProbe:
          failureThreshold: 3
          httpGet:
            path: /ready
            port: http-metrics
            scheme: HTTP
          initialDelaySeconds: 45
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 1
        resources:
          limits:
            ephemeral-storage: 2000Mi
            memory: 8000Mi
          requests:
            cpu: 300m
            ephemeral-storage: 2000Mi
            memory: 1000Mi
        securityContext:
          readOnlyRootFilesystem: true
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
        volumeMounts:
        - mountPath: /etc/loki
          name: config
        - mountPath: /data
          name: loki-storage
        - mountPath: /tmp
          name: temp
        - mountPath: /tmp/loki/rules-temp
          name: tmprulepath
        - mountPath: /etc/ssl/certs/storage-cert.crt
          name: storage-cert
          subPath: ca.crt
        - mountPath: /wal
          name: loki-storage
      dnsPolicy: ClusterFirst
      priorityClassName: audit-logs-loki-priority
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext:
        fsGroup: 10001
        runAsGroup: 10001
        runAsUser: 10001
      serviceAccount: audit-log-pa-backup-restore-sa
      serviceAccountName: audit-log-pa-backup-restore-sa
      terminationGracePeriodSeconds: 4800
      volumes:
      - emptyDir: {}
        name: temp
      - configMap:
          defaultMode: 420
          name: audit-logs-loki-restore-pa
        name: config
      - emptyDir: {}
        name: tmprulepath
      - name: storage-cert
        secret:
          defaultMode: 420
          secretName: web-tls
  updateStrategy:
    type: RollingUpdate
  volumeClaimTemplates:
  - apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      creationTimestamp: null
      name: loki-storage
    spec:
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 50Gi
      storageClassName: standard-rwo
      volumeMode: Filesystem
---
apiVersion: v1
kind: Service
metadata:
  name: audit-logs-loki-restore-pa
  namespace: PROJECT_NAMESPACE
spec:
  internalTrafficPolicy: Cluster
  ipFamilies:
  - IPv4
  ipFamilyPolicy: SingleStack
  ports:
  - name: http-metrics
    port: 3100
    protocol: TCP
    targetPort: http-metrics
  selector:
    app: audit-logs-loki-restore-pa
  sessionAffinity: None
  type: ClusterIP

Visualiza los registros restablecidos

Configura Grafana para ver los registros de auditoría restablecidos desde la instancia de Loki:

  1. Abre el extremo de Grafana de tu proyecto. Para obtener más información, consulta Consulta y visualiza registros.
  2. En el menú de navegación de la interfaz de usuario, haz clic en Administración > Fuentes de datos.
  3. Haz clic en Agregar nueva fuente de datos.
  4. En la página Agregar fuente de datos, selecciona Loki.
  5. En la página Configuración, ingresa Audit Logs - Restore en el campo Nombre.

  6. En la sección HTTP, ingresa el siguiente valor en el campo URL:

    http://audit-logs-loki-restore-pa.PROJECT_NAMESPACE.svc:3100

  7. En la sección Encabezados HTTP personalizados, ingresa los siguientes valores en los campos correspondientes:

    • Encabezado: X-Scope-OrgID
    • Valor: infra-obs

En la figura 1, Loki se muestra como una opción en la página Add data source.

La opción Loki se muestra como una fuente de datos en la página Add data source de la IU.

Figura 1. La página Agregar fuente de datos en la IU de la instancia de supervisión.

En la página Settings, se muestran los campos relevantes para configurar Loki como fuente de datos

Figura 2. La página Configuración en la IU de la instancia de supervisión.

La opción Audit Logs - Restore ya está disponible como fuente de datos en el Explorador de registros.