Un servidor de registros central te permite agregar, almacenar y consultar registros de dispositivos de Google Distributed Cloud (GDC) aislado en una sola ubicación a través de una organización de centro de datos de Google Distributed Cloud aislado.
Para establecer este entorno de registro centralizado, crea un proyecto dedicado y buckets de destino independientes para los registros de auditoría y operativos en la organización del centro de datos. Después de exportar los registros del dispositivo de GDC a esos buckets, configura las fuentes de datos de Loki y Grafana en la organización del centro de datos para ver los registros exportados.
Crea un proyecto
Los siguientes pasos se deben realizar en la organización del centro de datos de GDC a la que se exportarán los registros.
Establece
KUBECONFIGen la API de administración de la organización:export KUBECONFIG=ORG_MANAGEMENT_API_KUBECONFIG_PATHPara obtener los permisos que necesitas para exportar registros, pídele al administrador de IAM de tu organización que te otorgue el rol de creador de proyectos de ClusterRole (
ClusterRole project-creator). Para obtener más información sobre estos roles, consulta Prepara los permisos de IAM.Aplica el recurso personalizado del proyecto para crear un proyecto único para el dispositivo de GDC desde el que se exportarán los registros:
kubectl apply -f - <<EOF apiVersion: resourcemanager.gdc.goog/v1 kind: Project metadata: namespace: platform name: APPLIANCE_PROJECT_NAME labels: object.gdc.goog/tenant-category: user EOFVerifica si el proyecto nuevo está disponible en el dispositivo de GDC:
kubectl get namespace APPLIANCE_PROJECT_NAMEVincula tu proyecto nuevo a una cuenta de facturación. Para hacer un seguimiento de los costos de los recursos del proyecto, debes tener una cuenta de facturación asociada vinculada a tu proyecto.
Para obtener los permisos que necesitas para exportar registros, pídele al administrador de IAM de tu organización que te otorgue el rol de administrador de IAM del proyecto (
project-iam-admin) en el espacio de nombresAPPLIANCE_PROJECT_NAME.
Crea un bucket
El administrador de la plataforma (PA) debe realizar los siguientes pasos en la organización del centro de datos de GDC a la que se exportarán los registros.
Establece
KUBECONFIGen la API de administración de la organización:export KUBECONFIG=ORG_MANAGEMENT_API_KUBECONFIG_PATHPara obtener los permisos que necesitas para exportar registros, pídele al administrador de IAM de tu organización que te otorgue el rol de administrador de buckets del proyecto (
project-bucket-admin) en el espacio de nombresAPPLIANCE_PROJECT_NAME.Aplica el recurso personalizado del bucket para crear un bucket:
apiVersion: object.gdc.goog/v1 kind: Bucket metadata: name: BUCKET_NAME namespace: APPLIANCE_PROJECT_NAME labels: object.gdc.goog/bucket-type: normal object.gdc.goog/encryption-version: v2 object.gdc.goog/tenant-category: user spec: description: Bucket for storing appliance xyz audit logs location: zone1 storageClass: StandardDespués de crear el bucket, ejecuta el siguiente comando para confirmar y verificar los detalles del bucket:
kubectl describe buckets BUCKET_NAME -n APPLIANCE_PROJECT_NAMECrea un
ProjectServiceAccountpara acceder a los objetos del bucket.kubectl apply -f - <<EOF --- apiVersion: resourcemanager.gdc.goog/v1 kind: ProjectServiceAccount metadata: name: BUCKET_NAME-read-write-sa namespace: APPLIANCE_PROJECT_NAME spec: {} EOFVerifica que se propague el
ProjectServiceAccount:kubectl get projectserviceaccount BUCKET_NAME-read-write-sa -n APPLIANCE_PROJECT_NAME -o json | jq '.status'Asegúrate de que se agreguen los permisos
readywritea laServiceAccountpara el bucket.kubectl apply -f - <<EOF --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: BUCKET_NAME-read-write-role namespace: APPLIANCE_PROJECT_NAME rules: - apiGroups: - object.gdc.goog resourceNames: - BUCKET_NAME resources: - buckets verbs: - read-object - write-object --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: BUCKET_NAME-read-write-rolebinding namespace: APPLIANCE_PROJECT_NAME roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: BUCKET_NAME-read-write-role subjects: - kind: ServiceAccount name: BUCKET_NAME-read-write-sa namespace: APPLIANCE_PROJECT_NAME EOFObtén el Secret que contiene las credenciales de acceso para el bucket:
kubectl get secret -n APPLIANCE_PROJECT_NAME -o json| jq --arg jq_src BUCKET_NAME-read-write-sa '.items[].metadata|select(.annotations."object.gdc.goog/subject"==$jq_src)|.name'El resultado debe verse como el siguiente ejemplo, en el que se muestra el nombre del secreto del bucket:
"object-storage-key-sysstd-sa-olxv4dnwrwul4bshu37ikebgovrnvl773owaw3arx225rfi56swa"Exporta el valor a una variable:
export BUCKET_RW_SECRET_NAME=BUCKET_RW_SECRET_NAMEObtén el ID de clave para acceder al bucket:
kubectl get secret $BUCKET_RW_SECRET_NAME -n appliance-xyz -o json | jq -r '.data."access-key-id"' | base64 -diEl resultado debe verse como el siguiente ejemplo:
PCEW2HU47Y8ACUWQO4SKObtén la clave de acceso secreta para el bucket:
kubectl get secret $BUCKET_RW_SECRET_NAME -n appliance-xyz -o json | jq -r '.data."secret-access-key"' | base64 -diEl resultado debe verse como el siguiente ejemplo:
TzGdAbgp4h2i5UeiYa9k09rNPFQ2tkYADs67+65EObtén el extremo del bucket:
kubectl get bucket BUCKET_NAME -n APPLIANCE_PROJECT_NAME -o json | jq '.status.endpoint'El resultado debe verse como el siguiente ejemplo:
https://objectstorage.org-1.zone1.google.gdch.testObtén el nombre completamente calificado del bucket:
kubectl get bucket BUCKET_NAME -n APPLIANCE_PROJECT_NAME -o json | jq '.status.fullyQualifiedName'El resultado debe verse como el siguiente ejemplo:
aaaoa9a-logs-bucket
Transfiere datos desde GDC
Sigue las instrucciones de Exporta registros a un bucket remoto para transferir registros del dispositivo de GDC al bucket creado anteriormente en el centro de datos de GDC aislado con el extremo del bucket, el nombre completamente calificado, el ID de la clave de acceso y la clave de acceso secreta.
Configura Loki y Grafana en el centro de datos de Google Distributed Cloud aislado
El operador de infraestructura (IO) debe realizar los siguientes pasos en la organización del centro de datos de GDC aislado al que se exportaron los registros.
Obtén roles de IAM
Para obtener los permisos que necesitas para exportar registros, pídele al administrador de IAM de tu organización que te otorgue el rol de administrador de restablecimiento de registros (logs-restore-admin) en el espacio de nombres obs-system en el clúster de infraestructura y los roles de visualizador de fuentes de datos (datasource-viewer) y editor de fuentes de datos (datasource-editor) en el espacio de nombres obs-system en el plano de administración.
Configura Loki
Establece
KUBECONFIGen el clúster de infraestructura de la organización:export KUBECONFIG=ORG_INFRA_CLUSTER_KUBECONFIG_PATHObtén el ID de clave de acceso y la clave de acceso secreta para el bucket de registros del dispositivo del PA y crea un Secret que contenga las credenciales en el espacio de nombres
obs-system:kubectl create secret generic -n obs-system APPLIANCE_LOGS_BUCKET_SECRET_NAME --from-literal=access-key-id=APPLIANCE_LOGS_BUCKET_ACCESS_KEY_ID --from-literal=secret-access-key=APPLIANCE_LOGS_BUCKET_SECRET_ACCESS_KEYObtén el extremo y el nombre completamente calificado del bucket de registros del dispositivo del PA y crea un
configmapde Loki:kubectl apply -f - <<EOF --- apiVersion: v1 kind: ConfigMap metadata: name: CONFIGMAP_NAME namespace: obs-system data: loki.yaml: |- auth_enabled: true common: ring: kvstore: store: inmemory compactor: working_directory: /data/loki/compactor compaction_interval: 10m retention_enabled: true retention_delete_delay: 2h retention_delete_worker_count: 150 delete_request_store: s3 ingester: chunk_target_size: 1572864 chunk_encoding: snappy max_chunk_age: 2h chunk_idle_period: 90m chunk_retain_period: 30s autoforget_unhealthy: true lifecycler: ring: kvstore: store: inmemory replication_factor: 1 heartbeat_timeout: 10m wal: enabled: false limits_config: discover_service_name: [] retention_period: 48h reject_old_samples: false ingestion_rate_mb: 256 ingestion_burst_size_mb: 256 max_streams_per_user: 20000 max_global_streams_per_user: 20000 max_line_size: 0 per_stream_rate_limit: 256MB per_stream_rate_limit_burst: 256MB shard_streams: enabled: false desired_rate: 3MB schema_config: configs: - from: "2020-10-24" index: period: 24h prefix: index_ object_store: s3 schema: v13 store: tsdb server: http_listen_port: 3100 grpc_server_max_recv_msg_size: 104857600 grpc_server_max_send_msg_size: 104857600 graceful_shutdown_timeout: 60s analytics: reporting_enabled: false storage_config: tsdb_shipper: active_index_directory: /tsdb/index cache_location: /tsdb/index-cache cache_ttl: 24h aws: endpoint: APPLIANCE_LOGS_BUCKET_ENDPOINT bucketnames: APPLIANCE_LOGS_BUCKET_FULLY_QUALIFIED_NAME access_key_id: ${S3_ACCESS_KEY_ID} secret_access_key: ${S3_SECRET_ACCESS_KEY} s3forcepathstyle: true --- EOFCrea un
statefulsety un Service de Loki:kubectl apply -f - <<EOF --- apiVersion: apps/v1 kind: StatefulSet metadata: labels: app: STATEFULSET_NAME name: STATEFULSET_NAME namespace: obs-system spec: persistentVolumeClaimRetentionPolicy: whenDeleted: Retain whenScaled: Retain podManagementPolicy: OrderedReady replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: app: STATEFULSET_NAME serviceName: STATEFULSET_NAME template: metadata: labels: app: STATEFULSET_NAME istio.io/rev: default spec: affinity: nodeAffinity: preferredDuringSchedulingIgnoredDuringExecution: - preference: matchExpressions: - key: node-role.kubernetes.io/control-plane operator: DoesNotExist - key: node-role.kubernetes.io/master operator: DoesNotExist weight: 1 podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: - podAffinityTerm: labelSelector: matchExpressions: - key: app operator: In values: - STATEFULSET_NAME topologyKey: kubernetes.io/hostname weight: 100 containers: - args: - -config.file=/etc/loki/loki.yaml - -config.expand-env=true - -target=all env: - name: S3_ACCESS_KEY_ID valueFrom: secretKeyRef: key: access-key-ID name: APPLIANCE_LOGS_BUCKET_SECRET_NAME optional: false - name: S3_SECRET_ACCESS_KEY valueFrom: secretKeyRef: key: secret-access-key name: APPLIANCE_LOGS_BUCKET_SECRET_NAME optional: false image: gcr.io/private-cloud-staging/loki:v3.0.1-gke.1 imagePullPolicy: Always livenessProbe: failureThreshold: 3 httpGet: path: /ready port: loki-server scheme: HTTP initialDelaySeconds: 330 periodSeconds: 10 successThreshold: 1 timeoutSeconds: 1 name: STATEFULSET_NAME ports: - containerPort: 3100 name: loki-server protocol: TCP - containerPort: 7946 name: gossip-ring protocol: TCP readinessProbe: failureThreshold: 3 httpGet: path: /ready port: loki-server scheme: HTTP initialDelaySeconds: 45 periodSeconds: 10 successThreshold: 1 timeoutSeconds: 1 resources: limits: ephemeral-storage: 2000Mi memory: 8000Mi requests: cpu: 300m ephemeral-storage: 2000Mi memory: 1000Mi securityContext: readOnlyRootFilesystem: true terminationMessagePath: /dev/termination-log terminationMessagePolicy: File volumeMounts: - mountPath: /etc/loki name: config - mountPath: /data name: loki-storage - mountPath: /tsdb name: loki-tsdb-storage - mountPath: /tmp name: temp - mountPath: /tmp/loki/rules-temp name: tmprulepath - mountPath: /etc/ssl/certs name: trust-bundle readOnly: true dnsPolicy: ClusterFirst restartPolicy: Always schedulerName: default-scheduler securityContext: fsGroup: 10001 runAsGroup: 10001 runAsUser: 10001 terminationGracePeriodSeconds: 4800 volumes: - emptyDir: {} name: temp - emptyDir: {} name: tmprulepath - configMap: defaultMode: 420 name: trust-store-root-ext optional: true name: trust-bundle - configMap: defaultMode: 420 name: CONFIGMAP_NAME name: config updateStrategy: type: RollingUpdate volumeClaimTemplates: - apiVersion: v1 kind: PersistentVolumeClaim metadata: creationTimestamp: null name: loki-storage spec: accessModes: - ReadWriteOnce resources: requests: storage: 5Gi storageClassName: standard-rwo volumeMode: Filesystem - apiVersion: v1 kind: PersistentVolumeClaim metadata: creationTimestamp: null name: loki-tsdb-storage spec: accessModes: - ReadWriteOnce resources: requests: storage: 5Gi storageClassName: standard-rwo volumeMode: Filesystem --- apiVersion: v1 kind: Service metadata: name: STATEFULSET_NAME namespace: obs-system spec: internalTrafficPolicy: Cluster ipFamilies: - IPv4 ipFamilyPolicy: SingleStack ports: - name: loki-server port: 3100 protocol: TCP targetPort: loki-server selector: app: STATEFULSET_NAME sessionAffinity: None type: ClusterIP --- EOF
Configura Grafana DataSource
Establece
KUBECONFIGen la API de administración de la organización:export KUBECONFIG=ORG_MANAGEMENT_API_KUBECONFIG_PATHCrea
DataSourcespara los registros de infraestructura y plataforma:kubectl apply -f - <<EOF --- apiVersion: monitoring.private.gdc.goog/v1alpha1 kind: Datasource metadata: name: INFRA_DATASOURCE_NAME namespace: APPLIANCE_PROJECT_NAME-obs-system spec: datasource: access: proxy isDefault: false jsonData: httpHeaderName1: X-Scope-OrgID name: UI_FRIENDLY_NAME orgId: 1 readOnly: true secureJsonData: httpHeaderValue1: infra-obs type: loki uid: INFRA_DATASOURCE_NAME url: http://STATEFULSET_NAME.obs-system.svc:3100 version: 1 withCredentials: false --- apiVersion: monitoring.private.gdc.goog/v1alpha1 kind: Datasource metadata: name: PLATFORM_DATASOURCE_NAME namespace: APPLIANCE_PROJECT_NAME-obs-system spec: datasource: access: proxy isDefault: false jsonData: httpHeaderName1: X-Scope-OrgID name: UI_FRIENDLY_NAME orgId: 1 readOnly: true secureJsonData: httpHeaderValue1: platform-obs type: loki uid: PLATFORM_DATASOURCE_NAME url: http://STATEFULSET_NAME.obs-system.svc:3100 version: 1 withCredentials: false --- EOF
Visualiza los registros en Grafana del centro de datos de Google Distributed Cloud aislado
Los registros exportados al bucket del centro de datos de Google Distributed Cloud aislado se pueden ver en la instancia de Grafana del proyecto del dispositivo de GDC.