バージョン情報については、Distributed Cloud 接続のリリースノートをご覧ください。

ログと指標

このページでは、Google Distributed Cloud Connected がオペレーションに関するさまざまな種類の情報をログに記録する方法と、その情報を表示する方法について説明します。一部の種類のログと指標の収集には追加料金が発生します。詳細については、ログと指標の課金をご覧ください。

ロギングとモニタリングの構成

ログと指標の収集を開始する前に、次の操作を行う必要があります。

次のコマンドを使用して、ロギング API を有効にします。

gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
gcloud services enable logging.googleapis.com --project PROJECT_ID
gcloud services enable monitoring.googleapis.com --project PROJECT_ID

PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

ログと指標の書き込みに必要なロールを付与します。

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/opsconfigmonitoring.resourceMetadata.writer \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/logging.logWriter \
     --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/monitoring.metricWriter \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"

PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

ログ

このセクションでは、Distributed Cloud でサポートされている Cloud Logging リソースタイプの一覧を示します。Distributed Cloud ログを表示するには、 Google Cloud コンソールのログエクスプローラを使用します。Distributed Cloud ロギングは常に有効になっています。

Distributed Cloud Connected のロギング対象リソースタイプは、次の標準 Kubernetes リソースです。

k8s_container
k8s_node

Cloud Logging API を使用して、Distributed Cloud Connected のログをキャプチャして取得することもできます。このロギングメカニズムの構成方法については、Cloud Logging クライアントライブラリのドキュメントをご覧ください。

指標

このセクションでは、Distributed Cloud でサポートされている Cloud Monitoring 指標を示します。Distributed Cloud 指標を表示するには、Google Cloud コンソールの Metrics Explorer を使用します。

Distributed Cloud コネクテッドクラスタの指標

Distributed Cloud コネクテッドクラスタの場合、Distributed Cloud コネクテッドは、Distributed Cloud コネクテッドノードによって生成される次のタイプの指標を提供します。

リソース指標は、CPU 負荷やメモリ使用量など、Distributed Cloud 接続ノードと Pod のパフォーマンスに関する情報を提供します。
システムアプリケーション指標は、coredns などの Distributed Cloud コネクテッドシステムワークロードに関する情報を提供します。

これらの指標のリストについては、Google Distributed Cloud と Google Distributed Cloud の指標をご覧ください。

Distributed Cloud コネクテッドは、Distributed Cloud コネクテッドクラスタに関連付けられた Kubernetes コントロールプレーンによって生成された指標を提供しません。

Distributed Cloud コネクテッドハードウェアの指標

Distributed Cloud connected は、次のリソースタイプを使用して、Distributed Cloud connected ハードウェアの指標を提供します。

edgecontainer.googleapis.com/Machine
edgecontainer.googleapis.com/Rack

`Machine` リソース指標

Distributed Cloud Connected は、edgecontainer.googleapis.com/Machine リソースの次の Cloud Monitoring API 指標を書き込みます。

指標	説明
`/machine/cpu/total_cores` 種類: `GAUGE` タイプ: `INT`	マシンに存在する物理プロセッサコアの合計数。
`/machine/cpu/usage_time` 種類: `CUMULATIVE` タイプ: `DOUBLE` 単位: `Seconds`	マシン上のすべてのコアの CPU 使用時間の累積。タイプは `workload`（お客様のワークロード）または `system`（その他すべて）にできます。
`/machine/cpu/utilization` 種類: `GAUGE` タイプ: `DOUBLE`	マシンの CPU 使用率。範囲は 0 ～ 1 です。タイプは `workload`（お客様のワークロード）または `system`（その他すべて）にできます。
`/machine/memory/total_bytes` 種類: `GAUGE` タイプ: `INT64`	マシンの合計メモリのバイト数。
`/machine/memory/used_bytes` 種類: `GAUGE` タイプ: `INT64`	マシンで使用されているメモリのバイト数。`memory_type` は `evictable`（カーネルで再利用可能）または `non-evictable`（再利用不可）のいずれかです。
`/machine/memory/utilization` 種類: `GAUGE` タイプ: `DOUBLE`	マシン上のメモリ使用率。範囲は 0 ～ 1 です。`memory_type` は `evictable`（カーネルで再利用可能）または `non-evictable`（再利用不可）のいずれかです。
`/machine/network/up` 種類: `GAUGE` タイプ: `BOOL`	ネットワークインターフェースが稼働中かどうかを示します。プライマリカード、セカンダリカード、ポートが含まれます。
`/machine/network/link_speed` 種類: `GAUGE` タイプ: `DOUBLE` 単位: バイト/秒	プライマリネットワークインターフェースカードのリンク速度。
`/machine/network/received_bytes_count` 種類: `CUMULATIVE` タイプ: `DOUBLE`	プライマリネットワークインターフェースカードで受信したバイト数。
`/machine/network/sent_bytes_count` 種類: `CUMULATIVE` タイプ: `DOUBLE`	プライマリネットワークインターフェースカードの送信バイト数。
`/machine/network/connectivity` 種類: `GAUGE` タイプ: `BOOL`	プライマリネットワークインターフェースカードがインターネットに接続されているかどうかを示します。
`/machine/disk/total_bytes` 種類: `GAUGE` タイプ: `INT64`	マシン上のディスク容量の合計のバイト数。
`/machine/disk/used_bytes` 種類: `GAUGE` タイプ: `INT64`	マシンで使用されているディスク容量のバイト数。
`/machine/disk/utilization` 種類: `GAUGE` タイプ: `DOUBLE`	マシン上のディスク使用率（パーセント）。範囲は 0 ～ 1 です。
`/machine/restart_count` 種類: `CUMULATIVE` タイプ: `INT`	マシンが再起動した回数。
`/machine/uptime` 種類: `GAUGE` タイプ: `INT` 単位: `Seconds`	最後の再起動からのマシンの稼働時間。
`/machine/connected` 種類: `GAUGE` タイプ: `INT64`	マシンが Google Cloudに接続されているかどうかを示します。

`Rack` リソース指標

Distributed Cloud Connected は、edgecontainer.googleapis.com/Rack リソースの次の Cloud Monitoring API 指標を書き込みます。

指標	説明
`/router/bgp_up` 種類: `GAUGE` タイプ: `BOOL`	ルーターの BGP ピアリングセッションが稼働中で正常かどうかを示します。`router_id` は、特定ルーター（ラックあたり最大 2 台）を識別します。
`/router/connected` 種類: `GAUGE` タイプ: `BOOL`	BGP ルーターが Google Cloudに接続されているかどうかを示します。`router_id` は、特定ルーター（ラックあたり最大 2 台）を識別します。

カスタムアプリケーションのログと指標をエクスポートする

Distributed Cloud connected は、Distributed Cloud connected ワークロードで実行されているアプリケーションのログを自動的にエクスポートします。Distributed Cloud に接続されたワークロードで実行されているアプリケーションの指標をエクスポートするには、次のセクションで説明するようにアノテーションを付ける必要があります。

ワークロードにアノテーションを付けて指標のエクスポートを有効にする

アプリケーションのカスタム指標の収集を有効にするには、アプリケーションの Service マニフェストまたは Deployment マニフェストに次のアノテーションを追加します。

prometheus.io/scrape: "true"
prometheus.io/path: "ENDPOINT_PATH"。ENDPOINT_PATH は、ターゲットアプリケーションの指標エンドポイントへのフルパスに置き換えます。
prometheus.io/port: "PORT_NUMBER": アプリケーションの指標エンドポイントが接続をリッスンするポート。

サンプルアプリケーションを実行する

このセクションでは、カスタムログを書き込み、カスタム指標エンドポイントを公開するアプリケーションを作成します。

次の Service マニフェストと Deployment マニフェストを my-app.yaml という名前のファイルに保存します。Service に prometheus.io/scrape: "true" というアノテーションが付いていることに注意してください。

kind: Service
apiVersion: v1
metadata:
  name: "monitoring-example"
  namespace: "default"
  annotations:
    prometheus.io/scrape: "true"
spec:
  selector:
    app: "monitoring-example"
  ports:
    - name: http
      port: 9090
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

Deployment と Service を作成します。

kubectl --kubeconfig apply -f my-app.yaml

アプリケーションログを表示

コンソール

Google Cloud コンソールで、[ログエクスプローラ] ページに移動します。
[ログエクスプローラ] に移動
[リソース] をクリックします。
[すべてのリソースタイプ] リストで、[Kubernetes Container] を選択します。
[クラスタ名] で、ユーザークラスタの名前を選択します。
[Namespace name] で default を選択します。
[追加] をクリックしてから、[クエリを実行] をクリックします。

[クエリ結果] セクションで、monitoring-example Deployment からのログエントリを確認できます。次に例を示します。

{
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud

gcloud logging read コマンドを使用します。

gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

PROJECT_ID は、プロジェクトの ID に置き換えます。

出力で、monitoring-example Deployment からのログエントリを確認できます。次に例を示します。

insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

アプリケーション指標を表示する

サンプルアプリケーションでは、example_monitoring_up という名前のカスタム指標が公開されています。 Google Cloud コンソールで、その指標の値を確認できます。

Google Cloud コンソールで、[Metrics Explorer] ページに移動します。
[Metrics Explorer] に移動
[Resource types] で [Kubernetes Pod] を選択します。
[指標] で [external/prometheus/example_monitoring_up] を選択します。
このチャートでは、example_monitoring_up の繰り返し値が 1 であることがわかります。

Prometheus で指標を収集する

Distributed Cloud Connected は、Distributed Cloud Connected ワークロードの指標を収集するための Prometheus 指標ソリューションをサポートしています。

この目的のために、Distributed Cloud コネクテッドクラスタを作成すると、Distributed Cloud コネクテッドは prom-monitoring という名前の非管理対象 Namespace を作成します。この Namespace を使用して Prometheus をデプロイすることをおすすめします。必要なリソースを prom-monitoring Namespace から任意の Namespace にコピーして、そこに Prometheus をデプロイすることもできます。

Prometheus 指標のスクレイピングを構成する

Prometheus で Distributed Cloud 接続指標を収集するには、Prometheus 指標のスクレイピングを構成する必要があります。これを行うには、Prometheus Pod に prometheus-scrape-config ConfigMap をマウントし、ConfigMap から Prometheus 構成にスクレイピング構成を追加します。次に例を示します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-deployment
  namespace: prom-monitoring
  labels:
    app: prom-monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prom-monitoring
  template:
    metadata:
      labels:
        app: prom-monitoring
    spec:
      containers:
        - name: prometheus
          image: prom/prometheus:main
          args:
            - "--config.file=/etc/prometheus/prometheus.yml"
            - "--storage.tsdb.path=/prometheus/"
          ports:
            - containerPort: 9090
          volumeMounts:
            - name: prometheus-config-volume
              mountPath: /etc/prometheus/
            - name: prometheus-scrape-config-volume
              mountPath: /etc/prometheus/scrape/
            - name: prometheus-storage-volume
              mountPath: /prometheus/
            - name: prometheus-scrape-token
              mountPath: /var/run/secrets/kubernetes.io/stackdriver-prometheus-scrape
            - name: stackdriver-prometheus-scrape-cert
              mountPath: /certs/stackdriver-prometheus-scrape
            - name: metrics-providers-ca
              mountPath: /certs/metrics-providers
            - name: stackdriver-prometheus-etcd-scrape
              mountPath: /stackdriver-prometheus-etcd-scrape
      volumes:
        - name: prometheus-storage-volume
          emptyDir: {}
        - name: prometheus-config-volume
          configMap:
            defaultMode: 420
            name: prometheus-config
        - name: prometheus-scrape-config-volume
          configMap:
            defaultMode: 420
            name: prometheus-scrape-config
        - name: prometheus-scrape-token
          secret:
            defaultMode: 420
            secretName: prometheus-scrape
        - name: stackdriver-prometheus-scrape-cert
          secret:
            defaultMode: 420
            secretName: stackdriver-prometheus-scrape-cert
        - name: metrics-providers-ca
          secret:
            defaultMode: 420
            items:
            - key: ca.crt
              path: ca.crt
            secretName: metrics-providers-ca
        - name: stackdriver-prometheus-etcd-scrape
          secret:
            defaultMode: 420
            optional: true
            secretName: stackdriver-prometheus-etcd-scrape

Prometheus でワークロード指標を収集するには、ターゲットワークロードを実行する Service と Pod に次のようにアノテーションを追加する必要があります。

Cloud Monitoring と Prometheus の両方に指標を送信するには、カスタムログと指標をエクスポートするで説明されているアノテーションを使用します。
指標を Prometheus にのみ送信するには、次のアノテーションを使用します。

prometheus.io/unmanaged_scrape: "true"
prometheus.io/unmanaged_path: "ENDPOINT_PATH"
prometheus.io/unmanaged_port: "PORT_NUMBER"

Kafka でログを収集する

Distributed Cloud コネクテッドは、Distributed Cloud コネクテッドデプロイで実行されているワークロードのログを収集するための Apache Kafka ソリューションをサポートしています。

このセクションの手順を完了する前に、機能する Kafka デプロイが必要です。Kafka ブローカーは、リスナーを PLAINTEXT モードでアドバタイズする必要があります。SSL/SASL 関連の変数はサポートされていません。

Kafka ロギング用にクラスタを構成するには、クラスタで実行するアドオンを構成する JSON ファイルを作成する必要があります。--system-addons-config フラグを使用してクラスタを作成するときに、このファイルを指定します。Kafka 構成を変更する必要がある場合は、新しい Kafka 設定を使用してクラスタを削除して再作成する必要があります。

システムアドオンの構成ファイルに次のセクションを追加します。

{
        "systemAddonsConfig": {
          "unmanagedKafkaConfig": {
            "brokers": "BROKERS",
            "topics": "TOPICS"
     "topic_key": "TOPIC_KEY, 
          }
      }
}

次のように置き換えます。

BROKERS: ブローカーの IP アドレスとポートのペアのカンマ区切りリスト（ip_address:port 形式）。
TOPICS: Kafka トピックのカンマ区切りのリスト。
TOPIC_KEY: Kafka トピックキー。複数のトピックが存在する場合、Kafka がトピックを選択できます。

Distributed Cloud 接続クラスタを作成した後に Kafka がログを収集しない場合は、次の点を確認してください。

サーバー側: Kafka デプロイのエラーログで問題の兆候を確認します。
クライアント側: Google サポートにお問い合わせのうえ、システム Pod のログを取得して確認します。

次のステップ

監査ロギング

ログと指標 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。