プロキシレス gRPC アプリケーションによるオブザーバビリティ
マイクロサービスのオブザーバビリティ ツールを使用すると、アプリケーションを計測して、 Google Cloudにデプロイされた gRPC ワークロード（Cloud Service Mesh の gRPC ワークロードなど）からテレメトリー データを収集し、Cloud Monitoring、Cloud Logging、Cloud Trace で表示できるようになります。
gRPC のクライアントとサーバーは OpenCensus と統合され、指標とトレースを Trace や Monitoring を含むさまざまなバックエンドにエクスポートします。この処理は、次の gRPC 言語で行うことができます。
- C++
- Go
- Java
マイクロサービス オブザーバビリティの概要を参照し、マイクロサービス オブザーバビリティの設定の手順に沿って、次の処理の gRPC ワークロードを計測します。
- Cloud Monitoring と指標を表示する。
- Cloud Logging とログを表示する。
- Cloud Trace とトレースを表示する。
このドキュメントの手順に沿って、次のタスクを実行します。
Trace でトレースを表示する
設定プロセスを完了すると、計測可能にした gRPC クライアントとサーバーはトレースを Trace に送信するようになります。 Google Cloud コンソールの [Trace の概要] ページには、最近のトレースのリストが表示されます。次のセクションで説明するように、個々のトレースを選択するとトラフィックの内訳を確認できます。
Envoy プロキシとの Trace の互換性
Envoy によるオブザーバビリティに説明されているように、Cloud Service Mesh と Envoy プロキシを使用して Trace にトレースをエクスポートすると、Envoy の OpenCensus トレーサ構成が使用されます。これにより、サービス メッシュ内では、プロキシレス gRPC アプリケーションや Envoy プロキシからエクスポートされたトレースを完全互換にできます。プロキシレス gRPC との互換性を確保するため、Envoy ブートストラップでは、トレース コンテキストが GRPC_TRACE_BIN トレース形式を OpenCensusConfig で含むように構成する必要があります。次に例を示します。
tracing:
http:
name: envoy.tracers.opencensus
typed_config:
"@type": type.googleapis.com/envoy.config.trace.v2.OpenCensusConfig
stackdriver_exporter_enabled: "true"
stackdriver_project_id: "PROJECT_ID"
incoming_trace_context: ["CLOUD_TRACE_CONTEXT", "GRPC_TRACE_BIN"]
outgoing_trace_context: ["CLOUD_TRACE_CONTEXT", "GRPC_TRACE_BIN"]
管理インターフェースを公開する
指標とトレースデータでは、問題の解決に十分でないことがあります。その場合、アプリケーションの gRPC ライブラリの構成やランタイム状態の確認が必要になります。たとえば、リゾルバ情報、ピアとの接続状態、チャンネルの RPC 統計情報、Cloud Service Mesh から受信した構成などの情報が必要になります。
このような情報を取得するために、gRPC アプリケーションでは特定のポートに管理インターフェースを公開できます。これにより、アプリケーションをクエリして、サービスの構成と実行状況を把握できます。このセクションでは、アプリケーションの管理インターフェースをサポートされている各言語で記述して構成する方法について説明します。
gRPC サーバーは、別途アプリケーション内に作成して、この目的のために予約されているポートをリッスンすることをおすすめします。こうすることで、構成ミスやネットワークの問題でデータポートにアクセスできない場合でも、gRPC アプリケーションへはアクセスできるようになります。管理インターフェースは、localhost か Unix ドメイン ソケットにのみ公開することをおすすめします。
管理インターフェースの作成方法を、次のコード スニペットに示します。
C++
C++ では、次のコードを使用して管理インターフェースを作成します。
#include <grpcpp/ext/admin_services.h>
grpc::ServerBuilder builder;
grpc::AddAdminServices(&builder);
builder.AddListeningPort(":50051", grpc::ServerCredentials(...));
std::unique_ptr<grpc::Server> server(builder.BuildAndStart());
Go
Go では、次のコードを使用して管理インターフェースを作成します。
import "google.golang.org/grpc/admin"
lis, err := net.Listen("tcp", ":50051")
if err != nil {
log.Fatalf("failed to listen: %v", err)
}
defer lis.Close()
grpcServer := grpc.NewServer(...opts)
cleanup, err := admin.Register(grpcServer)
if err != nil {
log.Fatalf("failed to register admin services: %v", err)
}
defer cleanup()
if err := grpcServer.Serve(lis); err != nil {
log.Fatalf("failed to serve: %v", err)
}
Java
Java では、次のコードを使用して管理インターフェースを作成します。
import io.grpc.services.AdminInterface;
server = ServerBuilder.forPort(50051)
.useTransportSecurity(certChainFile, privateKeyFile)
.addServices(AdminInterface.getStandardServices())
.build()
.start();
server.awaitTermination();
Python
Python では、次のコードを使用して管理インターフェースを作成します。
import grpc_admin
server = grpc.server(futures.ThreadPoolExecutor())
grpc_admin.add_admin_servicers(server)
server.add_insecure_port('[::]:50051')
server.start()
server.wait_for_termination()
SSH を使用して VM に接続する
gRPC ウォレットの例では、管理インターフェースがすでに有効になっています。管理インターフェースのポートを変更するには、次のフラグを指定します。
--admin-port=PORT
デフォルトの管理ポートは localhost:28881 です。
gRPC アプリケーションをデバッグするには、wallet-service を提供する VM のいずれかに SSH で接続します。これにより、localhost にアクセスできるようになります。
# List the Wallet VMs $ gcloud compute instances list --filter="zone:(us-central1-a)" --filter="name~'grpcwallet-wallet-v2'" NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS grpcwallet-wallet-v2-mig-us-central1-ccl1 us-central1-a n1-standard-1 10.240.0.38 35.223.42.98 RUNNING grpcwallet-wallet-v2-mig-us-central1-k623 us-central1-a n1-standard-1 10.240.0.112 35.188.133.75 RUNNING # Pick one of the Wallet VMs to debug $ gcloud compute ssh grpcwallet-wallet-v2-mig-us-central1-ccl1 --zone=us-central1-a
grpcdebug ツールをインストールする
管理インターフェースにアクセスするには、gRPC アプリケーションの管理サービスと通信できる gRPC クライアントが必要です。次の例では、gRPC アプリケーションが実行されている VM または Pod にダウンロードできる grpcdebug というツールを使用します。grpcdebug のリポジトリは、grpc-ecosystem/grpcdebug にあります。
Golang の最小サポート バージョンは 1.12 です。Golang の公式ガイドは Golang のサイトにあります。ガイドに沿って wallet-service 用の Linux VM を作成する場合は、次のコマンドを使用して Golang 1.16 をインストールできます。
sudo apt update && sudo apt install -y wget wget https://golang.org/dl/go1.16.3.linux-amd64.tar.gz sudo rm -rf /usr/local/go sudo tar -C /usr/local -xzf go1.16.3.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin sudo ln -sf /usr/local/go/bin/go /usr/bin/go go version # go version go1.16.3 linux/amd64
次のコマンドで grpcdebug ツールをインストールします。
go install -v github.com/grpc-ecosystem/grpcdebug@latest export PATH=$PATH:$(go env GOPATH)/bin
これで、grpcdebug コマンドライン インターフェースにアクセスできるようになりました。ヘルプ出力には、サポートされているコマンドについての情報が含まれます。
$ grpcdebug -h
grpcdebug is a gRPC service admin command-line interface
Usage:
grpcdebug <target address> [flags] <command>
Available Commands:
channelz Display gRPC states in human readable way.
health Check health status of the target service (default "").
help Help about any command
xds Fetch xDS related information.
Flags:
--credential_file string Sets the path of the credential file; used in [tls] mode
-h, --help Help for grpcdebug
--security string Defines the type of credentials to use [tls, google-default, insecure] (default "insecure")
--server_name_override string Overrides the peer server name if non empty; used in [tls] mode
-t, --timestamp Print timestamp as RFC 3339 instead of human readable strings
-v, --verbose Print verbose information for debugging
特定のコマンドに関する詳細を確認するには、次のコマンドを使用します。
grpcdebug <target address> [command] --help
grpcdebug ツールを使用してアプリケーションをデバッグする
grpcdebug ツールを使用してアプリケーションをデバッグできます。grpcdebug ツールには、ssh_config に似た構成があり、エイリアス、ホスト名の書き換え、接続のセキュリティ設定（Insecure / TLS）がサポートされます。この高度な機能の詳細については、grpcdebug/Connect&Security をご覧ください。
このセクションでは、管理インターフェースによって公開されるサービスとそのアクセス方法について説明します。
Channelz を使用する
Channelz サービスでは、アプリケーションで使用されている gRPC ライブラリのさまざまなレベルで、接続に関するランタイム情報にアクセスできます。これにより、構成関連の問題やネットワーク関連の問題があると考えられるアプリケーションを実行しながら調査できます。次の例では、プロキシレス gRPC サービスを使用して高度なトラフィック管理を構成するの手順に沿って gRPC Wallet のサンプルをデプロイし、次のフラグを指定したことを前提としています。
--admin-port=PORT
構成の確認で説明されているように、テスト クライアントから RPC を送信した後、次のコマンドを使用して gRPC サービスの Channelz データにアクセスします。
- SSH を使用して、
wallet-serviceを実行している VM に接続します。 grpcdebugを設定して、実行中の gRPC アプリケーションに接続します。
grpcdebug のデフォルトの出力は、コンソール対応のテーブル形式です。--json フラグを指定すると、出力が JSON としてエンコードされます。
grpcdebug channelz コマンドは、Channelz サービスからデバッグ情報を取得して表示するために使用します。このコマンドは、gRPC クライアントと gRPC サーバーの両方で機能します。
gRPC クライアントでは、コマンド grpcdebug channelz channels を実行すると、既存のチャネルのリストと基本情報の一部が出力されます。
$ grpcdebug localhost:28881 channelz channels Channel ID Target State Calls(Started/Succeeded/Failed) Created Time 1 xds:///account.grpcwallet.io:10080 READY 0/0/0 59 seconds ago 2 trafficdirector.googleapis.com:443 READY 2/0/0 59 seconds ago 4 xds:///stats.grpcwallet.io:10080 READY 0/0/0 59 seconds ago
特定のチャネルに関する追加情報が必要な場合は、grpcdebug channelz channel [CHANNEL_ID] を使用してそのチャネルの詳細情報を調べます。CHANNEL_ID は、チャネル ID か、ターゲット アドレス（1 つしかない場合）になります。gRPC チャネルには、TCP コネクションの上に gRPC を抽象化した複数のサブチャネルを含めることができます。
$ grpcdebug localhost:28881 channelz channel 2
Channel ID: 2
Target: trafficdirector.googleapis.com:443
State: READY
Calls Started: 2
Calls Succeeded: 0
Calls Failed: 0
Created Time: 10 minutes ago
---
Subchannel ID Target State Calls(Started/Succeeded/Failed) CreatedTime
3 trafficdirector.googleapis.com:443 READY 2/0/0 10 minutes ago
---
Severity Time Child Ref Description
CT_INFO 10 minutes ago Channel Created
CT_INFO 10 minutes ago parsed scheme: ""
CT_INFO 10 minutes ago scheme "" not registered, fallback to default scheme
CT_INFO 10 minutes ago ccResolverWrapper: sending update to cc: {[{trafficdirector.googleapis.com:443 <nil> 0 <nil>}] <nil> <nil>}
CT_INFO 10 minutes ago Resolver state updated: {Addresses:[{Addr:trafficdirector.googleapis.com:443 ServerName: Attributes:<nil> Type:0 Metadata:<nil>}] ServiceConfig:<nil> Attributes:<nil>} (resolver returned new addresses)
CT_INFO 10 minutes ago ClientConn switching balancer to "pick_first"
CT_INFO 10 minutes ago Channel switches to new LB policy "pick_first"
CT_INFO 10 minutes ago subchannel(subchannel_id:3 ) Subchannel(id:3) created
CT_INFO 10 minutes ago Channel Connectivity change to CONNECTING
CT_INFO 10 minutes ago Channel Connectivity change to READY
サブチャネルの詳細を調べることもできます。
$ grpcdebug localhost:28881 channelz subchannel 3 Subchannel ID: 3 Target: trafficdirector.googleapis.com:443 State: READY Calls Started: 2 Calls Succeeded: 0 Calls Failed: 0 Created Time: 12 minutes ago --- Socket ID Local->Remote Streams(Started/Succeeded/Failed) Messages(Sent/Received) 9 10.240.0.38:60338->142.250.125.95:443 2/0/0 214/132
TCP ソケットに関する情報を取得できます。
$ grpcdebug localhost:28881 channelz socket 9
Socket ID: 9
Address: 10.240.0.38:60338->142.250.125.95:443
Streams Started: 2
Streams Succeeded: 0
Streams Failed: 0
Messages Sent: 226
Messages Received: 141
Keep Alives Sent: 0
Last Local Stream Created: 12 minutes ago
Last Remote Stream Created: a long while ago
Last Message Sent Created: 8 seconds ago
Last Message Received Created: 8 seconds ago
Local Flow Control Window: 65535
Remote Flow Control Window: 966515
---
Socket Options Name Value
SO_LINGER [type.googleapis.com/grpc.channelz.v1.SocketOptionLinger]:{duration:{}}
SO_RCVTIMEO [type.googleapis.com/grpc.channelz.v1.SocketOptionTimeout]:{duration:{}}
SO_SNDTIMEO [type.googleapis.com/grpc.channelz.v1.SocketOptionTimeout]:{duration:{}}
TCP_INFO [type.googleapis.com/grpc.channelz.v1.SocketOptionTcpInfo]:{tcpi_state:1 tcpi_options:7 tcpi_rto:204000 tcpi_ato:40000 tcpi_snd_mss:1408 tcpi_rcv_mss:1408 tcpi_last_data_sent:8212 tcpi_last_data_recv:8212 tcpi_last_ack_recv:8212 tcpi_pmtu:1460 tcpi_rcv_ssthresh:88288 tcpi_rtt:2400 tcpi_rttvar:3012 tcpi_snd_ssthresh:2147483647 tcpi_snd_cwnd:10 tcpi_advmss:1408 tcpi_reordering:3}
---
Security Model: TLS
Standard Name: TLS_AES_128_GCM_SHA256
サーバー側では、Channelz を使用してサーバー アプリケーションのステータスを調べることができます。たとえば、サーバーのリストを取得するには、grpcdebug
channelz servers コマンドを使用します。
$ grpcdebug localhost:28881 channelz servers Server ID Listen Addresses Calls(Started/Succeeded/Failed) Last Call Started 5 [127.0.0.1:28881] 9/8/0 now 6 [[::]:50051] 159/159/0 4 seconds ago
特定サーバーの詳細情報を取得するには、grpcdebug channelz
server コマンドを使用します。サーバー ソケットは、クライアント ソケットの場合と同じ方法で検査できます。
$ grpcdebug localhost:28881 channelz server 6 Server Id: 6 Listen Addresses: [[::]:50051] Calls Started: 174 Calls Succeeded: 174 Calls Failed: 0 Last Call Started: now --- Socket ID Local->Remote Streams(Started/Succeeded/Failed) Messages(Sent/Received) 25 10.240.0.38:50051->130.211.1.39:44904 68/68/0 68/68 26 10.240.0.38:50051->130.211.0.167:32768 54/54/0 54/54 27 10.240.0.38:50051->130.211.0.22:32768 52/52/0 52/52
クライアント ステータス ディスカバリ サービスを使用する
Client Status Discovery Service（CSDS）API は、xDS API の一部です。gRPC アプリケーションの場合、CSDS サービスは Cloud Service Mesh から受け取る構成（xDS 構成とも呼ばれます）にアクセスします。これにより、メッシュの構成に関する問題を特定し、解決できます。
下の例では、プロキシレス gRPC サービスで高度なトラフィック管理を構成するの手順で gRPC ウォレットのサンプルをデプロイしていることを前提としています。
CSDS を使用して構成を調べるには、次のようにします。
- SSH を使用して、
wallet-serviceを実行している VM に接続します。SSH を使用して VM に接続するの手順を使行います。 grpcdebugクライアントを実行します。
構成ステータスの概要を取得するには、次のコマンドを実行します。
grpcdebug localhost:28881 xds status
次のような結果が表示されます。
Name Status Version Type LastUpdated account.grpcwallet.io:10080 ACKED 1618529574783547920 type.googleapis.com/envoy.config.listener.v3.Listener 3 seconds ago stats.grpcwallet.io:10080 ACKED 1618529574783547920 type.googleapis.com/envoy.config.listener.v3.Listener 3 seconds ago URL_MAP/830293263384_grpcwallet-url-map_0_account.grpcwallet.io:10080 ACKED 1618529574783547920 type.googleapis.com/envoy.config.route.v3.RouteConfiguration 3 seconds ago URL_MAP/830293263384_grpcwallet-url-map_1_stats.grpcwallet.io:10080 ACKED 1618529574783547920 type.googleapis.com/envoy.config.route.v3.RouteConfiguration 3 seconds ago cloud-internal-istio:cloud_mp_830293263384_3566964729007423588 ACKED 1618529574783547920 type.googleapis.com/envoy.config.cluster.v3.Cluster 3 seconds ago cloud-internal-istio:cloud_mp_830293263384_7383783194368524341 ACKED 1618529574783547920 type.googleapis.com/envoy.config.cluster.v3.Cluster 3 seconds ago cloud-internal-istio:cloud_mp_830293263384_3363366193797120473 ACKED 1618529574783547920 type.googleapis.com/envoy.config.cluster.v3.Cluster 3 seconds ago cloud-internal-istio:cloud_mp_830293263384_3566964729007423588 ACKED 86 type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment 2 seconds ago cloud-internal-istio:cloud_mp_830293263384_3363366193797120473 ACKED 86 type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment 2 seconds ago cloud-internal-istio:cloud_mp_830293263384_7383783194368524341 ACKED 86 type.googleapis.com/envoy.config.endpoint.v3.ClusterLoadAssignment 2 seconds ago
構成ステータスの定義については、Envoy プロキシのドキュメントをご覧ください。xDS リソースのステータスは、REQUESTED、DOES_NOT_EXIST、ACKED、NACKED のいずれかです。
未加工の xDS 構成ダンプを取得するには、次のコマンドを実行します。
grpcdebug localhost:28881 xds config
PerXdsConfig オブジェクトの JSON リストが表示されます。
{
"config": [
{
"node": {
"id": "projects/830293263384/networks/default/nodes/6e98b038-6d75-4a4c-8d35-b0c7a8c9cdde",
"cluster": "cluster",
"metadata": {
"INSTANCE_IP": "10.240.0.38",
"TRAFFICDIRECTOR_GCP_PROJECT_NUMBER": "830293263384",
"TRAFFICDIRECTOR_NETWORK_NAME": "default"
},
"locality": {
"zone": "us-central1-a"
},
"userAgentName": "gRPC Go",
"userAgentVersion": "1.37.0",
"clientFeatures": [
"envoy.lb.does_not_support_overprovisioning"
]
},
"xdsConfig": [
{
"listenerConfig": {
"versionInfo": "1618529930989701137",
"dynamicListeners": [
{
...
未加工の構成出力では量が多すぎる場合は、grpcdebug を使用すると特定の xDS タイプでフィルタリングできます。たとえば、次のように使用します。
$ grpcdebug localhost:28881 xds config --type=cds
{
"versionInfo": "1618530076226619310",
"dynamicActiveClusters": [
{
"versionInfo": "1618530076226619310",
"cluster": {
"@type": "type.googleapis.com/envoy.config.cluster.v3.Cluster",
"name": "cloud-internal-istio:cloud_mp_830293263384_7383783194368524341",
"altStatName": "/projects/830293263384/global/backendServices/grpcwallet-stats-service",
"type": "EDS",
"edsClusterConfig": {
"edsConfig": {
"ads": {},
"initialFetchTimeout": "15s",
...
複数の xDS タイプの構成を同時にダンプすることもできます。
$ grpcdebug localhost:28881 xds config --type=lds,eds
{
"versionInfo": "1618530076226619310",
"dynamicListeners": [...]
}
{
"dynamicEndpointConfigs": [...]
}
次のステップ
- 関連情報については、Envoy によるオブザーバビリティをご覧ください。
- プロキシレス gRPC サービスをデプロイするときに構成の問題を解決するには、プロキシレス gRPC を使用したデプロイのトラブルシューティングをご覧ください。