Cloud Logging

您可以在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc Metastore 作业日志 。

访问 Logging 中的作业日志

运行 Dataproc Metastore 时,Hive Metastore 进程输出会流式传输到 Logging。

您可以使用 Logging 控制台gcloud logging 命令或 Logging API 来访问 Logging。

控制台

  1. 在 Google Cloud 控制台中,打开 Cloud Logging > 日志 (Logs Explorer)页面:

    进入“Logs Explorer”页面

  2. 选择现有的 Dataproc Metastore Google Cloud 项目。

  3. 资源 菜单下,选择 Dataproc Metastore Service

  4. 所有日志菜单下,选择您要查看的日志类型。

gcloud

Google Cloud CLI 有一组 gcloud logging 命令,用于为 Cloud Logging API 提供命令行界面。如需读取您的日志条目,请运行以下命令:

gcloud logging read \
    'resource.type="metastore.googleapis.com/Service"
    resource.labels.location=LOCATION
    resource.labels.service_id=SERVICE_ID'

REST

按照 Logging API 说明,使用 API Explorer 列出日志条目 (entries.list)。

Logging 中的 Dataproc Metastore 服务日志

Dataproc Metastore 会将请求和系统日志导出到 Cloud Logging。

日志类型 日志名称 logName 查询
该角色可以请求日志 metastore.googleapis.com/requests logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests)
系统日志 metastore.googleapis.com/system logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem)

后续步骤