排查 Amazon Kinesis Data Streams 导入问题

本文档针对 Amazon Kinesis Data Streams 导入主题提供了一些常见的问题排查提示。

配置导入主题并开始提取消息后,您可以查看相关的 Cloud Monitoring 指标,了解是否已提取数据。执行以下步骤:

  1. 在控制台中,前往主题页面。

    打开“主题”

  2. 点击要排查问题的 Amazon Kinesis Data Streams 导入主题。

  3. 在主题详情页面中,点击指标标签页。

  4. 查看指标“提取的字节数”的图表。

  5. 如果未提取任何数据,请在主题详情页面中检查主题状态字段是否存在错误。

  6. 您还可以查看指标 Ingestion data source state。为此,请在主题详情页面中点击指标标签页。

  7. 以下是您可能会遇到的一些错误:

    错误代码 说明 修复
    KINESIS_PERMISSION_DENIED 由于权限问题,无法使用 Kinesis 数据。 验证 AWS 角色 ARN 是否准确,并检查 AWS 角色是否具有所需的 Kinesis 读取权限。如需了解详情,请参阅在 AWS 中创建政策
    确保服务账号存在,并且已按照使用自定义信任政策在 AWS 中创建角色过程中的说明正确配置该服务账号。如需详细了解如何创建服务账号,请参阅在 Google Cloud中创建服务账号
    验证 Pub/Sub 服务账号是否具有 iam.serviceAccounts.getOpenIdToken 权限。 如需了解详情,请参阅为 Pub/Sub 服务账号添加 Service Account Token Creator 角色
    验证您是否已向服务账号添加服务账号用户角色。如需了解详情,请参阅向服务账号添加服务账号用户角色
    PUBLISH_PERMISSION_DENIED 由于权限问题,发布到主题时出错。 向 Pub/Sub 服务账号授予必要的发布权限。如需了解详情,请参阅向 Pub/Sub 服务账号添加 Pub/Sub 发布商角色
    STREAM_NOT_FOUND 找不到指定的 Kinesis 数据流。 验证数据流 ARN 是否准确无误。
    CONSUMER_NOT_FOUND 找不到 Kinesis 使用者。 验证使用方 ARN 是否准确无误。如有必要,请重新创建消费者。

如果到目前为止没有出现任何错误,请查看保持发布商账号的良好状态中的最佳实践。

您可以为 Amazon Kinesis Data Streams 导入主题启用或停用平台日志。不过,Kinesis 流数据始终符合 Pub/Sub 的消息要求,可以发布。因此,不会写入任何日志。

Apache Kafka® 是 Apache Software Foundation 或其关联公司在美国和/或其他国家/地区的注册商标。