排查复制作业问题

本页面介绍如何解决与 Cloud Data Fusion 复制作业相关的问题。

异常：无法创建临时存储桶

如果违反了存储桶命名惯例，复制作业可能会失败，并在流水线日志中显示以下错误：

Caused by: java.io.IOException: Unable to create staging bucket
BUCKET_NAME in project PROJECT_NAME.

您可以视需要提供临时存储桶名称。如果未提供，复制作业会通过在作业名称后附加后缀来生成一个。在某些情况下，您可以使用较短的作业名称来解决此问题。如需了解详情，请参阅存储分区名称。

MySQL CONVERT_TO_NULL 值不在集合中

如果您使用的是较低版本的 MySQL Connector/J（例如版本 5），复制作业会失败并显示以下错误：

The connection property 'zeroDateTimeBehavior' only accepts values of the form:
'exception', 'round' or 'convertToNull'. The value 'CONVERT_TO_NULL' is not in
this set.

不同版本的 MySQL Connector/J 的 zeroDateTimeBehavior 接受值不兼容。

如需解决此问题，请使用 MySQL Connector/J 8 版或更高版本。

复制功能和 SQL Server Always On 数据库

Microsoft SQL Server 来源可以捕获 Always On 只读副本中的更改。对于此设置，您必须将运行时实参 source.connector.database.applicationIntent=ReadOnly 传递给复制作业。如果没有此运行时实参，作业会失败，并显示以下错误：

Producer failure
java.lang.RuntimeException: com.microsoft.sqlserver.jdbc.SQLServerException:
Failed to update database "DATABASE_NAME" because the database is read-only.

如需解决此问题，请将 source.connector.database.applicationIntent=ReadOnly 设置为运行时实参。这会在内部将 snapshot.isolation.mode 设为 snapshot。

Managed Service for Apache Spark 静态集群上的复制错误

运行复制作业时，来自 Managed Service for Apache Spark 集群节点的 SSL 连接可能会失败，并显示 java.lang.NullPointerException 或 Connection reset 错误：

ERROR [SparkRunnerphase-1:i.c.c.i.a.r.ProgramControllerServiceAdapter@93] -
Spark program 'phase-1' failed with error: The driver could not establish a
secure connection to SQL Server by using Secure Sockets Layer (SSL) encryption.
Error: "Connection reset ClientConnectionId:ID"

此错误是由于为在 Managed Service for Apache Spark 上安装的 JDK 版本中使用的 Conscrypt SSL 提供程序而导致的。

如需解决此问题，请停用 Conscrypt SSL 提供程序，以便使用 Java JDK 的默认 SSL 提供程序。如需停用 Conscrypt SSL 提供程序，请在启动 Managed Service for Apache Spark 集群时设置以下集群属性：

--properties dataproc:dataproc.conscrypt.provider.enable=false

SQL Server 的复制功能不复制已更改表的所有列

从 SQL Server 中的表复制数据时，如果复制源表包含新添加的列，则不会将该列自动添加到变更数据捕获 (CDC) 表中。您必须手动将它添加到底层 CDC 表。

如需解决此问题，请按以下步骤操作：

  1. 停用 CDC 实例：

    EXEC sp_cdc_disable_table
@source_schema = N'dbo',
@source_name = N'myTable',
@capture_instance = 'dbo_myTable'
GO

  2. 再次启用 CDC 实例：

    EXEC sp_cdc_enable_table
@source_schema = N'dbo',
@source_name = N'myTable',
@role_name = NULL,
@capture_instance = 'dbo_myTable'
GO

  3. 创建新的复制作业。

如需了解详情，请参阅处理对源表的更改。

角色和权限错误

访问权限控制存在以下问题。

Cloud Data Fusion 服务账号权限问题

使用 Oracle 数据库运行复制作业时，检索表列表可能会失败，并显示以下错误：

Error io.grpc.StatusRuntimeException: PERMISSION_DENIED: Permission
'datastream.streams.get' denied on 'projects/PROJECT_NAME/locations/REGION/streams/STREAM_NAME'

当您使用 Oracle 数据库运行复制作业时，Cloud Data Fusion 会在后端使用 Datastream 服务。如需获得使用 Datastream 服务所需的权限，请让您的管理员为您授予 Cloud Data Fusion 服务账号的 Datastream Admin (roles/datastream.admin) IAM 角色。

未授予查看变更数据捕获的权限

从 SQL Server 复制数据时，您可能会在流水线日志中看到以下错误：

No whitelisted table has enabled CDC, whitelisted table list does not contain any
table with CDC enabled or no table match the white/blacklist filter(s)

如果源连接属性中提供的用户没有查看复制表的变更数据捕获 (CDC) 的权限，就会出现此问题。在表上启用 CDC 时，可以使用 sys.sp_cdc_enable_table 通过 role_name 参数来控制此行为。

如需详细了解如何授予查看 CDC 所需的权限，请参阅在表上启用 CDC 和 sys.sp_cdc_enable_table。

用户定义的类型权限问题

如果复制作业使用的数据库用户没有用户定义类型 (UDT) 的权限，您可能会在流水线日志中看到以下错误：

java.lang.IllegalArgumentException: The primary key cannot reference a non-existent
column'oid' in table TABLE_NAME

在此错误消息中，oid 列可能是 UDT。

如需解决此问题，请在数据库中运行以下命令，向用户授予访问权限：

GRANT EXECUTE ON TYPE::UDT_NAME to YOUR_USER

SQL Server Agent 未运行

如果 SQL Server 代理未运行，您可能会在流水线日志中看到以下错误：

No maximum LSN recorded in the database; please ensure that the SQL Server Agent
is running [io.debezium.connector.sqlserver.SqlServerStreamingChangeEventSource]

如需解决此问题，请启动 SQL Server Agent。如需了解详情，请根据您使用的操作系统参阅以下文档：

SQL Server 复制流水线版本不是最新版本

如果 SQL Server 复制流水线版本不是最新版本，流水线日志中会显示以下错误：

Method io/cdap/delta/sqlserver/SqlServerDeltaSource.configure(Lio/cdap/delta/api/SourceConfigurer;) is abstract

如果旧版源插件与相对较新版的增量应用搭配使用，就会出现此错误。在这种情况下，新版增量应用定义的新接口未实现。

如需解决此问题，请按以下步骤操作：

  1. 通过提交 HTTP GET 请求来检索复制作业的相关信息：

    GET v3/namespaces/NAMESPACE_ID/apps/REPLICATOR_NAME

    如需了解详情，请参阅查看复制作业详细信息。

  2. 检查复制作业使用的插件和增量应用的版本。

  3. 提交 HTTP GET 请求，以检索可用制品列表：

    GET /v3/namespaces/NAMESPACE_ID/artifacts

    如需了解详情，请参阅列出可用的制品。

身份验证范围不足的静态 Managed Service for Apache Spark 集群

如果您使用的是身份验证范围不足的静态 Managed Service for Apache Spark 集群，则可能会在流水线日志中看到以下错误：

ERROR [worker-DeltaWorker-0:i.c.c.i.a.r.ProgramControllerServiceAdapter@92] - Worker
Program 'DeltaWorker' failed.
Caused by: io.grpc.StatusRuntimeException: PERMISSION_DENIED: Request had
insufficient authentication scopes.

如需解决此问题，请创建新的静态 Managed Service for Apache Spark 集群，并在同一项目中为该集群启用 cloud-platform 范围。