Cloud Storage

借助 Google Cloud Storage 连接器，您可以连接到 Google Cloud Storage 并执行文件传输操作。

准备工作

在使用 Cloud Storage 连接器之前，请先完成以下任务：

• 在您的 Google Cloud 项目中：
  • 确保已设置网络连接。如需了解网络模式，请参阅网络连接。
  • 向配置连接器的用户授予 roles/connectors.admin IAM 角色。
  • 将以下 IAM 角色授予您要用其来使用连接器的服务账号：
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor
    • roles/storage.admin

    服务账号是一种特殊类型的 Google 账号，用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号，则必须创建一个服务账号。连接器和服务账号必须属于同一项目。如需了解详情，请参阅创建服务账号。

  • 启用以下服务：
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    如需了解如何启用服务，请参阅启用服务。

  如果之前没有为您的项目启用这些服务或权限，则在您配置连接器时，系统会提示您启用。

配置连接器

一个连接需专用于一个数据源。这意味着，如果您有许多数据源，则必须为每个数据源创建单独的连接。如需创建连接，请执行以下操作：

1. 在 Cloud 控制台 中，进入 Integration Connectors > 连接页面，然后选择或创建一个 Google Cloud 项目。

   转到“连接”页面

2. 点击 + 新建以打开创建连接页面。
3. 在位置部分中，选择连接的位置。
   1. 区域：从下拉列表中选择一个位置。

      如需查看所有受支持区域的列表，请参阅位置。

   2. 点击下一步。
4. 在连接详情部分中，完成以下操作：
   1. 连接器：从可用连接器的下拉列表中选择 Cloud Storage。
   2. 连接器版本：从可用版本的下拉列表中选择一个连接器版本。
   3. 在连接名称字段中，输入连接实例的名称。

      连接名称必须符合以下条件：

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头，以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
   4. （可选）输入连接实例的说明。
   5. 您可以选择启用 Cloud Logging，然后选择日志级别。默认情况下，日志级别设置为 Error。
   6. 服务账号：选择具有所需角色的服务账号。
   7. （可选）配置连接节点设置：
      • 节点数下限：输入连接节点数下限。
      • 节点数上限：输入连接节点数上限。

      节点是处理事务的连接单元（或副本）。 连接处理越多事务就需要越多节点，相反，处理越少事务需要越少节点。 如需了解节点如何影响连接器价格，请参阅连接节点的价格。如果未输入任何值，则默认情况下，节点数下限设置为 2（以便提高可用性），节点数上限设置为 50。

   注意：仅当您是随用随付客户时，才能自定义连接节点值。
   8. 项目 ID：数据所在的 Google Cloud 项目的 ID。
   9. （可选）点击 + 添加标签，以键值对的形式向连接添加标签。
   10. 点击下一步。
5. 查看：查看您的连接。
6. 点击创建。

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

注意：您可以在连接器任务中查看连接器的实体、操作和动作。

• 实体：实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如，在数据库连接器中，表是实体；在文件服务器连接器中，文件夹是实体；在消息传递系统连接器中，队列是实体。

  但可能的情况是，连接器不支持或不具有任何实体，在这种情况下，Entities 列表将为空。

• 操作：操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作：
  • 列表
  • 获取
  • 创建
  • 更新
  • 删除

  从可用列表中选择一个实体，系统会生成该实体可用的操作列表。如需了解操作的详细说明，请参阅连接器任务的实体操作。不过，如果连接器不支持任何实体操作，则不支持的操作不会列在 Operations 列表中。

• 动作：动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改，并且动作因连接器而异。通常，操作会包含一些输入参数和一个输出参数。但可能的情况是，连接器不支持任何动作，在这种情况下，Actions 列表将为空。

注意： 所有实体和动作都具有与之关联的架构。例如，动作架构将包含参数详细信息，例如：参数名称及其相应的数据类型。实体和操作的架构（元数据）由连接在运行时从后端提取。如果架构有任何更新，此类更新不会自动反映在现有连接中；您必须手动刷新架构。如需刷新连接的架构，请打开连接的连接详情页面，然后点击刷新连接架构。

系统限制

Google Cloud Storage 连接器每个节点每秒最多可处理 10 个事务，超出此限制的任何事务都会受到节流。默认情况下，Integration Connectors 会为连接分配 2 个节点（以提高可用性）。

如需了解适用于 Integration Connectors 的限制，请参阅限制。

注意：集成连接器节点的数量会根据您的使用情况动态自动扩缩。不过，如果您想为大容量预留容量，而不希望等待自动扩缩，可以调整连接的最小节点值。连接处理的事务越多，需要的节点就越多。相反，如果连接处理的事务较少，则需要的节点也较少。如需配置节点值，请执行以下操作：

• 如果您是随用随付客户，请在“修改连接”页面中配置最小和最大节点值。
• 如果您是订阅客户，请与支持团队联系。

一个节点可以处理的最大交易数取决于多种因素。因此，在调整最小节点数以提高吞吐量之前，建议您先检查后端系统是否已设置为最佳状态，以处理所需的流量。

操作

Google Cloud Storage 连接支持以下操作：

• DownloadObject
• UploadObject
• CopyObject
• MoveObject
• DeleteObject
• SignURL

注意：在您运行集成后，所有实体操作和操作的结果将以 JSON 响应的形式在 Connectors 任务的 connectorOutputPayload 响应参数中提供。

DownloadObject 操作

下表介绍了 DownloadObject 操作的输入参数。

参数名称	需要	数据类型	说明
存储桶	是	字符串	存在要下载对象的存储桶名称。
ObjectFilePath	否	字符串	应下载的对象的名称。如果未指定，则将下载指定存储桶中的所有对象。 如果要下载的对象存在于存储桶的子文件夹中，您必须提供此类对象的完整路径。例如，如需下载 bucket_01 的 folderA 中存在的 logfile.txt，对象路径应为 folderA/logfile.txt。
HasBytes	否	布尔值	是否以字节的形式下载内容。有效值为 true 或 false。如果设置为 true，则内容会以 Base64 编码的字符串形式下载。 默认情况下，HasBytes 字段设置为 false。
UpdatedEndDate	否	日期	下载对象的结束日期范围。如果未指定，则系统会下载自指定 UpdatedStartDate 起至当前日期的对象。
UpdatedStartDate	否	日期	要下载对象的日期范围的开始日期。如果未指定，则将从时间开始到 UpdatedEndDate 下载对象。

注意：对象不会下载到任何本地系统，但将在您运行集成后以 JSON 响应的形式在连接器任务的 connectorOutputPayload 响应参数中提供给您。

如需查看有关如何配置 DownloadObject 操作的示例，请参阅示例。

UploadObject 操作

下表介绍了 UploadObject 操作的输入参数。

参数名称	需要	数据类型	说明
存储桶	是	字符串	将上传到对象的存储桶名称。
FolderPath	否	字符串	应将对象上传到的文件夹的路径。
ContentBytes	否	字符串	要上传的内容，以字节（Base64 编码的字符串）的形式表示。
HasBytes	否	布尔值	是否以字节的形式上传内容。有效值：true 或 false。如果设置为 true，则您要上传的内容应为 Base64 编码的字符串。 默认情况下，HasBytes 字段设置为 false。
内容	是	字符串	要上传的内容。
ObjectName	否	字符串	要上传的对象的名称。

注意：如果指定的上传文件夹不存在，则系统会在存储桶中自动创建该文件夹。

如需查看有关如何配置 UploadObject 操作的示例，请参阅示例。

CopyObject 操作

下表介绍了 CopyObject 操作的输入参数。

参数名称	需要	数据类型	说明
BucketSource	是	字符串	从中复制对象的存储桶名称。
ObjectSource	是	字符串	要将对象复制到的文件夹的完整路径。
BucketDestination	是	字符串	将对象复制到的存储桶名称。
ObjectDestination	否	字符串	目的地的完整路径，包括对象名称。如果您未指定任何对象名称，系统会保留源对象的名称。

如需查看有关如何配置 CopyObject 操作的示例，请参阅示例。

MoveObject 操作

下表介绍了 MoveObject 操作的输入参数。

参数名称	需要	数据类型	说明
BucketSource	是	字符串	您要从中移动对象的存储桶名称。
ObjectSource	是	字符串	您要将对象移至的文件夹的完整路径。
BucketDestination	是	字符串	将对象移动到的存储桶名称。
ObjectDestination	否	字符串	目的地的完整路径，包括对象名称。如果您未指定任何对象名称，系统会保留源对象的名称。

提示：如果要重命名存储桶中的文件，请使用 MoveObject 操作并在来源和目标位置指定相同的存储桶名称。

DeleteObject 操作

下表介绍了 DeleteObject 操作的输入参数。

参数名称	需要	数据类型	说明
BucketSource	是	字符串	要删除的对象的存储桶名称。
ObjectSource	是	字符串	要删除的对象的名称。
世代	否	双精度型	要删除的对象版本。如果存在，则删除对象的指定修订版本，而不是默认行为中的最新版本。
IfGenerationMatch	否	双精度型	使删除操作取决于对象的当前代是否与给定的值匹配。如果将此值设置为 0，则仅当对象没有当前版本时，操作才会成功。
IfGenerationNotMatch	否	双精度型	使删除操作以对象的当前代是否与给定值不匹配为条件。如果不存在有效对象，则前提条件失败。将此值设置为 0 会导致仅当对象存在当前版本时，操作才会成功。
IfMetagenerationMatch	否	双精度型	使删除操作取决于对象的当前元代是否与指定值匹配。
IfMetagenerationNotMatch	否	双精度型	使删除操作取决于对象的当前元代是否与指定值不匹配。

Sign网址 操作

下表介绍了 SignURL 操作的输入参数，该操作用于为指定对象创建签名网址。

参数名称	需要	数据类型	说明
存储桶	是	字符串	对象所在的存储桶名称。
对象	是	字符串	要为其生成 Signed网址 的对象的名称。
RequestMethod	否	字符串	签名请求将使用的方法。默认值为 GET。
位置	否	字符串	指定存储桶的位置。默认值为 auto。
ActiveDateTime	否	字符串	Signed网址 生效的日期和时间。如果未指定，则使用当前日期时间。
查询	否	字符串	使用 Signed网址 时必须包含的查询字符串，如果未指定，则不使用任何查询字符串。
CustomHeaders	否	字符串	要与 Signed网址 搭配使用的标头的 name=value 列表（以英文逗号分隔），如果未指定，则不会使用任何自定义标头。
ExpiresIn	是	字符串	Signed网址 的过期时间应采用以下格式：1d2h3m4s，最大值为 7d0h0m0s。
HMAC 访问 ID	是	字符串	HMAC 访问 ID。如需了解相关信息，请参阅 HMAC 密钥。
HMAC Secret	是	字符串	HMAC 密文。

示例

本部分中的示例描述了以下操作：

• 列出所有对象
• 列出存储桶中的所有对象
• 使用 LIKE 过滤条件按名称列出对象
• 列出所有存储桶
• 下载对象
• 下载二进制对象
• 将二进制对象上传到存储桶
• 将对象上传到存储桶
• 将对象上传到文件夹
• 复制对象
• 移动对象
• 删除对象
• 为对象创建签名网址

下表列出了连接器任务中的示例场景和相应的配置：

任务	配置
列出所有对象	在 Configure connector task 对话框中，点击 Entities。 选择 Objects 实体，然后选择 List 操作。 点击完成。 这将列出所有存储桶中的所有对象。这些对象列在 Connectors 任务的 connectorOutputPayload 响应参数中。
列出存储桶中的所有对象	在 Configure connector task 对话框中，点击 Entities。 选择 Objects 实体，然后选择 List 操作。 点击完成。 将 filterClause 设置为要从中列出对象的存储桶名称。如需设置子句，请在 Connectors 任务的 Task Input 部分中，点击 filterClause，然后在默认值字段中输入 Bucket = 'BUCKET_NAME'。 例如 Bucket = 'bucket_01'。
使用名称的 LIKE 过滤条件列出对象	在 Configure connector task 对话框中，点击 Entities。 选择 Objects 实体，然后选择 List 操作。 点击完成。 将 filterClause 设置为要从中列出对象的存储桶名称。如需设置子句，请在 Connectors 任务的 Task Input 部分，点击 filterClause，然后在默认值字段中输入 Name LIKE 'NAME%' AND Bucket = 'BUCKET_NAME'。 例如 Name LIKE 'Operations%' AND Bucket = 'OperationsBucket'。
列出所有存储桶	在 Configure connector task 对话框中，点击 Entities。 选择 Buckets 实体，然后选择 List 操作。 点击完成。
下载对象	在 Configure connector task 对话框中，点击 Actions。 选择 DownloadObject 操作，然后点击完成。 在连接器任务的任务输入部分中，点击 connectorInputPayload，然后在 Default Value 字段中输入类似于以下内容的值： { "Bucket": "bucket-test-01", "ObjectFilePath": "logfile.txt" } 此示例下载 logfile.txt 文件。您可以在 Connectors 任务的 connectorOutputPayload 响应参数中查看已下载文件的内容（JSON 格式）。
下载二进制对象	下载二进制对象的步骤与之前所述的下载常规对象的步骤相同。此外，您还必须在 connectorInputPayload 字段中将 HasBytes 指定为 true。此命令会将对象下载为 Base64 编码的字符串。 connectorInputPayload 字段的示例值： { "Bucket": "bucket-test-01", "ObjectFilePath": "image01.png", "HasBytes" : true } 如果下载成功，connectorOutputPayload 字段中的输出将如下所示： { "Success": "true", "ContentBytes": "SGVsbG8gdGVzdCE\u003d" } 默认情况下，HasBytes 字段设置为 false。 如果该文件包含特殊字符（例如 ä、Ø、Thành），请执行以下操作： 以 UTF-8 格式编码：以 UTF-8 格式对文件进行编码，以处理特殊字符。 转换为 Base64：将文件转换为 Base64，以确保原始文本保持不变。 对 Base64 字符串进行解码：将文件解码为 Base64 字符串，以检索包含特殊字符的原始值。
将二进制对象上传到存储桶	在 Configure connector task 对话框中，点击 Actions。 选择 UploadObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "ContentBytes": "SGVsbG8gVGVzdCE=", "Bucket": "bucket-test-01", "ObjectName" : "test-file-01", "HasBytes": true } 此示例在 bucket-test-01 存储桶中创建 test-file-01 文件。如果存在名称为 test-file-01 的现有文件，则会被覆盖。
将对象上传到存储桶	在 Configure connector task 对话框中，点击 Actions。 选择 UploadObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "Content": "Hello test!", "Bucket": "bucket-test-01", "ObjectName" : "test-file-01.txt" } 此示例在 bucket-test-01 存储桶中创建内容为 Hello test! 的 test-file-01.txt 文件。如果存在名称为 test-file-01.txt 的现有文件，则会被覆盖。
将对象上传到文件夹	在 Configure connector task 对话框中，点击 Actions。 选择 UploadObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "Content": "Hello test!", "Bucket": "bucket-test-01", "FolderPath": "folderA", "ObjectName": "test-file-01.txt" } 此示例在 bucket-test-01 的 folderA 文件夹中创建内容为 Hello test! 的 test-file-01.txt 文件。如果该文件夹中已存在名为 test-file-01.txt 的文件，则会被覆盖。
复制对象	在 Configure connector task 对话框中，点击 Actions。 选择 CopyObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "BucketSource": "bucket_01", "ObjectSource": "folderA/logfile.txt", "BucketDestination": "bucket_02", "ObjectDestination": "folderB/logfile.txt" } 此示例将 folderA/logfile.txt 文件从 bucket_01 复制到 bucket_02 中的 folderB/logfile.txt。 如果复制成功，connectorOutputPayload 字段中的输出将如下所示： { "Success": "true" }
移动对象	在 Configure connector task 对话框中，点击 Actions。 选择 MoveObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "BucketSource": "bucket_01", "ObjectSource": "folderA/logfile.txt", "BucketDestination": "bucket_02", "ObjectDestination": "folderB/logfile.txt" } 此示例将 folderA/logfile.txt 文件从 bucket_01 移动到 bucket_02 中的 folderB/logfile.txt。 如果复制成功，connectorOutputPayload 字段中的输出将如下所示： { "Success": "true" }
删除对象	在 Configure connector task 对话框中，点击 Actions。 选择 DeleteObject 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "BucketSource": "bucket_01", "ObjectSource": "logfile.txt" } 此示例从 bucket_01 中删除 logfile.txt 文件。 如果复制成功，connectorOutputPayload 字段中的输出将如下所示： { "Success": "true" }
为对象创建签名网址	在 Configure connector task 对话框中，点击 Actions。 选择 SignURL 操作，然后点击完成。 在连接器任务的任务输入部分，点击 connectorInputPayload，然后在 Default Value 字段中输入以下内容： { "Bucket": "bucket-test-01", "ObjectName" : "test-file-01.txt" } 此示例为 bucket-test-01 存储桶中的 test-file-01.txt 文件创建签名网址。如果操作成功，您将在响应中获得签名网址，类似于以下内容： { "Success": "true", "SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm= GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount.com %2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18 1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16 9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849 6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058 0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a 66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823 a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703 2ea7abedc098d2eb14a7" }

注意事项

• 可下载对象的大小上限为 10 MB。
• 您无法使用 UploadObject 操作上传多个文件。您只能上传单个文件。

使用 Terraform 创建连接

您可以使用 Terraform 资源创建新连接。

如需了解如何应用或移除 Terraform 配置，请参阅基本 Terraform 命令。

如需查看用于创建连接的 Terraform 模板示例，请参阅模板示例。

使用 Terraform 创建此连接时，您必须在 Terraform 配置文件中设置以下变量：

参数名称	数据类型	必需	说明
project_id	STRING	正确	数据所在的 Google Cloud 项目的 ID。

在集成中使用 Cloud Storage 连接

创建连接后，该连接将在 Apigee Integration 和 Application Integration 中可用。您可以通过“连接器”任务在集成中使用该连接。

• 如需了解如何在 Apigee Integration 中创建和使用连接器任务，请参阅连接器任务。
• 如需了解如何在 Application Integration 中创建和使用连接器任务，请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Google Cloud 社区的 Cloud 论坛中发布您的问题以及讨论此连接器。

后续步骤

• 了解如何暂停和恢复连接。
• 了解如何监控连接器使用情况。
• 了解如何查看连接器日志。