部署大小
在部署 Manufacturing Data Engine (MDE) 之前,您需要选择部署规模。本页概述了可用的尺寸及其特征。这些是一般建议,可能并不适合所有使用情形。对于生产部署,请考虑使用根据您的具体需求量身定制的自定义大小。
尺寸
MDE 提供四种不同的尺寸:
- Pilot:最便宜的选项,适用于小型测试和概念验证。此部署规模不包含以下组件(所有其他规模均包含这些组件):
- Bigtable
- Bigtable Dataflow writer
- 事件更改 Dataflow 转换
- 窗口 Dataflow 转换
- 小:适用于每秒最多发送 1,000 条消息的小型项目。
- 中等:适用于预计每秒最多发送 2 万条消息的中等项目。
- 大型:适用于预计每秒最多发送 10 万条消息的大型项目。
如果需要,MDE 可通过自定义大小来支持更高的吞吐量。如果您需要处理比所含规模更高的吞吐量,请与 MDE 团队联系以获取建议。
尺寸详情
下表详细介绍了尺寸。此配置存储在文件 terraform/modules/infrastructure/variables.tf 和 terraform/modules/deployment/variables.tf 中的 mde_size_details 变量中,并且可以根据需要进行覆盖。
| 测试 | 小 | 中 | 大 | |
|---|---|---|---|---|
| 每秒最大消息数 | 300 | 1000 | 20000 | 100000 |
| GKE | ||||
| CIDR Pod | /19 个 pod | /17 个 pod | /17 个 pod | /17 个 pod |
| CIDR 服务 | /22 项服务 | /22 项服务 | /22 项服务 | /22 项服务 |
| 计算类 | 正常 | 正常 | 横向扩容 | 横向扩容 |
| message-mapper 最大副本数 | 1 | 5 | 50 | 200 |
| 配置管理器最大副本数 | 1 | 5 | 50 | 200 |
| metadata-manager 最大副本数 | 1 | 5 | 50 | 200 |
| bigquery-sink 最大副本数 | 1 | 5 | 50 | 200 |
| 联合 API 最大副本数 | 1 | 2 | 5 | 10 |
| SQL | ||||
| machineType | db-custom-1-3840 | db-custom-2-7680 | db-custom-16-30720 | db-custom-32-61440 |
| max_connections 标志 | 500 | 500 | 1000 | 4000 |
| Redis | ||||
| 层级 | 基本 | 标准 | 标准 | 标准 |
| 内存 | 1Gb | 5Gn | 20Gb | 40Gb |
| 读取副本 | 0 | 1 | 2 | 5 |
| Dataflow | ||||
| GCSWriter 机器类型 | n1-standard-1 | n1-standard-2 | n1-standard-4 | n1-highmem-4 |
| GCSWriter 工作器数量上限 | 1 | 1 | 5 | 10 |
| Bigtable Writer 机器类型 | 不适用 | n1-standard-2 | n1-standard-4 | n1-standard-4 |
| Bigtable Writer 的工作器数量上限 | 不适用 | 1 | 3 | 5 |
| GCSReader 机器类型 | 不适用 | n1-standard-2 | n1-standard-4 | n1-standard-4 |
| GCSReader 工作器数量上限 | 不适用 | 1 | 1 | 2 |
| EventChange 机器类型 | 不适用 | n1-standard-2 | n1-standard-4 | n1-highmem-4 |
| EventChange max workers | 不适用 | 1 | 2 | 2 |
| 窗口机器类型 | 不适用 | n1-standard-2 | n1-standard-4 | n1-highmem-4 |
| 窗口工作器数量上限 | 不适用 | 1 | 2 | 2 |
| Bigtable | ||||
| 节点数上限 | 不适用 | 1 | 3 | 5 |
如需详细了解如何增加 CPU 配额,请参阅 CPU 配额文档。
限制和建议
我们建议您在 Pilot 和 Small 大小的部署中创建不超过 100 种类型,在 Medium 和 Large 大小的部署中创建不超过 500 种类型。
这不是硬性限制,MDE 可以支持更多类型。如果您需要支持更多类型的资源,请与 MDE 团队联系,以获取有关进行必要 Terraform 修改的帮助。