本文档介绍了运行 Batch 作业的 Compute Engine 虚拟机 (VM) 实例的操作系统 (OS) 环境(启动磁盘和 OS 映像)的相关概念。
作业通过运行每个虚拟机的启动磁盘上的指令来执行。每个启动磁盘都包含引导加载程序、文件系统和操作系统。您可以选择性地通过以下任一方式为作业配置虚拟机操作系统环境:
- 如需仅配置启动磁盘上的软件,请指定作业的虚拟机操作系统映像。
- 如需配置启动磁盘的任何属性(包括虚拟机操作系统映像、磁盘大小和/或磁盘类型),请自定义作业的启动磁盘。
以下部分介绍了何时配置操作系统环境、默认操作系统环境、虚拟机操作系统映像选项和启动磁盘选项。
何时配置操作系统环境
请查看本部分,以确定在创建作业时是否配置虚拟机操作系统映像和/或启动磁盘,或者是否使用默认配置。
在以下情况下,为作业配置虚拟机操作系统映像:
如果可信映像 (
compute.trustedImageProjects) 政策限制阻止您使用默认虚拟机操作系统映像创建作业。如需详细了解可信映像政策限制条件,请参阅控制对 Batch 的虚拟机操作系统映像的访问权限。
如果您不想或无法为作业使用默认的虚拟机操作系统映像。例如,如果您为作业定义的可运行对象需要默认映像不支持的应用,您或许可以指定其他公共虚拟机操作系统映像。或者,如果您想预安装作业所需的应用以缩短运行时,不妨创建并指定自定义映像。
在以下情况下,为作业配置启动磁盘:
- 如果您不想或无法使用作业的默认启动磁盘,请指定此参数。 例如,如果您为作业定义的可运行文件或虚拟机操作系统映像需要启动磁盘上的额外存储空间,则可能需要自定义作业的启动磁盘以增加其大小。
如果您仍不确定自己的作业是否需要配置虚拟机操作系统映像和/或启动磁盘,可以查看以下部分,了解默认配置。 此外,您还可以尝试使用默认配置创建并运行作业。如果作业在默认配置下失败,您可以尝试通过问题排查来确定问题是由虚拟机操作系统映像还是启动磁盘引起的。
否则,如果您不需要也不想为作业配置虚拟机操作系统映像和/或启动磁盘,请将这些属性保留为未定义状态,以便使用默认配置。
默认操作系统环境
请查看本部分,了解作业的虚拟机操作系统映像和启动磁盘的默认配置。例如,在确定如何为作业配置操作系统环境时,您可以使用默认配置作为参考。
创建作业时,如果您未定义虚拟机操作系统映像,作业会默认使用以下虚拟机操作系统映像之一:
- 如果作业仅包含容器可运行对象,则该作业会使用最新版本的 Batch Container-Optimized OS (COS) 映像。
- 否则,作业将使用最新版本的 Batch Debian 映像。
创建作业时,如果您未定义启动磁盘的其他属性,作业会默认使用以下选项:
永久性磁盘类型:启动磁盘的默认 Persistent Disk 类型为
pd-balanced。size:每个虚拟机的启动磁盘的默认大小由以下针对 \({defaultBootDiskSize}\)的公式确定。此外,默认大小会四舍五入,使其至少为 30 GB,最多为 10,000 GB。
\[{defaultBootDiskSize}={reservedSize}+({taskSize}*{parallelTasksPerVm})\]
此公式具有以下值:
\({reservedSize}\):为虚拟机的必需软件(例如虚拟机操作系统映像)预留的大小(以 GB 为单位)。对于默认启动磁盘大小,Batch 会预留 10 GB。
\({taskSize}\):每个任务的启动磁盘大小(以 GB 为单位),通过转换每个任务的启动磁盘大小 (
bootDiskMib) 字段的单位来确定。\({parallelTasksPerVM}\):可同时在虚拟机上运行的任务数量上限。如需了解详情,请参阅 \({parallelTasksPerVM}\)的公式。
接口:系统会根据作业虚拟机的机器类型自动选择 NVMe 或 SCSI 作为接口。您可以选择在定义作业要使用的资源类型时指定机器类型。如需了解每种机器类型的默认接口,请参阅 Compute Engine 文档中的存储接口类型。
虚拟机操作系统映像选项
以下部分介绍了 Batch 的虚拟机操作系统映像选项,包括 Batch 作业可以支持的所有类型的虚拟机操作系统映像,以及对受支持的虚拟机操作系统映像的限制。 为作业指定虚拟机操作系统映像时,您可以为限制允许的任何受支持的虚拟机操作系统映像指定映像名称或映像系列。
支持的虚拟机操作系统映像
批量作业可支持以下类型的虚拟机操作系统映像:
公共映像:由 Google、开源社区及第三方供应商提供和维护的映像。 具体而言,Batch 作业可以使用来自 Batch 或 Compute Engine 的公共映像。
Batch 映像:由 Batch 基于 Compute Engine 操作系统提供和维护的映像,存储在
batch-custom-image映像项目中,建议用于 Batch 作业。批量图片可在以下操作系统中使用。 从 Batch 中查看映像系列和映像名称时,操作系统会通过相应的前缀来指示。
Batch Debian(
batch-debian前缀):基于 Compute Engine 中的 Debian 映像的操作系统,专为 Batch 作业进行了优化。 对于具有任何脚本可运行对象的作业,此操作系统是默认操作系统。Batch Container-Optimized OS(
batch-cos前缀):基于 Compute Engine 的 Container-Optimized OS 映像的操作系统,专为运行容器的 Batch 作业进行了优化。对于仅包含容器可运行对象的作业,此操作系统是默认操作系统。
Batch 高性能计算 (HPC) Rocky Linux(
batch-hpc-rocky前缀):一种基于 Compute Engine 中的 HPC Rocky Linux 映像的操作系统,针对具有 HPC 工作负载的 Batch 作业进行了优化。Batch CentOS(
batch-centos前缀):基于 Compute Engine 中的 CentOS Linux 映像的操作系统,已针对 Batch 作业进行了优化。
- Batch 高性能计算 (HPC) CentOS(
batch-hpc-centos前缀):基于 Compute Engine 的 HPC CentOS 映像的操作系统,针对具有 HPC 工作负载的 Batch 作业进行了优化。
如需查看可为作业指定的 Batch 中的特定映像名称和系列,请按照相关步骤查看 Batch 中的虚拟机操作系统映像。
Compute Engine 映像:Compute Engine 上提供的公共映像,如 Compute Engine 文档的操作系统详情页面中所述。
Batch 仅支持以下操作系统提供的正式版 (GA) Compute Engine 映像:
自定义映像:您使用 Compute Engine 创建、拥有并控制其访问权限的映像。如需详细了解自定义映像,请参阅 Compute Engine 文档。
虚拟机操作系统映像的限制
作业可指定的受支持虚拟机操作系统映像受以下限制:
系统可能不支持标记为已弃用的批量图片。Batch 映像支持的最短生命周期为以下日期中最早的日期:
- 自图片开始日期起 60 天后。批量映像的开始日期在映像名称中指明,例如,
batch-cos-stable-official-20230719-00-p00映像的开始日期为 2023 年 7 月 19 日 (20230719)。 - 基本 Compute Engine 操作系统版本的弃用日期。 Compute Engine 文档的操作系统详细信息页面上列出了每个 Compute Engine 操作系统版本的弃用日期。
- 自图片开始日期起 60 天后。批量映像的开始日期在映像名称中指明,例如,
某些作业配置需要外部访问权限才能访问映像。 具体而言,如果作业没有外部访问权限,并且不允许通过 Cloud NAT 或专用 Google 访问通道进行访问,则仅支持以下映像:
- 对于使用 GPU 且仅使用可运行容器的作业,仅支持默认映像(最新的 Batch Container-Optimized OS 映像)。
- 否则,作业仅支持 Batch 映像。
如果可信映像政策限制条件处于启用状态,您将无法使用可信映像政策不允许的任何虚拟机操作系统映像。
项目、文件夹或组织的管理员可以选择配置可信映像政策限制条件,以限制可用于创建启动磁盘的虚拟机操作系统映像。例如,可使用“受信任的映像”政策限制来要求用户创建包含符合政策或安全要求的获准软件的虚拟机。如需了解详情,请参阅控制对 Batch 的虚拟机操作系统映像的访问权限。
作业的虚拟机操作系统映像必须安装了启动磁盘和任何永久性磁盘存储卷的接口驱动程序。大多数公共映像(包括所有 Batch 映像)都会自动安装 NVMe 和 SCSI 驱动程序。
您无法配置 Persistent Disk 的接口,因此虚拟机操作系统映像需要默认接口的驱动程序。
如果作业指定的任何虚拟机操作系统映像既不是 Batch 映像,也不是基于 Batch 映像的自定义映像,则 Batch 会在作业的虚拟机启动后在其上安装必需的软件包。这些必需软件包可能因作业配置而异,并且会随时间而变化,但它们是 Batch 运行作业所必需的。
启动磁盘选项
本部分介绍了 Batch 的启动磁盘类型和大小选项。为作业自定义启动磁盘时,您可以指定虚拟机操作系统映像、类型和/或大小。 如需了解如何指定虚拟机操作系统映像,请改为参阅本文档中的虚拟机操作系统映像选项。
对于启动磁盘类型,Batch 支持 Compute Engine 文档中的所有永久性磁盘类型。
对于启动磁盘大小,Batch 支持 Compute Engine 文档中满足以下要求的所有永久性磁盘大小和增量:
对于批处理作业,启动磁盘的最小大小为 30 GB。
为了使 Batch 作业正常运行,启动磁盘的大小必须足够大,才能分配作业的虚拟机操作系统映像以及在每个虚拟机上运行的任务。例如,请参阅本文档中的默认启动磁盘大小的公式。
后续步骤
- 详细了解作业的操作系统环境:
- 或者,如需创建使用默认操作系统环境的作业,请参阅创建和运行基本作业。