本文档介绍如何通过设置超时来限制任务和可运行对象的运行时间。或者,如果您希望可运行对象在其任务中的每个其他可运行对象运行完毕后立即完成,请改用 后台可运行对象 。
超时是指允许任务或可运行对象运行的时间量。Batch 通常不允许作业运行超过 14 天 并且不会为单个任务和 可运行对象设置默认超时。因此,单个任务或可运行对象通常可以运行长达 14 天,然后才会自动失败。但是,如果您的任务和可运行对象不打算运行这么长时间,此配置可能会导致意外的费用和延迟。为防止运行时间过长,您可以为任务和可运行对象设置超时。
准备工作
- 如果您之前未使用过 Batch,请查看 Batch 使用入门 ,并完成 项目和用户的前提条件,以启用 Batch。
-
如需获得创建作业所需的权限,请让您的管理员授予您以下 IAM 角色:
- Batch Job Editor (
roles/batch.jobsEditor) 项目的 - Service Account User (
roles/iam.serviceAccountUser) 在作业的服务账号上,默认情况下为默认 Compute Engine 服务账号
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
- Batch Job Editor (
设置超时
您可以为可运行对象、任务或两者都设置超时。可运行对象的超时指定了该可运行对象的最长运行时间。 任务的超时指定了该任务的最长运行时间,即其所有可运行对象的各个运行时间之和。 例如,如果一个任务有 3 个可运行对象,它们都同时运行 1 分钟,那么该任务的运行时间为 3 分钟,而不是 1 分钟。
如果您设置了重叠的超时(例如,同时为可运行对象和可运行对象的任务设置超时),则只需超过一个超时即可触发自动失败。例如,假设您将任务的超时设置为 60 秒,并将该任务的每个可运行对象的超时设置为 120 秒。然后,当其可运行对象的运行时间总和超过 60 秒时,此示例任务及其所有可运行对象都会失败,并且无法触发 120 秒的超时。
如需为作业的任务和可运行对象选择合适的超时, 请分析您之前运行的类似作业的日志,以确定类似工作负载的任务和 可运行对象的典型运行时间。
为任务设置超时
使用 Google Cloud CLI 或 REST API 来
创建一个作业,该作业
在 JSON 文件的 taskSpec 对象中
包含
maxRunDuration 字段:
{
"taskGroups": [
{
"taskSpec": {
...
"maxRunDuration": "TIMEOUT"
}
}
]
}
将 TIMEOUT 替换为您希望允许任务运行的最长秒数或分数部分。例如,255s。
为任务设置 255 秒超时的作业的 JSON 配置文件类似于以下内容:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"maxRunDuration": "255s"
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
如果任务的超时被超出,任务会自动失败,并且作业的状态事件和日志中的退出代码 50005 会指明超出的超时。如需详细了解超出的超时,请参阅
退出代码 50005 的问题排查文档。
为可运行对象设置超时
使用 Google Cloud CLI 或 REST API 来
创建一个作业,该作业
在 JSON 文件的 runnable 对象中
包含
timeout 字段:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
...
"timeout": "TIMEOUT"
}
]
}
}
]
}
将 TIMEOUT 替换为您希望允许可运行对象运行的最长秒数或分数部分。例如,3.5s。
为可运行对象设置 3.5 秒超时的作业的 JSON 配置文件类似于以下内容:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"timeout": "3.5s"
}
]
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
如果可运行对象的超时被超出,可运行对象会自动失败,并且作业的状态事件和日志中的退出代码 50005 会指明超出的超时。如需详细了解超出的超时,请参阅
退出代码 50005 的问题排查文档。