借助 Knowledge Studio 丰富任务,您可以自动记录数据的业务含义,以便 AI 应用可以准确查询数据,而不会产生幻觉。这些任务会使用 AI 扫描您的标准操作流程 (SOP)、代码库和用户互动,提取为 AI 智能体提供依据所需的业务逻辑。
准备工作
在创建丰富化任务之前,请先满足以下前提条件。
了解相关概念
在运行丰富任务之前,我们建议您先熟悉丰富架构的核心组件:
如需简要了解 Knowledge Studio 智能体如何自动生成元数据,请参阅关于丰富任务。
如需简要了解元数据上下文如何为 AI 智能体提供依据并简化数据探索,请参阅数据上下文简介。
如需简要了解 Knowledge Catalog 层次结构(包括条目组、条目、切面和条目链接),请参阅元数据简介。
准备所需组件
在创建丰富任务之前,请确保您的环境已正确配置为进行 AI 丰富,如配置丰富任务的前提条件中所述。
准备好以下组件:
服务账号:具有所需角色的专用用户服务账号。在本文档中,我们将其称为执行服务账号,以区别于 Google 管理的 Knowledge Catalog 服务代理。扩充任务以此服务账号身份运行,并使用该服务账号读取来源和写入上下文集。
上下文集:用于保存丰富元数据的目标上下文集。上下文集还可用作要丰富化的素材资源的来源。 如果在设置期间未添加其他资源,则默认情况下,上下文集中的所有内容都会得到扩充。您还可以在任务设置期间创建一个空上下文集(如果不存在)。
要丰富的数据资源(可选):您要丰富但尚未包含在目标上下文集中的其他数据资产。在创建任务期间添加这些额外资源可丰富任务内容,并自动将其添加到目标上下文集中。这些资源可以包括 BigQuery 数据集、表或 Lakehouse 资产,并且必须已存在。
知识信号(可选):如果您计划为 AI 智能体提供文档或模型以供学习,请确保准备好 Cloud Storage 存储桶、设置
.jsonl评估数据集的格式,或为第三方来源网址设置 OAuth。轨迹日志(可选):如果您打算启用智能体自学习功能,则必须配置智能体轨迹,方法是设置限定范围的日志视图或 BigQuery Agent Analytics 表,以便智能体从中学习历史互动。
数据分析和数据洞见(推荐):为了提高生成的元数据建议的质量,请在运行任务之前,对常用目标表启用数据分析和 AI 数据洞见。如需了解详情,请参阅配置丰富任务的前提条件。
所需的角色
如需设置和运行丰富化任务,不同的身份需要特定权限。
最终用户
如需创建和管理丰富任务,您必须拥有以下必需角色。
创建、修改、运行和取消丰富任务
为确保您拥有创建、修改、运行和取消丰富化任务所需的权限,请让管理员为您授予项目的以下 IAM 角色:
-
如需授予所需权限,请执行以下操作:
Dataplex DataScan Editor (
roles/dataplex.dataScanEditor)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含创建、修改、运行和取消丰富任务所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需创建、修改、运行和取消丰富化任务,您需要具备以下权限:
-
创建丰富化任务:
dataplex.agentTasks.create -
查看数据丰富化任务:
dataplex.agentTasks.get -
列出数据丰富化任务:
dataplex.agentTasks.list -
删除数据丰富化任务:
dataplex.agentTasks.delete -
更新丰富化任务:
dataplex.agentTasks.update -
运行丰富化任务:
dataplex.agentTasks.run -
取消丰富化任务:
dataplex.agentTasks.cancel
您的管理员也可以使用自定义角色或其他预定义角色向您授予这些权限。
将执行服务账号附加到丰富任务配置
为确保您拥有将执行服务账号附加到丰富任务配置所需的权限,请让您的管理员在执行服务账号上向您授予以下 IAM 角色:
-
授予所需权限:Service Account User (
roles/iam.serviceAccountUser)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含将执行服务账号附加到丰富任务配置所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需将执行服务账号附加到丰富任务配置,您需要具有以下权限:
-
模拟服务账号:
iam.serviceAccounts.actAs
您的管理员也可以使用自定义角色或其他预定义角色向您授予这些权限。
执行服务账号
执行服务账号是运行和执行所有操作的丰富化任务的身份。
使用所需服务
为确保执行服务账号具有在执行丰富任务期间使用 API 所需的权限,请让您的管理员为包含丰富任务的项目中的执行服务账号授予以下 IAM 角色:
-
授予所需权限:
Service Usage Consumer (
roles/serviceusage.serviceUsageConsumer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含在执行丰富任务期间使用 API 所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
在执行丰富化任务期间,需要以下权限才能使用 API:
-
使用配额和服务:
serviceusage.services.use
您的管理员也可以使用自定义角色或其他预定义角色为执行服务账号授予这些权限。
查看和分析目标数据内容
如需确保执行服务账号拥有查看目标数据集内的数据内容并对其进行分析所需的权限,请让您的管理员为执行服务账号授予目标表的以下 IAM 角色:
-
授予所需权限:BigQuery Data Viewer (
roles/bigquery.dataViewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含查看和分析目标数据集内的数据内容所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
您需要具备以下权限才能查看目标数据集中的数据内容并对其进行分析:
-
查看数据集元数据:
bigquery.datasets.get -
查看表元数据:
bigquery.tables.get -
读取表数据:
bigquery.tables.getData
您的管理员也可以使用自定义角色或其他预定义角色为执行服务账号授予这些权限。
提议元数据并将其写入上下文集
如需确保执行服务账号具有向上下文集提议和写入元数据定义所需的权限,请让管理员为执行服务账号授予项目的以下 IAM 角色:
-
如需授予所需权限,请执行以下操作:Dataplex Catalog Editor (
roles/dataplex.catalogEditor) 和 Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含向上下文集提议和写入元数据定义所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需提议元数据定义并将其写入上下文集,您需要具备以下权限:
-
创建元数据条目:
dataplex.entries.create -
更新元数据条目:
dataplex.entries.update -
查看元数据条目:
dataplex.entries.get -
列出元数据条目:
dataplex.entries.list -
创建条目组:
dataplex.entryGroups.create -
更新条目组:
dataplex.entryGroups.update -
提议更改条目组:
dataplex.entryGroups.requestChanges
您的管理员也可以使用自定义角色或其他预定义角色为执行服务账号授予这些权限。
自动发布丰富内容(可选)
(可选)如果您在任务中启用了自动发布功能,请添加以下角色:
为确保执行服务账号具有自动批准和发布更改所需的权限,请让您的管理员为执行服务账号授予项目的以下 IAM 角色:
-
如需授予所需权限,请执行以下操作:Dataplex Workflow Approver (
roles/dataplex.workflowApprover)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含自动批准和发布更改所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需自动批准和发布更改,您需要具备以下权限:
-
使用变更请求:
dataplex.changeRequests.use
您的管理员也可以使用自定义角色或其他预定义角色为执行服务账号授予这些权限。
从轨迹日志中学习
(可选)如果您打算从现有轨迹日志中学习(自学习),请添加以下角色:
为确保执行服务账号具有从轨迹日志中读取历史互动的必要权限,请让管理员为执行服务账号授予 Gemini 应用所属项目的以下 IAM 角色:
-
如需授予所需权限,请使用以下角色:日志查看器 (
roles/logging.viewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含从轨迹日志中读取历史互动记录所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需从轨迹日志中读取历史互动记录,您需要具备以下权限:
-
访问日志视图:
logging.views.access -
读取日志条目:
logging.logEntries.list
您的管理员也可以使用自定义角色或其他预定义角色为执行服务账号授予这些权限。
(可选)如果您计划从 BigQuery Agent Analytics 表中学习,则执行服务账号还需要对 Agent Analytics 表拥有 BigQuery Data Viewer (roles/bigquery.dataViewer) 角色。
Dataplex Service Agent
Knowledge Catalog Service Agent 是一个 Google 代管式服务账号,Knowledge Catalog 使用该账号代表您执行后端操作,例如在扩充运行期间模拟您的执行服务账号,以及编排 BigQuery 分析作业。
Knowledge Catalog 服务代理使用以下电子邮件格式:
service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com
将 PROJECT_NUMBER 替换为您的 Google Cloud 项目编号。
模拟执行服务账号
为确保 Knowledge Catalog Service Agent 拥有模拟执行服务账号以运行任务所需的权限,请让您的管理员为 Knowledge Catalog Service Agent 授予执行服务账号的以下 IAM 角色:
-
授予所需权限:Service Account Token Creator (
roles/iam.serviceAccountTokenCreator)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含模拟执行服务账号以运行任务所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需模拟执行服务账号来运行任务,您需要具有以下权限:
-
生成访问令牌:
iam.serviceAccounts.getAccessToken -
生成 OpenID 令牌:
iam.serviceAccounts.getOpenIdToken -
为 JWT 签名:
iam.serviceAccounts.signJwt -
对 BLOB 进行签名:
iam.serviceAccounts.signBlob
您的管理员也可以使用自定义角色或其他预定义角色向 Knowledge Catalog Service Agent 授予这些权限。
执行 BigQuery 分析并读取查询历史记录
如需确保 Dataplex Service Agent 拥有执行后端 BigQuery 分析和读取表查询历史记录所需的权限,请让您的管理员为 Dataplex Service Agent 授予项目的以下 IAM 角色:
-
如需授予所需权限,请执行以下操作:BigQuery Resource Viewer (
roles/bigquery.resourceViewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色可提供执行后端 BigQuery 性能分析和读取表查询历史记录所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
您需要具备以下权限才能执行后端 BigQuery 分析和读取表查询历史记录:
-
查看数据集元数据:
bigquery.datasets.get -
查看表元数据:
bigquery.tables.get -
读取表数据:
bigquery.tables.getData -
列出 BigQuery 作业:
bigquery.jobs.list -
查看基本资源元数据:
resourcemanager.projects.get
您的管理员也可以使用自定义角色或其他预定义角色为 Dataplex Service Agent 授予这些权限。
打开 Knowledge Studio 工作区
如需打开任务创建向导,请执行以下步骤:
在 Google Cloud 控制台中,前往 Knowledge Studio 页面。
在左侧导航窗格中,选择丰富。
点击 + 创建丰富任务。
为数据丰富化任务命名
在定义窗格中,执行以下步骤:
- 在显示名称字段中,为任务提供一个描述性名称(例如
Finance Dataset enrichment)。 - 在任务 ID 字段中,提供唯一 ID 或使用自动生成的 ID。
在目标字段中,描述丰富任务的目标,以指导提取过程。提供自然语言指南,详细说明此上下文集的业务使命和 AI 功能目标。
例如:
Curate and maintain the authoritative context set for the `subscription_revenue` domain. Focus on resolving metric discrepancies between `gross_sales`, `net_billed_revenue`, and `discount_applied`. Ensure all customer join keys (e.g. `customer_id`, `subscription_fk`) have explicit column documentation, and establish parameterized query templates for Monthly Recurring Revenue (MRR) and Churn Rate calculations.点击继续。
配置丰富化任务参数
范围指定了要丰富的内容以及智能体读取的内容。
在范围窗格中,执行以下步骤:
在项目字段中,选择包含上下文集的项目。
在情境集字段中,选择任务要丰富并保存其结果的情境集。
您的丰富任务会继承您选择的上下文集的 Google Cloud 区域。
如果您没有上下文集,请点击创建新的上下文集。
如需详细了解如何创建上下文集,请参阅创建上下文集。
可选:在要扩充的资源部分中,添加除上下文集之外要扩充的 BigQuery 或 Lakehouse 资源。
您添加的所有资源都必须与您选择的上下文集位于同一区域。多区域位置(例如
us)可成功匹配该位置中的单区域(例如us-central1)。不匹配的区域会导致任务创建失败。如果您选择空上下文集,并且未在此部分中添加任何其他资源,Knowledge Studio 会显示警告。如果您使用此配置运行任务,它会根据您的说明生成语义知识库,但不会丰富任何条目。
输入目标数据资产的完整资源名称。
例如:
BigQuery 表:
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_IDLakehouse 资产:
//dataplex.googleapis.com/projects/PROJECT_ID/locations/LOCATION/lakes/LAKE_ID/zones/ZONE_ID/assets/ASSET_ID
或者,如需直观地选择资源,请执行以下步骤:
- 点击浏览,打开选择来源对话框。
- 如需从最近使用的资源中进行选择,请点击最近标签页,然后选择要添加的资源。
- 如需浏览或搜索所有资源,请点击全部标签页,然后执行以下操作:
- 在搜索字段中,输入 BigQuery 或 Lakehouse 资源的搜索字词。
- 在资源树中,展开项目和数据集层次结构,找到您的资源。
- 选中一个或多个资源旁边的复选框。您可以在右侧窗格中预览所选资源的架构和详细信息。
- 点击确认。
如需添加更多资源,请使用英文逗号分隔资源名称。
可选:在知识信号部分,将 AI 智能体连接到其他来源,以便读取上下文。这些资源为只读,不会被丰富。
- Cloud Storage 存储桶:输入存储桶名称,或点击浏览搜索存储桶。每输入一个存储桶名称后,请按 Enter 键、英文逗号或空格键。该任务需要整个存储桶;您无法将其配置为仅读取单个文件。
术语表:输入术语表名称,或点击浏览搜索术语表。每输入一个术语表名称后,请按 Enter 键、英文逗号或空格键。
确保所有关联的术语表都位于与您的扩充任务和上下文集完全相同的区域(例如
us-central1)。从无效的多区域位置(例如us)添加术语表会导致任务创建失败。外部来源:如需连接 Google Workspace、Microsoft SharePoint、GitHub 或 Atlassian Confluence 等第三方平台,您可以单独配置这些平台,也可以提供 YAML 配置文件。
如需使用 YAML 文件配置来源,请执行以下操作:
- 在来源配置文件(可选)字段中,点击浏览,然后选择 YAML 文件。
如需手动配置来源,请执行以下操作:
- 在关联的来源下,点击要配置的平台旁边的设置。
- 在来源网址字段中,输入文档、代码库或空间的网址,然后在每个网址后按 Enter 键或英文逗号。
如果平台需要身份验证(例如 GitHub、Atlassian 或 Microsoft),请执行以下操作来附加凭据:
- 点击 + 添加连接。
- 在新建连接窗格中,在身份验证提供方字段中输入身份验证提供方的完整资源名称。请使用以下格式:
projects/PROJECT_ID/locations/LOCATION/authProviders/PROVIDER_NAME - 在 URI 格式下,点击 + 添加 URI 格式,以指定此凭证有权访问哪些网址。您可以将星号 (
*) 用作通配符(例如https://github.com/test-org/*)。 - 点击完成。
Google Workspace 资源会直接使用任务的执行服务账号 IAM 权限进行连接,因此不需要身份验证提供方连接。
点击继续。
配置评估和自学习
此部分为可选。在改进窗格中,执行以下步骤:
可选:在评估部分中,配置以下字段:
如需详细了解如何设置评估和精选数据集的格式,请参阅数据集架构要求。
评估集:如需衡量建议的上下文更改的影响,请输入 Cloud Storage URI 或点击浏览以选择
.jsonl文件。精选集:如需提供一组种子问题以进行迭代优化,请输入 Cloud Storage URI 或点击浏览以选择
.jsonl文件。
可选:在发布部分中,指定发布节奏:
启用自动发布功能后,自动批准的元数据更改会直接写入上下文集。停用后,富化运行会生成草稿修改,人工审核者必须先批准这些修改,然后才能将其合并到代码库中。
如需在将元数据合并到生产上下文集之前要求人工审核,请清除启用自动发布复选框。
如需自动发布达到高质量阈值的更改,请选中启用自动发布复选框。使用自动发布高于以下置信度得分的更改滑块,设置更改自动生效所需的最低置信度得分(例如 85%)。如果配置了评估数据集,您还可以使用质量下降上限滑块,在智能体性能下降(例如 -5%)时安全地限制发布。任何不符合这些阈值的提案都会作为更改请求排队等待人工审核。
可选:如需在实际代理对话中查找差距并使上下文保持最新,请在自学部分中选择启用自学切换开关。
可选:如果您启用了自学功能,请在学习来源部分下添加以下任一来源:
Gemini Enterprise 应用:在项目 ID 列表中,选择相应项目。在 Gemini Enterprise 应用列表中,选择生成对话跟踪记录的应用,然后点击完成。
您可以添加多个 Gemini Enterprise 应用。
为了优化这些扩充和自学习功能,我们建议在 Gemini Enterprise 应用中指定 Gemini 3.8 Flash 或更高版本的模型。如需详细了解模型选择步骤,请参阅在 Agent Studio 中设计代理中的“使用流构建器创建代理”部分。
BigQuery Agent Analytics:在表字段中,输入包含智能体对话事件的表的名称,或点击浏览以直观地选择该表,然后点击完成。
您可以添加多个表。
点击继续。
配置运行设置
在运行窗格中,执行以下步骤:
- 在运行身份部分中,点击用户服务账号列表,然后选择任务用于读取来源和写入上下文集的身份。确保这是在准备工作中配置的身份。
- 在触发器下,选择触发条件:
- 按需:仅在您点击“运行”时运行。
- 预定:按重复的时间表自动运行。
- 可选:在通知下,点击 + 添加收件人,指定最多五个电子邮件地址,以便在每次运行后接收报告。
- 在摘要窗格中验证参数,然后点击创建。
您的新丰富化任务已保存。根据您的触发器设置,任务要么等待其首次计划执行,要么准备立即运行。任务完成执行运行后,代理会将生成的 AI 元数据提案排入变更请求队列,供您审核。