查看 Knowledge Catalog 洞见
您可以使用 Knowledge Catalog 搜索和管理 Firestore 资源。Knowledge Catalog 是一个可用于存储、管理和访问元数据的平台。您可以使用 Knowledge Catalog 来分析 Firestore 元数据,并帮助完成以下任务:
- 分析,包括依赖关系和针对应用场景的适用性
- 变更管理
- 架构演变
Knowledge Catalog 在新的和现有的 Firestore 数据库中默认处于启用状态,并会自动检索以下元数据:
| 资源 | 类型 | 字段 |
|---|---|---|
| 数据库 | 控制平面 |
|
| 数据库架构 | 数据平面 |
|
准备工作
如需将 Knowledge Catalog 数据分析与 Firestore 搭配使用,您必须先拥有一个 Firestore 数据库。如需了解详情,请参阅创建和管理数据库。
访问搜索结果所需的角色
如需在 Knowledge Catalog 中搜索和查看 Firestore 元数据,正文必须拥有查看 Firestore 资源的权限,包括 dataplex.projects.search 权限。
如需向主账号(例如用户、组或服务账号)授予这些权限,请向其分配包含 Firestore 资源的项目的 Cloud Datastore Viewer (roles/datastore.viewer) IAM 角色。
| Knowledge Catalog 操作 | Firestore 资源 | 所需的角色或权限 |
|---|---|---|
| 搜索 Firestore 资源 | 数据库 | datastore.databases.getMetadata |
| 数据库架构 | datastore.schemas.get |
如需详细了解如何授予角色,请参阅管理访问权限。 如需详细了解 Firestore IAM 角色,请参阅 Firestore 角色和权限。
搜索条目所需的角色
要搜索条目,您需要在用于搜索的项目中至少拥有下列一个 IAM 角色:
- Dataplex Catalog Admin (
roles/dataplex.catalogAdmin) - Dataplex Catalog Editor (
roles/dataplex.catalogEditor) - Dataplex Catalog Viewer (
roles/dataplex.catalogViewer)
搜索结果的权限检查独立于所选项目。如需了解详情,请参阅使用 Knowledge Catalog 搜索数据资产。
元数据发现类型
Knowledge Catalog 元数据发现是一个自动化流程,用于扫描已连接的数据源(如 Firestore),以识别数据资产(如集合和数据库),并将其技术元数据(如架构、说明和位置)提取到 Knowledge Catalog 目录中。此进程会定期运行,以使目录与源系统保持同步。
关键字搜索和自然语言搜索
Knowledge Catalog 支持关键字搜索和自然语言搜索。
- 借助关键字搜索,您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如,您可以输入
system=Firestore AND type=Database以查看所有 Firestore 数据库。 - 自然语言搜索(预览版)使用 AI 来理解语义查询。借助它,您可以使用日常语言查找资源,无需使用复杂的语法。例如,您可以输入
List all Firestore databases related to sales等查询内容。
如需了解详情,请参阅 Knowledge Catalog 的搜索语法。
示例:发现 Firestore 合集组架构
为了解元数据发现过程,不妨考虑一个名为 user-firestore-database 的 Firestore 数据库。在此数据库中,您有一个名为 user-schema 的合集组架构。
发现完成后,您可以在Google Cloud 控制台的 Knowledge Catalog 页面中或使用 Knowledge Catalog API 搜索这些资产(user-firestore-database 和 user-schema)。然后,您可以查看有关这些资产的详细信息,并使用其他业务或运营元数据丰富这些资产。
使用切面丰富元数据
切面类型是可重复使用的资源,可用作切面的模板。切面类型可帮助您避免重复性工作和不完整的切面。您可以使用 Knowledge Catalog 创建所需的切面类型。
创建自定义切面类型后,您可以将切面关联到 Firestore 资源。通过将切面关联到资源,您可以执行以下操作:
- 将业务元数据添加到资产
- 按业务元数据和其他自定义元数据搜索资产
如需详细了解如何创建切面类型并将切面附加到 Firestore,请参阅管理切面并丰富元数据。
搜索 Firestore 资源
使用 Google Cloud 控制台中的 Knowledge Catalog 搜索页面可搜索 Firestore 资产。
前往 Knowledge Catalog 搜索页面。
在过滤条件面板中,点击系统,然后选择 Firestore。
可选。在类型别名中,您可以通过选择以下一种或多种类型别名,将搜索结果过滤为特定类型的 Firestore 资产:
- 数据库
- 数据库架构
- 其他
使用查询执行关键字搜索
您可以使用 Knowledge Catalog 中的搜索字段执行关键字搜索查询。例如,您可以输入 system=Firestore AND type=Database 以查看所有 Firestore 数据库。
如需了解详情,请参阅 Knowledge Catalog 的搜索语法。
如需查看所有 Firestore 资产,请输入 system=Firestore。您可以输入特定关键字。例如,如需查看所有 Firestore 数据库,请输入:
system=Firestore AND type=Database
您还可以使用复杂的括号和逻辑运算符 AND 和 OR 来表示复杂表达式。如需详细了解可在搜索字段中使用的表达式,请参阅 Knowledge Catalog 的搜索语法。
您可以直接在搜索字段中输入用于特定 Firestore 资产的搜索查询。查询字符串的格式如下:
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
替换以下内容:
QUERY_STRING:请使用以下列表根据您要查询的 Firestore 资产类型来确定查询字符串:firestore-databasefirestore-schema
示例查询可能如下所示:
type="projects/1234567890/locations/global/entryTypes/firestore-schema"
按切面类型搜索
Knowledge Catalog 包含一些内置的切面类型,您可以使用这些切面类型执行搜索。
如需按方面类型进行搜索,请按以下步骤操作:
- 在切面面板中,点击添加更多切面类型菜单。
- 输入
Firestore,然后选择以下一个或多个切面类型,以将搜索结果限制为该类型。- Firestore 数据库
- Firestore 架构
- 点击确定。
- 在结果表中,点击资产的名称以查看该资产的元数据。
- 可选:优化或查看资产。您可以执行以下任一操作:
- 如需添加资产的富文本说明,请在概览中点击添加。
- 如需将某个切面附加到资产,请在切面中点击添加。
- 如需查看实例的成员数据库,请点击条目列表标签页,然后点击在搜索结果中显示所有子条目。
- 在条目详情中,查看资产的完整详情。点击条目名称可展开细目至其他条目。
Firestore 中的自然语言搜索
自然语言搜索(预览版)使用 AI 来理解语义查询。借助它,您可以使用日常语言查找资源,无需使用复杂的语法。例如,您可以输入 List all Firestore collections related to sales 等查询内容。
如需了解详情,请参阅 Knowledge Catalog 的搜索语法。
Firestore 中的语法搜索
借助关键字搜索,您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如,您可以输入 system=Firestore AND type=Database 以查看所有 Firestore 数据库。
如需了解详情,请参阅 Knowledge Catalog 的搜索语法。
工作流示例:从数据库展开细目至架构
如需从数据库下钻到架构,请按以下步骤操作:
前往 Knowledge Catalog 搜索页面。
在过滤条件面板中,选择系统,然后选择 Firestore。或者,在搜索字段中输入
system=Firestore。选择数据库。
在 Firestore 详情页面上,点击条目列表标签页,然后点击在搜索结果中显示所有子条目。
在 Firestore 数据库详情页面上,点击条目列表标签页,然后点击在搜索结果中显示所有子条目。Knowledge Catalog 会显示数据库中的集合组。
选择合集组名称,然后在合集组详情页面上,点击架构以查看架构。
可选:如需向数据库添加某个切面类型,请点击添加切面按钮。
价格
在知识目录中存储 Firestore 技术元数据无需付费。对于 API 调用和额外的业务元数据丰富化,适用标准知识目录价格。如需了解详情,请参阅知识目录价格页面。
限制
- 在提取 10,000 个集合组后,查询结果会被截断。
- 在批量提取期间,数据库更新最多可能需要 48 小时才能反映在 Knowledge Catalog 中。
- 在实时提取期间,数据库更新最多可能需要 5 分钟才能反映在 Knowledge Catalog 中。
- 在实时提取期间,系统不会更新集合组。
- 在实时注入期间,系统会更新合集组架构,但此更新仅涵盖前 100 个顶级原始字段(按字母顺序排列)。其余架构信息会在实时注入后 24 到 48 小时内更新。
- 提取过程可能需要几分钟时间。