您可以使用 Knowledge Catalog 搜索和管理 Firestore 资源。Knowledge Catalog 是一个可用于存储、管理和访问元数据的平台。您可以使用 Knowledge Catalog 分析 Firestore 元数据,并帮助完成以下任务:
- 分析,包括依赖关系和针对应用场景的适用性
- 变更管理
- 架构演变
Knowledge Catalog 在新的和现有的 Firestore 数据库中默认处于启用状态,并会自动检索以下元数据:
| 资源 | 类型 | 字段 |
|---|---|---|
| 数据库 | 控制平面 |
|
| 数据库架构 | 数据平面 |
|
准备工作
如需将 Knowledge Catalog 数据分析与 Firestore 搭配使用,您必须先拥有 Firestore 数据库。如需了解详情, 请参阅创建和管理数据库。
访问搜索结果所需的角色
如需在 Knowledge Catalog 中搜索和查看 Firestore 元数据,主账号必须拥有查看 Firestore 资源的权限,包括
dataplex.projects.search 权限。
如需向主账号(例如用户、
组或服务账号)授予这些权限,请向其分配包含 Firestore
资源的项目的
Cloud Datastore Viewer (roles/datastore.viewer)
IAM 角色。
| Knowledge Catalog 操作 | Firestore 资源 | 所需的角色或权限 |
|---|---|---|
| 搜索 Firestore 资源 | 数据库 | datastore.databases.getMetadata |
| 数据库架构 | datastore.schemas.get |
如需详细了解如何授予角色,请参阅 管理访问权限。 如需详细了解 Firestore IAM 角色,请参阅 Firestore 角色和权限。
搜索条目所需的角色
要搜索条目,您需要在用于搜索的项目中至少拥有下列一个 IAM 角色:
- Dataplex Catalog Admin (
roles/dataplex.catalogAdmin) - Dataplex Catalog Editor (
roles/dataplex.catalogEditor) - Dataplex Catalog Viewer (
roles/dataplex.catalogViewer)
搜索结果的权限检查独立于所选项目。如需了解详情,请参阅 使用 Knowledge Catalog 搜索数据资产。
元数据发现类型
Knowledge Catalog 元数据发现是一个自动化过程,该过程会扫描已连接的数据源(例如 Firestore)以识别数据资产(例如集合和数据库),并将其技术元数据(例如架构、说明和位置)提取到 Knowledge Catalog 目录中。此进程会定期运行,以使目录与源系统保持同步。
关键字搜索和自然语言搜索
Knowledge Catalog 支持关键字搜索和自然语言搜索。
- 借助关键字搜索,您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如,您可以输入
system=Firestore AND type=Database以查看所有 Firestore 数据库。 - 自然语言搜索(预览版)使用 AI 来理解语义查询。借助它,您可以使用日常语言查找资源,无需使用复杂的语法。例如,您可以输入
List all Firestore databases related to sales等查询内容。
如需了解详情, 请参阅 Knowledge Catalog 的搜索语法。
示例:发现 Firestore 合集组架构
为了解元数据发现过程,不妨考虑一个名为 user-firestore-database 的 Firestore
数据库。在此数据库中,您有一个名为 user-schema 的合集组架构。
发现完成后,您可以在控制台的 Knowledge Catalog 页面中或使用 Knowledge Catalog API 搜索这些资产(user-firestore-database
和 user-schema)。
Google Cloud 然后,您可以查看有关资产的详细信息,并使用其他业务或运营元数据丰富这些资产。
使用切面丰富元数据
切面类型是可重复使用的资源,可用作切面的模板。切面类型可帮助您避免重复性工作和不完整的切面。 您可以使用 Knowledge Catalog 创建所需的切面类型。
创建自定义切面类型后,您可以将切面关联到 Firestore 资源。将切面关联到资源后,您可以执行以下操作:
- 将业务元数据添加到资产
- 按业务元数据和其他自定义元数据搜索资产
如需详细了解如何创建切面类型并将切面附加到 Firestore, 请参阅管理切面并丰富元数据。
搜索 Firestore 资产
使用 Google Cloud 控制台 中的 Knowledge Catalog 搜索页面可搜索 Firestore 资产。
前往 Knowledge Catalog 搜索 页面。
在过滤条件 面板中,点击系统 ,然后选择 Firestore 。
可选。在类型别名 中,您可以通过选择以下一种或多种类型别名,将搜索结果过滤为 特定类型的 Firestore 资产:
- 数据库
- 数据库架构
- 其他
使用查询执行关键字搜索
您可以使用 Knowledge Catalog 中的搜索字段执行关键字搜索查询。例如,您可以输入
system=Firestore AND type=Database 以查看所有 Firestore 数据库。
如需了解详情, 请参阅 Knowledge Catalog 的搜索语法。
如需查看所有 Firestore 资产,请输入 system=Firestore。您可以输入特定关键字。例如,如需查看所有
Firestore 数据库,请输入以下查询:
system=Firestore AND type=Database
您还可以使用复杂的括号和逻辑运算符 AND 和 OR 来表示复杂表达式。如需详细了解可在
搜索字段中使用的表达式,请参阅Knowledge Catalog 的搜索语法。
您可以直接在搜索字段中输入用于特定 Firestore 资产的搜索查询。查询字符串的格式如下:
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
替换以下内容:
QUERY_STRING:请使用以下列表根据您要查询的 Firestore 资产类型来确定查询字符串:firestore-databasefirestore-schema
示例查询可能如下所示:
type="projects/1234567890/locations/global/entryTypes/firestore-schema"
按切面类型搜索
Knowledge Catalog 包含一些内置的切面类型,您可以使用这些切面类型执行搜索。
如需按方面类型进行搜索,请按以下步骤操作:
- 在切面 面板中,点击添加更多切面类型 菜单。
- 输入
Firestore,然后选择一个或多个以下切面类型,以将搜索结果限制为该类型。- Firestore 数据库
- Firestore 架构
- 点击确定 。
- 在结果表中,点击资产的名称以查看该资产的元数据。
- 可选:优化或查看资产。您可以执行以下任一操作:
- 如需添加资产的富文本说明,请在概览中点击添加。
- 如需将某个切面附加到资产,请在切面 中点击添加 。
- 如需查看实例的成员数据库,请点击条目列表 标签页,然后点击在搜索结果中显示所有子条目 。
- 在条目详情中,查看资产的完整详情。点击条目名称可展开细目至其他条目。
Firestore 中的自然语言搜索
自然语言搜索(预览版)使用 AI 来理解语义查询。借助它,您可以使用日常语言查找资源,无需使用复杂的语法。例如,您可以输入
List all Firestore collections related to sales 等查询内容。
如需了解详情, 请参阅 Knowledge Catalog 的搜索语法。
Firestore 中的语法搜索
借助关键字搜索,您可以使用特定关键字、过滤条件和定义的语法来查找资源。例如,您可以输入 system=Firestore AND type=Database
以查看所有 Firestore 数据库。
如需了解详情, 请参阅 Knowledge Catalog 的搜索语法。
示例工作流:从数据库展开细目至架构
如需从数据库展开细目至架构,请按以下步骤操作:
前往 Knowledge Catalog 搜索 页面。
在过滤条件面板中,选择系统,然后选择Firestore。 或者,在搜索字段中输入
system=Firestore。选择数据库。
在 Firestore 详情 页面上,点击条目列表 标签页,然后点击在搜索结果中显示所有子条目 。
在 Firestore 数据库详情 页面上,点击条目列表 标签页,然后点击在搜索结果中显示所有子条目 。Knowledge Catalog 会显示数据库中的集合组。
选择合集组名称,然后在合集组详情 页面上,点击架构 以查看架构。
可选:如需向数据库添加某个切面类型,请点击添加切面 按钮。
价格
在 Knowledge Catalog 中存储 Firestore 技术元数据无需付费。 对于 API 调用和额外的业务元数据丰富化,适用标准 Knowledge Catalog 价格。如需了解详情,请参阅 Knowledge Catalog 价格页面。
限制
- 注入 10,000 个集合组后,查询结果会被截断。
- 在批量注入期间,数据库更新最多可能需要 48 小时才能反映在 Knowledge Catalog 中。
- 在实时注入期间,数据库更新最多可能需要 5 分钟才能反映在 Knowledge Catalog 中。
- 在实时注入期间,集合组不会更新。
- 在实时注入期间,合集组架构会更新,但此更新仅涵盖前 100 个顶级原始字段(按字母顺序排列)。其余架构信息会在实时注入后 24 到 48 小时内更新。
- 提取过程可能需要几分钟时间。