Administra los metadatos de los repositorios de Dataform con Knowledge Catalog

En este documento, se describe el uso de Knowledge Catalog para ver los metadatos de los repositorios de Dataform y anotarlos con aspectos.

Knowledge Catalog te permite almacenar y administrar tus metadatos. Los repositorios de Dataform están disponibles en Knowledge Catalog de forma predeterminada, sin ninguna configuración adicional. Knowledge Catalog recupera automáticamente los siguientes metadatos de los repositorios de Dataform:

  • Nombre del recurso de datos
  • Superior del recurso de datos
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto correspondiente Google Cloud
  • Fuente del repositorio de terceros
  • Cuenta de servicio

Antes de comenzar

  1. En la Google Cloud consola de, en la página del selector de proyectos, selecciona o crea un Google Cloud proyecto.

    Roles necesarios para seleccionar o crear un proyecto

    • Seleccionar un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crear un proyecto: Para crear un proyecto, necesitas el rol de creador de proyectos (roles/resourcemanager.projectCreator), que contiene el resourcemanager.projects.create permiso. Obtén más información para otorgar roles.

    Ir al selector de proyectos

  2. Habilitar la API de Dataplex

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

    Habilitar la API

  3. Asegúrate de tener los permisos de Identity and Access Management (IAM) necesarios.

Roles obligatorios

Para administrar repositorios de Dataform en Knowledge Catalog, necesitas los roles predefinidos de Dataform que te brindan acceso a los recursos de Dataform y los roles obligatorios de Knowledge Catalog.

Administra metadatos en Knowledge Catalog

Knowledge Catalog registra los repositorios de Dataform como entradas con los siguientes valores de entrada:

Grupo de entradas del sistema
El grupo de entradas del sistema para los repositorios de Dataform es @dataform. Para ver los detalles de las entradas del repositorio en Knowledge Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Ver detalles de un grupo de entradas en la documentación de Knowledge Catalog.
Tipo de entrada del sistema
El tipo de entrada del sistema para los repositorios de Dataform es dataform-repository. Para ver los detalles de los repositorios de Dataform, debes ver el tipo de entrada del sistema dataform-repository. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Ver detalles de un tipo de entrada en la documentación de Knowledge Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Ver detalles de una entrada en la documentación de Knowledge Catalog.

Buscar activos

Para obtener instrucciones sobre cómo buscar recursos de datos en Knowledge Catalog, consulta Busca recursos de datos en Knowledge Catalog en la documentación de Knowledge Catalog.

Anota repositorios

Para proporcionar contexto adicional a los repositorios de Dataform en Knowledge Catalog, puedes anotar entradas de Dataform con aspectos.

El tipo de aspecto del sistema para los repositorios de Dataform es dataform-repository.

Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Knowledge Catalog.

Limitaciones

La administración de repositorios de Dataform en Knowledge Catalog está disponible con las siguientes limitaciones:

  • No puedes ver ni administrar recursos de nivel de archivo de Dataform en Knowledge Catalog, por ejemplo, tablas o vistas.

Ubicaciones

Puedes usar Knowledge Catalog para administrar repositorios de Dataform desde todas las ubicaciones de Dataform.

Cuotas

La administración de repositorios de Dataform en Knowledge Catalog está sujeta a las cuotas y los límites de Knowledge Catalog.

Precios

La administración de repositorios de Dataform en Knowledge Catalog está sujeta a los precios de Knowledge Catalog.

¿Qué sigue?