Administra los metadatos de los repositorios de Dataform con Knowledge Catalog

En este documento, se describe cómo usar Knowledge Catalog para ver los metadatos de los repositorios de Dataform y anotarlos con aspectos.

Knowledge Catalog te permite almacenar y administrar tus metadatos. Los repositorios de Dataform están disponibles en Knowledge Catalog de forma predeterminada, sin necesidad de configuración adicional. Knowledge Catalog recupera automáticamente los siguientes metadatos de los repositorios de Dataform:

  • Nombre del recurso de datos
  • Recurso de datos principal
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto Google Cloud correspondiente
  • Fuente del repositorio de terceros
  • Cuenta de servicio

Antes de comenzar

  1. En la consola de Google Cloud , en la página del selector de proyectos, selecciona o crea un proyecto de Google Cloud .

    Roles necesarios para seleccionar o crear un proyecto

    • Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

    Ir al selector de proyectos

  2. Habilitar la API de Dataplex

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

    Habilitar la API

  3. Asegúrate de tener los permisos de Identity and Access Management (IAM) necesarios.

Roles obligatorios

Para administrar repositorios de Dataform en Knowledge Catalog, necesitas los roles predefinidos de Dataform que te brindan acceso a los recursos de Dataform y los roles de Knowledge Catalog requeridos.

Administra metadatos en Knowledge Catalog

Knowledge Catalog registra los repositorios de Dataform como entradas con los siguientes valores de entrada:

Grupo de entrada del sistema
El grupo de entradas del sistema para los repositorios de Dataform es @dataform. Para ver los detalles de las entradas del repositorio en Knowledge Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Cómo ver los detalles de un grupo de entradas en la documentación de Knowledge Catalog.
Tipo de entrada del sistema
El tipo de entrada del sistema para los repositorios de Dataform es dataform-repository. Para ver los detalles de los repositorios de Dataform, debes ver el tipo de entrada del sistema dataform-repository. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Cómo ver los detalles de un tipo de entrada en la documentación de Knowledge Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Cómo ver los detalles de una entrada en la documentación de Knowledge Catalog.

Buscar activos

Para obtener instrucciones sobre cómo buscar recursos de datos en Knowledge Catalog, consulta Cómo buscar recursos de datos en Knowledge Catalog en la documentación de Knowledge Catalog.

Cómo anotar repositorios

Para proporcionar contexto adicional a los repositorios de Dataform en Knowledge Catalog, puedes anotar las entradas de Dataform con aspectos.

El tipo de aspecto del sistema para los repositorios de Dataform es dataform-repository.

Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Knowledge Catalog.

Limitaciones

La administración de repositorios de Dataform en Knowledge Catalog está disponible con las siguientes limitaciones:

  • No puedes ver ni administrar los activos a nivel de archivo de Dataform en Knowledge Catalog, por ejemplo, tablas o vistas.

Ubicaciones

Puedes usar Knowledge Catalog para administrar repositorios de Dataform desde todas las ubicaciones de Dataform.

Cuotas

La administración de repositorios de Dataform en Knowledge Catalog está sujeta a las cuotas y límites de Knowledge Catalog.

Precios

La administración de repositorios de Dataform en Knowledge Catalog está sujeta a los precios de Knowledge Catalog.

¿Qué sigue?