Administra recursos de Looker (Google Cloud Core) con Knowledge Catalog

En esta página, se explica cómo puedes buscar y administrar tus recursos de metadatos de Looker (Google Cloud core) con Knowledge Catalog.

Knowledge Catalog es una plataforma que almacena, administra y proporciona acceso a tus metadatos. Actúa como una herramienta de catalogación que indexa los metadatos de LookML de producción , del proyecto de LookML y del panel de Looker (Google Cloud core). Esta integración proporciona una vista unificada y completa de los recursos de datos y sus relaciones, incluido el linaje de datos.

Knowledge Catalog captura varios niveles de entidades de Looker, que incluyen los siguientes:

  • Instancia de Looker
  • Panel
  • Elemento de panel
  • Vista
  • proyecto de LookML
  • Modelo
  • Explorar
  • Ver (que contiene dimensiones y mediciones)

Cómo funciona la integración

La integración de Looker y Knowledge Catalog usa un conector de origen para la transferencia de metadatos. Looker (Google Cloud core) publica metadatos de LookML en repositorios regionales de Cloud Storage para que Knowledge Catalog los consuma a través de un proceso de sincronización por lotes.

La transmisión de datos de Looker (Google Cloud core) a Knowledge Catalog es automática de forma predeterminada y no requiere cambios de configuración. Looker (Google Cloud core) usa servicios internos para realizar la sincronización. El proceso interno de sincronización por lotes se ejecuta aproximadamente cada cuatro horas, y los datos de Looker se actualizan aproximadamente cada hora en Knowledge Catalog.

Cuando actualizas tus modelos de LookML y los envías a producción, el sistema sincroniza automáticamente los metadatos clave con Knowledge Catalog. Estos metadatos incluyen detalles de la vista y la exploración, definiciones de campos y la información del modelo. Del mismo modo, los metadatos del panel, incluidos los títulos, la propiedad y las estadísticas de uso, aparecen en el catálogo.

Cuándo usar Knowledge Catalog con Looker

Usa Knowledge Catalog para descubrir y comprender tus metadatos de Looker. El catálogo ayuda con las siguientes actividades:

  • Análisis de impacto: Usa el linaje de datos para visualizar cómo fluyen los datos de BigQuery a los paneles de Looker.
  • Descubrimiento: Busca paneles, exploraciones y vistas en toda tu organización.
  • Administración de cambios: Comprende las dependencias antes de realizar cambios.
  • Canalizaciones de movimiento de datos: Haz un seguimiento de la procedencia de los datos.

Con Knowledge Catalog, también puedes seleccionar los metadatos si adjuntas aspectos a las entradas de metadatos de Looker. Si adjuntas aspectos a los recursos de Looker, puedes agregar metadatos empresariales a los recursos y buscarlos por esos metadatos.

Permisos necesarios

Para obtener los permisos que necesitas para usar la integración de Knowledge Catalog y Looker (Google Cloud Core), pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto en el que reside tu instancia de Looker (Google Cloud Core):

  • Para ver los recursos de Knowledge Catalog: Visualizador de Dataplex (roles/dataplex.viewer)
  • Para acceder a los metadatos de Looker (Google Cloud Core) en Knowledge Catalog: Visualizador de esquemas de Looker (roles/looker.schemaViewer)
    • El rol predefinido de Visualizador de esquemas de Looker contiene el permiso looker.schemas.view, que es necesario para acceder a los metadatos de Looker (Google Cloud Core) en Knowledge Catalog.
  • Para inhabilitar o habilitar la integración entre Knowledge Catalog y Looker (Google Cloud Core): Administrador de Looker (roles/looker.admin)
  • Para ver gráficos de linaje de datos: Visualizador de linaje de datos (roles/datalineage.viewer)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Habilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core)

Knowledge Catalog está habilitado en las instancias de Looker (Google Cloud Core) de forma predeterminada. Para inhabilitar la integración, consulta la sección Inhabilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core) de esta página de documentación.

Si la integración está inhabilitada en tu instancia y deseas habilitarla, completa los siguientes pasos:

Console

  1. Habilitar la API de Dataplex Para ver los metadatos que se transfieren, debes habilitar la API de Cloud Dataplex (dataplex.googleapis.com) en el Google Cloud proyecto que aloja tu instancia de Looker (Google Cloud Core).

    Habilita la API de Dataplex

  2. En la pestaña Detalles de la página Instancia de la instancia, haz clic en Editar.
  3. Expande la sección Integración del catálogo universal.
  4. Anula la selección de la casilla de verificación Inhabilitar la integración de Dataplex Catalog.
    • Nota: Si habilitas esta configuración, se habilitan la transferencia de metadatos y el linaje de datos (si la API de Data Lineage está habilitada).
  5. Haz clic en Guardar.

gcloud

Asegúrate de que la API de Dataplex esté habilitada en el Google Cloud proyecto que aloja tu instancia de Looker (Google Cloud Core).

Usa el gcloud looker instances update comando con la --catalog-integration-enabled marca para habilitar la integración:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Reemplaza INSTANCE_NAME por el nombre de la instancia de Looker (Google Cloud Core).

Una vez que se habilite la integración, los datos de Looker tardarán hasta un día en estar disponibles en Knowledge Catalog.

Busca recursos de Looker

Para ver los datos de Looker (Google Cloud core) en Knowledge Catalog, primero debes habilitar la API de Dataplex. Para obtener el permiso que necesitas para habilitar las APIs, debes tener el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin).

Habilita la API de Dataplex

Usa la página Búsqueda de Knowledge Catalog en la Google Cloud consola de Google Cloud para buscar recursos de Looker (Google Cloud core).

Ir a Búsqueda

En el panel Filtros, puedes filtrar los recursos de Looker (Google Cloud core) con las secciones Proyecto, Sistema y Alias de tipo. En la sección Sistema, puedes filtrar por Looker. En Alias de tipo, puedes filtrar los resultados de la búsqueda a un tipo específico de recurso de Looker si seleccionas uno o más de los siguientes:

  • Panel
  • Elemento de panel
  • Explorar
  • proyecto de LookML
  • Modelo
  • Instancia
  • Ver
  • Otro

También puedes usar el campo de búsqueda para realizar búsquedas. Puedes realizar una búsqueda por palabra clave o por lenguaje natural. Por ejemplo, para ver todos los recursos de Looker a través de la búsqueda por palabra clave, ingresa system=Looker. Para ver todos los paneles de Looker, ingresa la consulta system=Looker AND type=DASHBOARD. Los siguientes recursos están disponibles para la búsqueda con la palabra clave type:

  • panel
  • dashboard_element
  • exploración
  • instancia
  • vista
  • lookml_project
  • modelo
  • ver

Para obtener más información sobre la búsqueda de recursos, consulta la página de documentación Busca recursos en Knowledge Catalog. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta la página de documentación Sintaxis de búsqueda de Knowledge Catalog.

Inhabilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core)

Para inhabilitar la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core), completa los siguientes pasos.

Console

  1. En la pestaña Detalles de la página Instancia de la instancia, haz clic en Editar.
  2. Expande la sección Integración del catálogo universal.
  3. Selecciona la casilla de verificación Inhabilitar la integración de Dataplex Catalog.
    • Nota: Si inhabilitas esta configuración, se inhabilitan la transferencia de metadatos y el linaje de datos (si la API de Data Lineage está habilitada).
  4. Haz clic en Guardar.

gcloud

Usa el gcloud looker instances update comando con la --no-catalog-integration-enabled marca para habilitar la integración:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Reemplaza INSTANCE_NAME por el nombre de la instancia de Looker (Google Cloud Core).

Cuando se inhabilita la integración después de haberla habilitado, los metadatos de Looker que ya están en Knowledge Catalog permanecerán allí, pero no se actualizarán con metadatos nuevos.

Controles del servicio de VPC

La integración entre Looker (Google Cloud Core) y Knowledge Catalog admite los Controles del servicio de VPC.

Si tu instancia de Looker (Google Cloud Core) o los recursos de Knowledge Catalog se encuentran dentro de un perímetro de servicio de Controles del servicio de VPC, debes asegurarte de que se pueda acceder a los servicios necesarios para la exportación de metadatos.

  • Asegúrate de que la API de Dataplex (dataplex.googleapis.com) esté configurada como un servicio restringido dentro de tu perímetro.
  • La integración usa buckets internos de Cloud Storage para transferir metadatos. Asegúrate de que tu perímetro de servicio permita el acceso a los recursos necesarios de Cloud Storage. Comunícate con tu Google Cloud equipo de cuenta o de asistencia al cliente si encuentras PERMISSION_DENIED errores que estén relacionados con la exportación de metadatos.

Precios

No se aplican cargos por almacenar metadatos técnicos de Looker (Google Cloud core) en Knowledge Catalog. Los precios estándar de Knowledge Catalog se aplican a las llamadas a la API y al enriquecimiento adicional de metadatos empresariales. Para obtener más información, consulta la página de precios de Knowledge Catalog.

Limitaciones

En esta sección, se enumeran las limitaciones en el uso de Looker (Google Cloud core) y Knowledge Catalog:

  • Los metadatos de Looker no están disponibles de inmediato en el catálogo. El proceso de sincronización por lotes se ejecuta en un intervalo establecido, y la actualización de datos se produce aproximadamente cada hora.
  • No se expone ninguna API pública para esta integración.
  • Para conocer las limitaciones del linaje de datos, consulta la página Haz un seguimiento del linaje de datos con Knowledge Catalog.

¿Qué sigue?