Administra recursos de Looker (Google Cloud Core) con Knowledge Catalog

Puedes administrar los metadatos de tus instancias de Looker (Google Cloud Core) con Knowledge Catalog. La administración de metadatos te ayuda a controlar tus datos y tomar decisiones fundamentadas.

Knowledge Catalog es una plataforma de Data Catalog que almacena, administra y proporciona acceso a tus metadatos. Indexa los metadatos de LookML de producción, del proyecto de LookML y del panel de Looker (Google Cloud Core).

Esta integración proporciona una vista única de tus recursos de datos y sus relaciones, incluido el linaje de datos. Cuando usas Knowledge Catalog, puedes realizar análisis de impacto, descubrimiento de datos y administración de cambios, lo que puede ayudarte a integrar datos en flujos de trabajo operativos y encontrar nuevos usos para tus datos.

Knowledge Catalog captura varios niveles de entidades de Looker, que incluyen los siguientes:

• Instancia de Looker: Incluye el ID de la instancia, la URL y los paneles relacionados
• Agente: Incluye el creador, la descripción y la fuente de datos
• Panel: Incluye el nombre, el diseño, los filtros y los elementos de panel relacionados
• Elemento de panel: Incluye el tipo, la consulta, el modelo y las exploraciones
• Exploración: Incluye etiqueta, consultas predeterminadas, clave externa, condiciones de unión (sql_on, relationship y type), filtros (always_filter, conditionally_filter, access_filter, sql_always_where y sql_always_having), esquema con definiciones de dimensiones y mediciones, y sinónimos
• Look: Incluye el proyecto del creador, la exploración, el modelo y los campos
• Panel de LookML: Incluye la descripción, el nombre del panel, el diseño, los filtros y los elementos de panel de LookML relacionados.
• Elemento de panel de LookML: incluye descripción, consultas y consultas combinadas
• Proyecto de LookML: incluye la descripción y los modelos relacionados
• Modelo: Incluye la ruta de acceso, la URL del proyecto, la conexión y las vistas, las exploraciones y los paneles de LookML relacionados.
• Vista: Incluye la tabla derivada, las claves de clúster, la clave primaria y el esquema con definiciones de dimensiones y mediciones.

La integración de Knowledge Catalog y Looker (Google Cloud Core) también representa relaciones definidas, incluidas las siguientes:

• Vínculos de entrada de reference que representan relaciones entre objetos de Looker
• Vínculos de entrada de schema-join que representan asociaciones de clave primaria y externas

Cómo funciona la integración

La integración de Looker y Knowledge Catalog usa un conector propio para la transferencia de metadatos. Looker (Google Cloud ) publica metadatos de LookML en repositorios regionales de Cloud Storage para que Knowledge Catalog los consuma a través de un proceso de sincronización en vivo.

La transmisión de datos de Looker (Google Cloud core) a Knowledge Catalog es automática de forma predeterminada y no requiere cambios de configuración. Looker (Google Cloud ) usa servicios internos para realizar la sincronización en vivo.

Cuando actualizas tus modelos de LookML y los envías a producción, el sistema sincroniza automáticamente los metadatos clave con Knowledge Catalog. Estos metadatos incluyen detalles de vistas y exploraciones, definiciones de campos y detalles de modelos. Del mismo modo, los metadatos del panel, incluidos los títulos, la propiedad y las estadísticas de uso, aparecen en el catálogo.

Cuándo usar Knowledge Catalog con Looker

Usa Knowledge Catalog para descubrir y comprender tus metadatos de Looker. El catálogo ayuda con las siguientes actividades:

• Precisión de los agentes de IA y de datos: Usa modelos, exploraciones y vistas de LookML indexados como definiciones semánticas. La fundamentación de la generación de consultas en función de las entradas de Looker en Knowledge Catalog garantiza que los agentes de IA se adhieran a la lógica empresarial oficial (medidas, dimensiones y rutas de unión válidas certificadas).
• Linaje de extremo a extremo (análisis de impacto y procedencia): Usa el linaje de datos para visualizar cómo fluyen los datos entre las fuentes de datos (como BigQuery) y los recursos de Looker en ambas direcciones:
  • Análisis de impacto posterior: Predice qué paneles y exploraciones se ven afectados antes de realizar cambios en el esquema o el modelo.
  • Auditoría de datos ascendentes: Audita el origen, las transformaciones y la cadena de custodia de las métricas que se muestran en los paneles ejecutivos y las vistas.
• Descubrimiento y consolidación de recursos: Busca paneles, exploraciones y vistas certificados en toda tu organización para evitar informes duplicados y modelado de datos redundante.

Con Knowledge Catalog, también puedes seleccionar los metadatos adjuntando aspectos a las entradas de metadatos de Looker. Adjuntar aspectos a los recursos de Looker te permite agregarles metadatos empresariales y buscar recursos por esos metadatos.

Permisos necesarios

Para obtener los permisos que necesitas para usar la integración de Knowledge Catalog y Looker (Google Cloud Core), pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto en el que reside tu instancia de Looker (Google Cloud Core):

• Para ver los recursos de Knowledge Catalog: Visualizador del catálogo de Dataplex (roles/dataplex.catalogViewer)

• Para acceder a los metadatos de Looker (Google Cloud Core) en Knowledge Catalog: Visualizador de esquemas de Looker (roles/looker.schemaViewer)

  • El rol predefinido de visualizador de esquemas de Looker contiene el permiso looker.schemas.view, que se requiere para acceder a los metadatos de Looker (Google Cloud Core) en Knowledge Catalog.
  Nota: Solo puedes agregar el rol de visualizador de esquemas de Looker con Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Para obtener más información, consulta la documentación de add-iam-policy-binding.

• Para inhabilitar o habilitar la integración entre Knowledge Catalog y Looker (Google Cloud Core): Administrador de Looker (roles/looker.admin)

• Para ver los gráficos de linaje de datos: Visualizador de linaje de datos (roles/datalineage.viewer)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Precaución: Debes otorgar el rol de visualizador de esquemas de Looker o el permiso looker.schema.view a nivel del proyecto. Los usuarios con este permiso pueden ver los metadatos de todas las instancias de Looker (Google Cloud Core) del proyecto que tienen habilitada la integración.

Habilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core)

Knowledge Catalog está habilitado de forma predeterminada en las instancias de Looker (Google Cloud Core). Para inhabilitar la integración, consulta la sección Inhabilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core) de esta página de documentación.

Si la integración está inhabilitada en tu instancia y quieres habilitarla, completa los siguientes pasos:

Console

1. Habilitar la API de Dataplex Para ver los metadatos que se transfieren, debes habilitar la API de Cloud Dataplex (dataplex.googleapis.com) en el proyecto de Google Cloud que aloja tu instancia de Looker (Google Cloud Core).

   Habilita la API de Dataplex

2. En la pestaña Detalles de la página Instancia de la instancia, haz clic en Editar.
3. Expande la sección Integración de Knowledge Catalog.
4. Anula la selección de la casilla de verificación Inhabilitar la integración de Knowledge Catalog.
   • Nota: Si habilitas este parámetro de configuración, se habilitarán la transferencia de metadatos y el linaje de datos (si la API de Data Lineage está habilitada).
5. Haz clic en Guardar.

gcloud

Asegúrate de que la API de Dataplex esté habilitada en el proyecto de Google Cloud que aloja tu instancia de Looker (Google Cloud Core).

Usa el comando gcloud looker instances update con la marca --catalog-integration-enabled para habilitar la integración:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Reemplaza INSTANCE_NAME por el nombre de la instancia de Looker (Google Cloud Core).

Una vez que se habilite la integración, los datos de Looker tardarán hasta un día en estar disponibles en Knowledge Catalog.

Busca recursos de Looker

Para ver los datos de Looker (Google Cloud core) en Knowledge Catalog, primero debes habilitar la API de Dataplex. Para obtener el permiso que necesitas para habilitar las APIs, debes tener el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin).

Habilitar la API de Dataplex

Usa la página Búsqueda de Knowledge Catalog en la consola de Google Cloud para buscar recursos de Looker (Google Cloud core).

Ir a Búsqueda

En el panel Filtros, puedes filtrar los recursos de Looker (Google Cloud core) con las secciones Proyecto, Sistemas y Alias de tipo. En la sección Sistemas, puedes filtrar por Looker. En Alias de tipo, puedes filtrar los resultados de la búsqueda a un tipo específico de recurso.

Si configuraste el filtro Sistemas como Looker, puedes filtrar por un tipo específico de recurso de Looker seleccionando una o más de las siguientes opciones en la sección Alias de tipo:

• Agente
• Panel
• Elemento de panel
• Explorar
• Instancia
• Vista
• proyecto de LookML
• Modelo
• Ver
• Otro

Nota: El filtrado por Panel devuelve paneles definidos por el usuario y de LookML. Si filtras por Elemento de panel, se devuelven elementos de los paneles definidos por el usuario y de LookML.

También puedes ingresar consultas de búsqueda directamente en el campo de búsqueda con la sintaxis de palabras clave o lenguaje natural. Por ejemplo, para ver todos los recursos de Looker, ingresa system=Looker. Para ver todos los paneles de Looker, ingresa system=Looker AND type=dashboard.

Nota: El calificador type y los alias de tipo no son específicos de un sistema. Por ejemplo, si filtras solo por type=view (o seleccionas solo Vista en Alias de tipo), se devuelven las vistas de Looker y las de BigQuery. Para filtrar específicamente por vistas de Looker, filtra por sistema y tipo: selecciona Looker en Sistemas y Vista en Alias de tipo, o ingresa system=Looker AND type=view en el campo de búsqueda.

Puedes usar los siguientes valores con el calificador type:

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

Nota: Cuando se realiza una búsqueda con dashboard, se devuelven paneles definidos por el usuario y de LookML. Si buscas con dashboard_element, se devuelven elementos de los paneles definidos por el usuario y de LookML.

También puedes buscar entradas de BigQuery relacionadas con Looker con el método lookupEntryLinks. El vínculo de entrada reference representa el vínculo de las entradas de la tabla de BigQuery a sus entradas de vista de Looker.

Para obtener más información sobre la búsqueda de recursos, consulta Busca recursos en Knowledge Catalog. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Sintaxis de búsqueda para Knowledge Catalog.

Inhabilita la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core)

Para inhabilitar la integración de Knowledge Catalog y tu instancia de Looker (Google Cloud Core), completa los siguientes pasos.

Console

1. En la pestaña Detalles de la página Instancia de la instancia, haz clic en Editar.
2. Expande la sección Integración de Knowledge Catalog.
3. Selecciona la casilla de verificación Inhabilitar la integración de Knowledge Catalog.
   • Nota: Si inhabilitas este parámetro de configuración, se inhabilitarán la transferencia de metadatos y el linaje de datos (si la API de Data Lineage está habilitada).
4. Haz clic en Guardar.

gcloud

Usa el comando gcloud looker instances update con la marca --no-catalog-integration-enabled para habilitar la integración:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Reemplaza INSTANCE_NAME por el nombre de la instancia de Looker (Google Cloud Core).

Cuando se inhabilita la integración después de haberla habilitado, los metadatos de Looker que ya están en Knowledge Catalog permanecerán allí, pero no se actualizarán con metadatos nuevos.

Controles del servicio de VPC

La integración entre Looker (Google Cloud Core) y Knowledge Catalog admite los Controles del servicio de VPC.

Si tu instancia de Looker (Google Cloud Core) o los recursos de Knowledge Catalog se encuentran dentro de un perímetro de servicio de los Controles del servicio de VPC, debes asegurarte de que la API de Dataplex (dataplex.googleapis.com) esté configurada como un servicio restringido dentro de tu perímetro.

Precios

No se aplican cargos por almacenar metadatos técnicos de Looker (Google Cloud core) en Knowledge Catalog. Los precios estándar de Knowledge Catalog se aplican a las llamadas a la API y al enriquecimiento adicional de metadatos empresariales. Para obtener más información, consulta la página de precios de Knowledge Catalog.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos con Knowledge Catalog.
• Obtén información sobre la administración de metadatos en Knowledge Catalog.
• Obtén más información para buscar recursos en Knowledge Catalog.
• Obtén más información para administrar aspectos y enriquecer metadatos.