Transición de Data Catalog a Knowledge Catalog

Knowledge Catalog (anteriormente, Dataplex Universal Catalog) reemplaza a Data Catalog y proporciona una administración de metadatos más compleja, funciones avanzadas de administración de datos, una búsqueda de datos más potente, un control de acceso menos complejo y una API unificada para facilitar el desarrollo. En este documento, se muestra cómo transferir el contenido y el uso de Data Catalog a Knowledge Catalog.

Si es la primera vez que usas el catálogo, comienza con Knowledge Catalog by configurándolo como tu experiencia de catálogo predeterminada.

Knowledge Catalog tiene una API y una interfaz web unificadas. La transición a Knowledge Catalog permite que tus cargas de trabajo y usuarios existentes y futuros se beneficien de sus funciones y capacidades mejoradas. Para obtener más información, consulta Acerca de los metadatos en Knowledge Catalog.

Para obtener una comparación entre Knowledge Catalog y Data Catalog, consulta Knowledge Catalog en comparación con Data Catalog.

Antes de comenzar

Antes de iniciar la transición, revisa las funciones de administración de metadatos que no son compatibles con Knowledge Catalog.

Descripción general de la transición

La página Administrar la transición a Knowledge Catalog en la Google Cloud consola proporciona un único punto de acceso para administrar la transición.

En esta sección, se describen los diferentes casos de transición y se describe el proceso de transición para cada uno de ellos.

Si no tienes metadatos personalizados en Data Catalog o si nunca usaste Data Catalog

Si usas Data Catalog y no tienes metadatos personalizados, como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas, o si nunca usaste Data Catalog, completa la transición estableciendo tu experiencia de IU de catálogo predeterminada en Knowledge Catalog.

Si tienes metadatos personalizados o cargas de trabajo programáticas de Data Catalog

Si usas Data Catalog con metadatos personalizados (como etiquetas, plantillas de etiquetas, entradas personalizadas o grupos de entradas), Knowledge Catalog puede importar automáticamente estos metadatos personalizados como read-only. Para habilitar esta capacidad, se requieren cambios de configuración, como se describe en la fase preparatoria.

La segunda fase es la fase de actualización, en la que el estado activo (read-write) de tus metadatos personalizados se traslada a Knowledge Catalog. Durante esta fase, también debes actualizar cualquier carga de trabajo programática (como la API, las bibliotecas cliente, los módulos de Terraform y los comandos de Google Cloud CLI) para que interactúe con Knowledge Catalog.

A continuación, se proporcionan más detalles sobre cada fase del proceso de transición:

  1. Fase preparatoria: Realiza las tareas de configuración necesarias para que el contenido de Data Catalog esté disponible de forma simultánea en Knowledge Catalog como read-only. Durante esta fase, Data Catalog sigue siendo la fuente autorizada para el contenido de tus metadatos.

    La fase preparatoria incluye las siguientes tareas:

    1. Actualiza las plantillas de etiquetas privadas de Data Catalog a públicas.
    2. Configura los permisos de IAM de Knowledge Catalog para tus metadatos personalizados.

    Para obtener más información, consulta Fase preparatoria.

  2. Fase de actualización: Traslada el uso del catálogo y el estado activo (read-write) de tus metadatos personalizados a Knowledge Catalog.

    La fase de actualización incluye las siguientes tareas:

    1. Establece la experiencia de IU de catálogo predeterminada en Knowledge Catalog.
    2. Actualiza los metadatos personalizados de Data Catalog a Knowledge Catalog.
    3. Actualiza las cargas de trabajo programáticas.

    Cuando completes la fase de actualización, Knowledge Catalog se convertirá en la fuente autorizada para todos tus metadatos y no necesitarás usar Data Catalog.

    Para obtener más información, consulta Fase de actualización.

Roles obligatorios

Para obtener los permisos que necesitas para realizar la transición de Data Catalog a Knowledge Catalog, otorga los siguientes roles de IAM en el recurso:

  • Actualiza las plantillas de etiquetas privadas a públicas: Propietario de TagTemplate de Data Catalog (roles/datacatalog.tagTemplateOwner)

    Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que se requiere para actualizar las plantillas de etiquetas privadas a públicas.

  • Establece la experiencia de IU de catálogo predeterminada en Knowledge Catalog: Administrador de la configuración de migración de DataCatalog (roles/datacatalog.migrationConfigAdmin)

    Este rol predefinido contiene el permiso datacatalog.migrationConfig.set, que se requiere para establecer la experiencia de IU de catálogo predeterminada.

  • Actualiza las plantillas de etiquetas públicas de Data Catalog a Knowledge Catalog: Propietario de TagTemplate de DataCatalog (roles/datacatalog.tagTemplateOwner)

    Este rol predefinido contiene el permiso datacatalog.tagTemplates.update, que se requiere para actualizar las plantillas de etiquetas públicas.

  • Actualiza los grupos de entradas de Data Catalog a Knowledge Catalog: Propietario de EntryGroup de DataCatalog (roles/datacatalog.entryGroupOwner)

    Este rol predefinido contiene el permiso datacatalog.entryGroups.update, que se requiere para actualizar los grupos de entradas.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios con roles personalizados o cualquier otro rol predefinido.

Fase preparatoria

Esta fase incluye tareas para que el contenido de los metadatos de Data Catalog esté disponible de forma simultánea en Knowledge Catalog, en el modo read-only.

Estos son los puntos clave que debes recordar durante la fase preparatoria:

  • Data Catalog sigue siendo la fuente autorizada para tus metadatos personalizados.
  • Es posible que la búsqueda de Knowledge Catalog no incluya todas las etiquetas y plantillas de etiquetas públicas de Data Catalog hasta que completes la fase preparatoria.

Los grupos de entradas, las entradas, las etiquetas y las plantillas de etiquetas públicas personalizadas de Data Catalog están disponibles automáticamente en Knowledge Catalog como recursos read-only.

En la siguiente tabla, se muestra la asignación entre los recursos de Data Catalog y Knowledge Catalog cuando los recursos de Data Catalog están disponibles de forma simultánea en Knowledge Catalog:

Asignación entre Data Catalog y Knowledge Catalog
Recurso de Data Catalog Recurso de Knowledge Catalog correspondiente Descripción
Plantilla de etiqueta Tipo de aspecto (global)

Las plantillas de etiquetas en Data Catalog son recursos regionales. Su contenido está disponible de forma simultánea como tipos de aspectos globales en Knowledge Catalog. Esto es para conservar las referencias entre regiones entre las etiquetas y las plantillas de etiquetas. Las definiciones de los tipos de aspectos globales se replican en todas las Google Cloud regiones.

Los conceptos estándar, como Schema, se representan mediante tipos de aspectos del sistema, que proporciona Knowledge Catalog. Para obtener más información, consulta Categorías de tipos de aspectos.

Etiqueta Aspecto opcional Las etiquetas están disponibles de forma simultánea como aspectos opcionales en Knowledge Catalog. Para obtener más información, consulta Categorías de aspectos.
Grupo de entradas Grupo de entradas Los grupos de entradas para las entradas del sistema se establecen por proyecto y por región en Knowledge Catalog. Los grupos de entradas creados en Data Catalog están disponibles de forma simultánea en Knowledge Catalog.
Entrada personalizada Entrada personalizada Todas las entradas personalizadas en Data Catalog están disponibles de forma simultánea como entradas de GenericEntryType en Knowledge Catalog. Para obtener más información, consulta Categorías de tipos de entradas.
Entrada del sistema (Google Cloud) Aspecto obligatorio de la entrada del sistema Los metadatos que describen las entradas del sistema, como Schema para las tablas de BigQuery, se capturan en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.

Actualiza las plantillas de etiquetas privadas de Data Catalog a públicas

Knowledge Catalog no admite el concepto de aspectos privados (equivalentes a etiquetas privadas). Por lo tanto, las etiquetas y plantillas de etiquetas privadas no están disponibles de forma simultánea en Knowledge Catalog. Para propagar las etiquetas y plantillas de etiquetas privadas en Knowledge Catalog, debes actualizarlas a públicas.

Antes de continuar, revisa la estructura de las plantillas de etiquetas privadas para verificar que su estructura y metadatos sean coherentes con la visibilidad de las etiquetas públicas.

Para actualizar las etiquetas y plantillas de etiquetas privadas a públicas, sigue estos pasos:

Console

  1. En la Google Cloud consola de Google Cloud, ve a la página Plantillas de etiquetas.

    Ir a Plantillas de etiquetas

  2. Haz clic en Administrar la transición a Knowledge Catalog.

  3. Haz clic en la pestaña Plantillas de etiquetas privadas.

  4. Haz clic en Administrar plantillas de etiquetas.

  5. En la página Plantillas de etiquetas, haz clic en la plantilla de etiqueta privada que deseas actualizar.

  6. En la página Detalles de la plantilla, haz clic en Editar.

  7. En la sección Visibilidad, selecciona Público.

  8. Haz clic en Actualizar.

REST

Para actualizar las plantillas de etiquetas privadas a públicas, usa el tagTemplates.patch método.

Configura los permisos de IAM de Knowledge Catalog para tus metadatos personalizados

Los tipos de aspectos y los grupos de entradas personalizados de Knowledge Catalog que representan las plantillas de etiquetas y los grupos de entradas de Data Catalog no heredan los permisos de IAM originales de Data Catalog. Los permisos de IAM específicos requeridos también difieren entre Knowledge Catalog y Data Catalog.

Por ejemplo, si deseas crear aspectos con un tipo de aspecto propagado (que representa una plantilla de etiqueta de Data Catalog), debes configurar los permisos de IAM necesarios para ese tipo de aspecto. Del mismo modo, cuando ingresas metadatos personalizados, para crear entradas personalizadas dentro de un grupo de entradas personalizado propagado, debes configurar los permisos de IAM necesarios para ese grupo de entradas.

Si usas roles de IAM de Data Catalog para administrar el acceso en Data Catalog a nivel del proyecto o superior, se incluyen automáticamente los permisos necesarios de Knowledge Catalog. Sin embargo, si usas roles personalizados o asignas roles de IAM directamente a recursos específicos, debes configurar manualmente los permisos de Knowledge Catalog para esos aspectos específicos y grupos de entradas personalizados.

Para obtener más información sobre cómo se corresponden los permisos de IAM en Data Catalog con los de Knowledge Catalog, consulta Asignación de permisos de IAM entre Data Catalog y Knowledge Catalog.

Para configurar los permisos de IAM necesarios de Knowledge Catalog para los tipos de aspectos y los grupos de entradas personalizados, sigue estos pasos:

Console

  1. En la Google Cloud consola de Google Cloud, ve a la página Plantillas de etiquetas.

    Ir a Plantillas de etiquetas

  2. Haz clic en Administrar la transición a Knowledge Catalog.

  3. Haz clic en la pestaña Permisos de IAM de Dataplex.

  4. Para configurar los permisos de IAM de Knowledge Catalog para los tipos de aspectos, haz clic en Tipos de aspectos y plantillas de etiquetas.

    1. Para la plantilla de etiqueta propagada desde Data Catalog, haz clic en > Permisos.

    2. Haz clic en Agregar principales.

    3. Agrega una nueva principal y asigna los roles requeridos.

    4. Haz clic en Guardar.

  5. Para configurar los permisos de IAM de Knowledge Catalog para los grupos de entradas, haz clic en Grupos de entradas.

    1. Para el grupo de entradas propagado desde Data Catalog, haz clic en > Permisos.

    2. Haz clic en Agregar principales.

    3. Agrega una nueva principal y asigna los roles requeridos.

    4. Haz clic en Guardar.

REST

Para configurar los permisos de IAM de Knowledge Catalog para los tipos de aspectos, usa el aspectTypes.setIamPolicy método.

Para configurar los permisos de IAM de Knowledge Catalog para los grupos de entradas, usa el entryGroups.setIamPolicy método.

Fase de actualización

Esta fase incluye tareas para trasladar el estado activo (read-write) de tus metadatos personalizados de Data Catalog a Knowledge Catalog.

Estos son los puntos clave que debes recordar durante la fase de actualización:

  • Puedes descubrir y leer los metadatos de Data Catalog y Knowledge Catalog en Knowledge Catalog.
  • Para actualizar los metadatos en la Google Cloud consola, se te redireccionará a su fuente. Por ejemplo, si actualizas las plantillas de etiquetas de Data Catalog, se te redireccionará a la página de plantillas de etiquetas en Data Catalog.

Establece la experiencia de IU de catálogo predeterminada en Knowledge Catalog

Establecer la experiencia de IU de catálogo predeterminada en Knowledge Catalog significa lo siguiente:

  • La interfaz web te recomienda crear recursos nuevos en Knowledge Catalog. Por ejemplo, se establece de forma predeterminada en Crear tipos de aspectos en lugar de Crear plantillas de etiquetas y en Crear grupo de entradas (Knowledge Catalog) en lugar de Crear grupo de entradas (Data Catalog).

  • Por lo general, establecer la experiencia de IU de catálogo predeterminada en Knowledge Catalog es una operación unidireccional. Sin embargo, Knowledge Catalog te permite revertir los cambios en casos excepcionales, por ejemplo, cuando deseas volver a cambiar la experiencia de IU de catálogo predeterminada a Data Catalog. Si reviertes los cambios, no podrás acceder a ningún contenido creado en Knowledge Catalog en la interfaz web de Data Catalog.

Para establecer la experiencia de IU de catálogo predeterminada en Knowledge Catalog, sigue estos pasos:

Console

  1. En la Google Cloud consola de Google Cloud, ve a la página Plantillas de etiquetas.

    Ir a Plantillas de etiquetas

  2. Haz clic en Administrar la transición a Knowledge Catalog.

  3. Haz clic en la pestaña Experiencia de IU de catálogo predeterminada.

  4. Haz clic en Establecer la experiencia de IU de catálogo predeterminada en Knowledge Catalog.

REST

Para establecer la experiencia de IU de catálogo predeterminada en Knowledge Catalog, usa el setConfig método.

Actualiza los metadatos personalizados de Data Catalog a Knowledge Catalog

Puedes actualizar las plantillas de etiquetas públicas y los grupos de entradas personalizados de Data Catalog a Knowledge Catalog. Asegúrate de actualizar cada plantilla de etiqueta y grupo de entradas personalizado por separado.

A continuación, se resume el proceso de actualización:

  • Efecto

    • Transfiere el estado activo de los recursos de Data Catalog a Knowledge Catalog. Después de la actualización, para modificar el recurso o acceder a su estado actual, debes usar Knowledge Catalog.

  • Cambios en el contenido y el flujo de datos

    • Marca el recurso como read-only en Data Catalog.
    • Marca el recurso como read-write en Knowledge Catalog.
    • Detiene la disponibilidad simultánea de este recurso.

  • Dependencias

    • Si actualizas una plantilla de etiqueta, también se actualizarán todas las etiquetas que la usen.
    • Cuando se actualizan grupos de entradas, también se actualizan todas las entradas que contienen.
    • La actualización de entradas no afecta el estado de actualización de sus etiquetas y plantillas de etiquetas respectivas.

Antes de la actualización, para modificar el contexto empresarial de una entrada (por ejemplo, overview, contacts), puedes usar la API de Data Catalog y la API de Dataplex. Después de la actualización, debes usar solo la API de Dataplex.

A continuación, se describen las operaciones permitidas para una entrada personalizada de Data Catalog etiquetada, según el estado de actualización del grupo de entradas personalizado y la plantilla de etiqueta relacionados:

  • Cuando una plantilla de etiqueta está activa en Data Catalog, puedes usarla para crear etiquetas. Después de actualizar la plantilla de etiqueta a Knowledge Catalog, no podrás usarla para crear etiquetas en Data Catalog.
  • Puedes crear aspectos con tipos de aspectos que se propagan desde las plantillas de etiquetas de Data Catalog solo después de actualizar las plantillas de etiquetas.

Para actualizar las plantillas de etiquetas y los grupos de entradas personalizados de Data Catalog a Knowledge Catalog, sigue estos pasos:

Console

  1. En la Google Cloud consola de Google Cloud, ve a la página Plantillas de etiquetas.

    Ir a Plantillas de etiquetas

  2. Haz clic en Administrar la transición a Knowledge Catalog.

  3. Haz clic en la pestaña Actualizar a Knowledge Catalog.

  4. Para actualizar las plantillas de etiquetas de Data Catalog a Knowledge Catalog, haz clic en Ver tipos de aspectos y plantillas de etiquetas.

    1. Selecciona las plantillas de etiquetas que deseas actualizar.

    2. Haz clic en Actualizar.

    3. En el cuadro de diálogo Confirmación, haz clic en Confirmar.

  5. Para actualizar los grupos de entradas personalizados de Data Catalog a Knowledge Catalog, haz clic en Ver grupos de entradas.

    1. Selecciona los grupos de entradas que deseas actualizar.

    2. Haz clic en Actualizar.

    3. En el cuadro de diálogo Confirmación, haz clic en Confirmar.

REST

Para actualizar las plantillas de etiquetas y los grupos de entradas personalizados de Data Catalog a Knowledge Catalog, usa el tagTemplates.patch método.

Cuando completes la fase de actualización, Knowledge Catalog se convertirá en la fuente autorizada para todos tus metadatos y no necesitarás usar Data Catalog.

Actualiza las cargas de trabajo programáticas

Knowledge Catalog incluye una nueva API, bibliotecas cliente, módulos de Terraform y comandos de Google Cloud CLI. Por lo tanto, debes actualizar cualquier carga de trabajo existente con el uso programático de Data Catalog a Knowledge Catalog. Consulta las muestras de código para Knowledge Catalog.

Asegúrate de alinear la actualización de las cargas de trabajo programáticas con la actualización de los recursos dependientes, como las plantillas de etiquetas y los grupos de entradas personalizados. Esto es necesario porque la actualización traslada el estado activo (read-write) de un recurso de Data Catalog a Knowledge Catalog.

El siguiente es un ejemplo de secuencia de actualización de cargas de trabajo programáticas para interactuar con Knowledge Catalog, coordinada con la actualización de los recursos dependientes:

  1. Si tus cargas de trabajo pueden tolerar la coherencia eventual, traslada las operaciones read de las cargas de trabajo a Knowledge Catalog.

  2. Traslada las cargas de trabajo que realizan operaciones write de etiquetado a Knowledge Catalog coordinadas con la actualización de sus plantillas de etiquetas correspondientes.

  3. Traslada las cargas de trabajo que realizan operaciones write de ingreso personalizadas a Knowledge Catalog coordinadas con la actualización de los grupos de entradas personalizados respectivos.

Si necesitas desacoplar la actualización de las cargas de trabajo y la actualización de los recursos correspondientes, considera implementar lógica dentro de las cargas de trabajo para enrutar read-write a Data Catalog o Knowledge Catalog en el estado de actualización del recurso. Por lo tanto, las cargas de trabajo operarán de forma independiente del estado de actualización del recurso relacionado.

¿Qué sigue?