Administra tus recursos de Datastream con Knowledge Catalog

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Puedes buscar y administrar tus recursos de Datastream con Knowledge Catalog, que es una plataforma para almacenar, administrar y acceder a tus metadatos. Usa Knowledge Catalog para realizar las siguientes tareas:

• Descubrir, analizar y comprender los metadatos de tu Datastream
• Navegar por tus recursos de Datastream, como transmisiones, perfiles de conexión y configuraciones de conectividad
• Mejora la visibilidad operativa para solucionar problemas y administrar las canalizaciones de datos.
• Establecer mecanismos periódicos y casi en tiempo real para la transferencia coherente de metadatos con sincronización en tiempo real y por lotes Para obtener más información, consulta Modos de sincronización.

Modelado de Knowledge Catalog

Los recursos de Datastream se modelan en Knowledge Catalog en un grupo de entradas reservado y propiedad de Knowledge Catalog, y en tipos de entradas específicos.

Entidad del Catálogo de conocimiento	Identificador de recursos
Grupo de entradas	@datastream
Tipo de entrada	datastream-stream
Tipo de entrada	datastream-connection-profile
Tipo de entrada	datastream-private-connection

Tipos de detección de metadatos

El descubrimiento de metadatos de Knowledge Catalog es un proceso automatizado que analiza las fuentes de datos conectadas, como Datastream, para identificar los recursos de datos y extraer sus metadatos técnicos en Knowledge Catalog.

Este proceso usa la sincronización periódica y en tiempo real para mantener el catálogo coherente con el sistema fuente. En el caso de Datastream, los metadatos de todas las transmisiones, los perfiles de conexión y los parámetros de configuración de conectividad privada se detectan de forma predeterminada:

Tipo de recurso	Metadatos recuperados
Transmisiones	Nombre Ubicación Estado (por ejemplo, RUNNING, PAUSED, FAILED) Estrategia de reabastecimiento Nombres de los perfiles de conexión de origen y destino Configuraciones de origen y destino
Perfiles de conexión	Nombre Ubicación Tipo (por ejemplo, MYSQL, ORACLE, BIGQUERY) Opción de conectividad Nombre de host, puerto y nombre de la base de datos
Opciones de configuración de conectividad privada	Nombre Estado Método de conectividad (por ejemplo, Private Service Connect o intercambio de tráfico de VPC) Detalles de la red y la subred de VPC

Nota: Knowledge Catalog se refiere a los recursos en Datastream y en otros servicios de Google Cloud como recursos.

Modos de sincronización

Datastream usa los siguientes modos de sincronización para mantener el catálogo de conocimiento coherente con el sistema fuente.

• Sincronización en vivo: En este modo, Datastream publica eventos en temas de Pub/Sub cuando se producen cambios en los metadatos. Esto permite que Knowledge Catalog reciba actualizaciones casi en tiempo real suscribiéndose a estos temas.
• Sincronización por lotes: En este modo, Datastream publica periódicamente exportaciones completas de metadatos (puntos de control) en buckets de Cloud Storage designados, desde los que Knowledge Catalog ingiere los datos.

Búsqueda por palabras clave y lenguaje natural

Knowledge Catalog admite búsquedas por palabras clave y en lenguaje natural.

• La búsqueda por palabras clave te permite encontrar recursos con palabras clave, filtros y una sintaxis definida. Por ejemplo, puedes ingresar system=Datastream AND type=Stream para ver todos los flujos de Datastream.
• La búsqueda en lenguaje natural (versión preliminar) usa IA para comprender las consultas semánticas. Te permite encontrar recursos con lenguaje cotidiano, lo que elimina la necesidad de usar sintaxis complejas. Por ejemplo, puedes ingresar consultas como List all Datastream streams with BigQuery destination.

Para obtener más información, consulta Sintaxis de búsqueda de Knowledge Catalog.

Antes de comenzar

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Habilita la API de Dataplex para el proyecto.

   Habilitar la API de Dataplex

2. Verifica que tengas los permisos necesarios.

Roles de IAM obligatorios

En esta sección, se describen los roles y permisos necesarios para buscar recursos y acceder a los resultados de la búsqueda.

Roles requeridos para acceder a los resultados de la búsqueda

Para buscar y ver metadatos de Datastream en Knowledge Catalog, las principales deben tener permiso para ver recursos de Datastream, incluido el permiso dataplex.projects.search.

Para otorgarles estos permisos a las principales (como usuarios, grupos o cuentas de servicio), asígnales el rol de IAM de Visualizador de Datastream (roles/datastream.viewer) en el proyecto que contiene los recursos de Datastream.

Operación de Knowledge Catalog	Recurso de Datastream	Roles o permisos requeridos
Busca recursos de Datastream	Transmisiones	datastream.streams.get
	Perfiles de conexión	datastream.connectionProfiles.get
	Opciones de configuración de conectividad privada	datastream.privateConnections.get

Si quieres obtener más información para otorgar roles, consulta Administra el acceso. Para obtener más información sobre los roles de IAM de Datastream, consulta Roles y permisos de IAM para Datastream.

Roles requeridos para buscar entradas

Para buscar entradas, necesitas al menos uno de los siguientes roles de IAM en el proyecto que se usa para la búsqueda:

• Administrador de Catálogo de Dataplex (roles/dataplex.catalogAdmin)
• Editor del catálogo de Dataplex (roles/dataplex.catalogEditor)
• Visualizador del catálogo de Dataplex (roles/dataplex.catalogViewer)

Los permisos en los resultados de la búsqueda se verifican de forma independiente del proyecto seleccionado. Para obtener más información, consulta Cómo buscar recursos de datos con Knowledge Catalog.

Cómo buscar recursos de Datastream

Usa la página de búsqueda de Knowledge Catalog en la consola de Google Cloud para buscar recursos de Datastream.

1. Ve a la página Búsqueda de Knowledge Catalog.

   Ir a Búsqueda

2. En Elige una plataforma de búsqueda, selecciona Knowledge Catalog.

3. En el panel Filtros, haz clic en Sistemas y, luego, selecciona Datastream.

4. Es opcional. En Alias de tipo, puedes filtrar los resultados de la búsqueda para mostrar un tipo específico de recurso de Datastream. Para ello, selecciona uno o más de los siguientes alias de tipo:

   • Flujo de datos: Para buscar transmisiones de Datastream
   • Perfil de conexión: Para buscar perfiles de conexión de Datastream
   • Connection: Para buscar configuraciones de conectividad privada de Datastream

Usa consultas para realizar búsquedas de palabras clave

Puedes usar el campo de búsqueda en Knowledge Catalog para realizar búsquedas por palabras clave. Por ejemplo, puedes ingresar system=Datastream AND type=Stream para ver todos los flujos de Datastream.

Para obtener más información, consulta Sintaxis de búsqueda de Knowledge Catalog.

Para ver todos los recursos de Datastream, ingresa system=Datastream.

Luego, puedes ingresar palabras clave específicas. Por ejemplo, para ver todos los flujos de Datastream, haz lo siguiente:

system=Datastream AND type=Stream

Para ver todos los perfiles de conexión, ingresa la siguiente consulta:

system=Datastream AND type=ConnectionProfile

También puedes usar paréntesis y los operadores lógicos AND y OR para expresiones complejas. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Sintaxis de búsqueda de Knowledge Catalog.

Puedes ingresar búsquedas de forma directa para recursos específicos de Datastream en el campo de búsqueda. El formato de la cadena de consulta es el siguiente:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Reemplaza lo siguiente:

• QUERY_STRING: Usa la siguiente lista para identificar una cadena de consulta según el tipo de recurso de Datastream que deseas consultar:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

Una consulta de ejemplo podría tener el siguiente aspecto:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Precios

No se aplican cargos por almacenar metadatos técnicos de Datastream en Knowledge Catalog. Los precios estándar de Knowledge Catalog se aplican a las llamadas a la API y al enriquecimiento adicional de metadatos empresariales. Para obtener más información, consulta la página de precios del Catálogo de conocimiento.

¿Qué sigue?

• Obtén más información sobre la administración de metadatos en Knowledge Catalog.
• Obtén más información sobre los roles de Identity and Access Management de Knowledge Catalog.