Introducción a la administración de datos en BigQuery

Las funciones de administración integradas en BigQuery te permiten descubrir, administrar, supervisar y controlar los recursos de datos y de IA durante todo el ciclo de vida de los datos. Los equipos de datos pueden seleccionar conjuntos de datos, enriquecer los metadatos, hacer un seguimiento de la calidad y aplicar políticas de cumplimiento mientras comparten recursos de forma segura a gran escala.

Estas capacidades se basan en Knowledge Catalog, un motor de contexto universal y siempre activo que usa metadatos técnicos y semántica empresarial en todo tu patrimonio de datos para crear un gráfico de contexto de autoaprendizaje para las aplicaciones downstream y los analistas de datos.

Detección de datos

BigQuery descubre datos en toda la organización en Google Cloud, ya sea que los datos estén en BigQuery, Spanner, Cloud SQL, Pub/Sub o Cloud Storage. Los metadatos se extraen y almacenan automáticamente en Knowledge Catalog. Por ejemplo, puedes extraer metadatos para datos estructurados y no estructurados de Cloud Storage, y puedes crear automáticamente tablas de BigLake listas para consultas a gran escala. Esto te permite realizar análisis con un motor de código abierto sin duplicar datos.

También puedes extraer y catalogar metadatos de fuentes de datos de terceros con conectores personalizados.

BigQuery ofrece las siguientes capacidades de descubrimiento de datos:

  • Búsqueda Busca datos y recursos de IA en todos los proyectos y la organización. En BigQuery, en la consola de Google Cloud , usa la búsqueda semántica (versión preliminar) para buscar recursos con lenguaje cotidiano. También puedes encontrar recursos con la búsqueda por palabra clave en Knowledge Catalog.
  • Detección automática de datos de Cloud Storage. Analiza los datos en los buckets de Cloud Storage para extraer y, luego, catalogar los metadatos. El descubrimiento automático crea tablas para datos estructurados y no estructurados.
  • Importación de metadatos. Importa metadatos a gran escala desde sistemas de terceros a Knowledge Catalog. Puedes compilar conectores personalizados para extraer datos de tus fuentes de datos y, luego, ejecutar canalizaciones de conectividad administradas que organicen el flujo de trabajo de importación de metadatos.
  • Exportación de metadatos. Exporta metadatos a gran escala fuera de Knowledge Catalog. Puedes analizar los metadatos exportados con BigQuery o integrarlos en aplicaciones personalizadas o flujos de trabajo de procesamiento programático.

Selección y administración de datos

Para mejorar la visibilidad y la usabilidad de los datos, los administradores de datos y los administradores pueden usar BigQuery para revisar, actualizar y analizar metadatos. Las funciones de administración y selección de datos de BigQuery te ayudan a garantizar que tus datos sean precisos, coherentes y estén alineados con las políticas de tu organización.

BigQuery ofrece las siguientes funciones de organización y administración de datos:

  • Glosario empresarial. Mejora el contexto, la colaboración y la búsqueda definiendo la terminología de tu organización en un glosario. Identifica los administradores de datos para los términos y adjunta los términos a los campos de recursos de datos.
  • Estadísticas de datos. Gemini usa metadatos para generar preguntas en lenguaje natural sobre tu tabla y las consultas en SQL para responderlas. Estas estadísticas de datos te ayudan a descubrir patrones, evaluar la calidad de los datos y realizar análisis estadísticos.
  • Creación de perfiles de datos. Identifica características estadísticas comunes de las columnas en las tablas de BigQuery para comprender y analizar tus datos de forma más eficaz.
  • Calidad de los datos. Define y ejecuta verificaciones de calidad de los datos en tablas de BigQuery y Cloud Storage, y aplica controles de datos regulares y continuos en entornos de BigQuery.
  • Linaje de datos. Haz un seguimiento de cómo los datos se mueven a través de tus sistemas: de dónde provienen, adónde se pasan y qué transformaciones se les aplican. BigQuery admite el linaje de datos a nivel de tabla y de columna.

Próximos pasos para la selección y la administración de datos

En la siguiente tabla, se describen los próximos pasos que puedes seguir para obtener más información sobre las funciones de selección y administración de datos:

Nivel de experiencia Ruta de aprendizaje
Usuarios nuevos en la nube
Usuarios con experiencia en la nube

Seguridad y control de acceso

La administración de acceso a los datos es el proceso de definir, aplicar y supervisar las reglas y políticas que controlan quién tiene acceso a los datos. La administración de acceso garantiza que solo quienes están autorizados para acceder a los datos tengan acceso a ellos.

BigQuery ofrece las siguientes funciones de seguridad y control de acceso:

  • Identity and Access Management (IAM). IAM te permite controlar quién tiene acceso a tus recursos de BigQuery, como proyectos, conjuntos de datos, tablas y vistas. Puedes otorgar roles de IAM a usuarios, grupos y cuentas de servicio. Estos roles definen lo que pueden hacer con tus recursos.
  • Controles de acceso a nivel de columna y controles de acceso a nivel de fila. Los controles de acceso a nivel de columna y a nivel de fila te permiten restringir el acceso a columnas y filas específicas en una tabla según los atributos de usuario o los valores de datos. Este control te permite implementar un acceso detallado para ayudar a proteger los datos sensibles del acceso no autorizado.
  • Administración de transferencia de datos. Los Controles del servicio de VPC te permiten crear perímetros en los recursos de Google Cloud y controlar el acceso a esos recursos según las políticas de tu organización.
  • Registros de auditoría. Los registros de auditoría te proporcionan un registro detallado de la actividad del usuario y los eventos del sistema en tu organización. Estos registros te ayudan a aplicar políticas de administración de datos y a identificar posibles riesgos de seguridad.
  • Enmascaramiento de datos. El enmascaramiento de datos te permite ocultar los datos sensibles en una tabla, a la vez que permite que los usuarios autorizados accedan a los datos que los rodean. El enmascaramiento de datos también puede ocultar datos que coincidan con patrones de datos sensibles, lo que brinda protección contra la divulgación accidental de datos.
  • Encriptación. BigQuery encripta todos los datos en reposo y en tránsito de forma automática, a la vez que te permite personalizar la configuración de encriptación para que cumpla con tus requisitos específicos.

Próximos pasos para la seguridad y el control de acceso

En la siguiente tabla, se describen los próximos pasos que puedes seguir para obtener más información sobre las funciones de control de acceso:

Nivel de experiencia Ruta de aprendizaje
Usuarios nuevos en la nube
Usuarios con experiencia en la nube

Datos y estadísticas compartidos

BigQuery te permite compartir datos y estadísticas a gran escala dentro de los límites de la organización y entre ellos. Tiene un framework de seguridad y privacidad sólido a través de una plataforma de intercambio de datos integrada. Con el uso compartido de BigQuery, puedes descubrir, acceder y consumir una biblioteca de datos seleccionada por una amplia gama de proveedores de datos.

BigQuery ofrece las siguientes capacidades de uso compartido:

  • Comparte más que datos. Puedes compartir una amplia variedad de datos y recursos de IA, como conjuntos de datos, tablas, vistas, transmisiones en tiempo real con temas de Pub/Sub, procedimientos almacenados de SQL y modelos de BigQuery ML.
  • Accede a los conjuntos de datos de Google. Aumenta tus iniciativas de análisis y AA con conjuntos de datos de Google de tendencias de búsqueda, modelos de WeatherNext de DeepMind, Google Maps Platform, Google Earth Engine y mucho más.
  • Integrar con principios de administración de datos. Los propietarios de los datos mantienen el control de sus datos y tienen la capacidad de definir y configurar reglas o políticas para restringir el acceso y el uso.
  • Uso compartido de datos en vivo y sin copias. Los datos se comparten in situ sin necesidad de integración, movimiento ni replicación, lo que garantiza que el análisis se base en la información más reciente. Los conjuntos de datos vinculados que se crean son un puntero en vivo al recurso compartido.
  • Mejorar la postura de seguridad Puedes usar los controles de acceso para reducir el exceso de aprovisionamiento, incluida la compatibilidad integrada con los Controles del servicio de VPC.
  • Aumenta la visibilidad con las métricas de uso del proveedor. Los publicadores de datos pueden ver y supervisar el uso de los recursos compartidos, como la cantidad de trabajos ejecutados, el total de bytes analizados y los suscriptores de cada organización.
  • Colabora en datos sensibles con salas limpias de datos. Las salas limpias de datos proporcionan un entorno con seguridad mejorada en el que varias partes pueden compartir, unir y analizar sus recursos de datos sin mover ni revelar los datos subyacentes.
  • Built on BigQuery. Puedes aprovechar la escalabilidad y las capacidades de procesamiento masivo de BigQuery, lo que permite colaboraciones a gran escala.

Próximos pasos para compartir

En la siguiente tabla, se describen los próximos pasos que puedes seguir para obtener más información sobre las funciones de uso compartido:

Nivel de experiencia Ruta de aprendizaje
Usuarios nuevos en la nube
  • Aprende a crear y administrar intercambios y fichas para comenzar a compartir dentro o fuera de tu organización.
Usuarios con experiencia en la nube

¿Qué sigue?