Descripción general de BigQuery
BigQuery es una plataforma de datos completamente administrada y lista para la IA que te ayuda a administrar y analizar tus datos. Su arquitectura sin servidores te permite usar lenguajes como SQL y Python para responder las preguntas más importantes de tu organización sin necesidad de administrar la infraestructura.
Como analista de datos, ingeniero de datos, administrador de almacenes de datos o científico de datos, puedes usar BigQuery para los siguientes casos de uso clave:
- Flujos de trabajo asistidos por IA: Aprovecha la IA generativa, la búsqueda de vectores y las funciones de asistencia de Gemini para explorar, transformar e integrar modelos de lenguaje grandes (LLM) en tus flujos de trabajo de datos.
- Aprendizaje automático y análisis predictivo: Crea, entrena e implementa modelos en tus datos con SQL o Python.
- Inteligencia empresarial y análisis ad hoc: Consulta terabytes en segundos y petabytes en minutos para tomar decisiones empresariales importantes.
- Análisis geoespacial: Analiza y visualiza datos basados en la ubicación con sistemas de información geográfica (SIG).
- Administración de datos y búsqueda semántica: Descubre, selecciona y valida recursos de datos y de IA con funciones integradas potenciadas por Knowledge Catalog.
- Transferencia de datos continua: Transmite datos estructurados y no estructurados en tiempo real, con compatibilidad con formatos de tablas abiertas, como Apache Iceberg, Delta y Apache Hudi.
Arquitectura de BigQuery
La arquitectura de BigQuery consta de dos partes: una capa de almacenamiento que transfiere, almacena y optimiza datos, y una capa de procesamiento que proporciona capacidades de estadísticas. Estas capas de procesamiento y almacenamiento operan de forma independiente unas de otras gracias a la red de escala de petabytes de Google que permite la comunicación necesaria entre ellas.
Por lo general, las bases de datos heredadas deben compartir recursos entre las operaciones de lectura y escritura, y las operaciones analíticas. Esto puede generar conflictos de recursos y puede ralentizar las consultas mientras los datos se escriben o leen desde el almacenamiento. Los grupos de recursos compartidos pueden verse aún más entrenados cuando se necesitan recursos para las tareas de administración de bases de datos, como asignar o revocar permisos. La separación de las capas de procesamiento y almacenamiento de BigQuery permite que cada capa asigne recursos de forma dinámica sin afectar el rendimiento ni la disponibilidad de la otra.
Este principio de separación permite que BigQuery innove más rápido, ya que las mejoras de almacenamiento y procesamiento se pueden implementar de forma independiente, sin tiempo de inactividad ni impacto negativo en el rendimiento del sistema. También es esencial ofrecer un almacén de datos sin servidores completamente administrado en el que el equipo de ingeniería de BigQuery se encarga de las actualizaciones y el mantenimiento. Como resultado, no necesitas aprovisionar ni escalar de forma manual los recursos, lo que te permite enfocarte en entregar valor en lugar de las tareas tradicionales de administración de bases de datos.
Las interfaces de BigQuery incluyen la interfaz de la consola de Google Cloud y la herramienta de línea de comandos de BigQuery. Los desarrolladores y científicos de datos pueden usar bibliotecas cliente con programación conocida, como Python, Java, JavaScript y Go, así como la API de REST y la API de RPC de BigQuery para transformar y administrar datos. Los controladores ODBC y JDBC proporcionan interacción con las aplicaciones existentes, incluidas las herramientas y las utilidades de terceros.
Comienza a usar BigQuery
Puedes comenzar a explorar BigQuery en minutos. Aprovecha el nivel de uso gratuito de BigQuery o la zona de pruebas sin costo para comenzar a cargar y consultar datos.
- Zona de pruebas de BigQuery: Comienza a usar la zona de pruebas de BigQuery sin riesgo y sin costo.
- Conjuntos de datos públicos: Experimenta el rendimiento de BigQuery explorando datos grandes y reales del programa de conjuntos de datos públicos.
- Guía de inicio rápido de la consola deGoogle Cloud : familiarízate con la potencia de BigQuery Studio.
Explorar BigQuery
La infraestructura sin servidores de BigQuery permite que te enfoques en los datos en lugar de la administración de recursos. BigQuery combina un almacén de datos basado en la nube y herramientas de análisis potentes.
Almacenamiento de BigQuery
BigQuery almacena datos mediante un formato de almacenamiento en columnas optimizado para consultas analíticas. BigQuery presenta datos en tablas, filas y columnas, y proporciona compatibilidad total con la semántica de transacción de la base de datos (ACID). El almacenamiento de BigQuery se replica de forma automática en varias ubicaciones para proporcionar una alta disponibilidad.
- Obtén más información sobre los patrones comunes para organizar los recursos de BigQuery en el almacén de datos y los data marts.
- Obtén información sobre los conjuntos de datos, el contenedor de nivel superior de tablas y vistas de BigQuery.
- El Servicio de transferencia de datos de BigQuery automatiza la transferencia de datos.
- Carga datos en BigQuery con lo siguiente:
- Transmite datos con la API de Storage Write (gRPC).
- Datos de carga por lotes desde archivos locales o Cloud Storage con formatos que incluyen los siguientes formatos: Avro, Parquet, ORC, CSV, JSON, Datastore y Firestore.
Para obtener más información, consulta Descripción general del almacenamiento de BigQuery.
Estadísticas de BigQuery
Los usos descriptivos y prescriptivos del análisis incluyen inteligencia empresarial, análisis ad hoc, estadísticas geoespaciales y aprendizaje automático. Puedes consultar datos almacenados en BigQuery o ejecutar consultas sobre datos en su ubicación mediante tablas externas o consultas federadas, incluidas Cloud Storage, Bigtable, Spanner o Hojas de cálculo de Google almacenadas en Google Drive.
- Consultas de SQL estándar ANSI (compatibilidad con ISO/IEC 9075), incluida la compatibilidad con uniones, campos anidados y repetidos, funciones analíticas y de agregación, consultas de varias instrucciones y una variedad de funciones espaciales con estadísticas geoespaciales: sistemas de información geográfica.
- API de Python compatible con Pandas, proporcionada por BigQuery DataFrames.
- Crea vistas para compartir tu análisis.
- Compatibilidad con herramientas de inteligencia empresarial, incluida BI Engine con Data Studio, Looker, Hojas de cálculo de Google y herramientas de terceros, como Tableau y Power BI.
- BigQuery ML proporciona aprendizaje automático y análisis predictivos.
- BigQuery Studio ofrece funciones como los notebooks de Python y el control de versión para los notebooks y las consultas guardadas. Estas funciones te facilitan completar los análisis de datos y los flujos de trabajo de aprendizaje automático (AA) en BigQuery.
- Consulta datos fuera de BigQuery con consultas federadas y tablas externas.
Para obtener más información, consulta Descripción general de las estadísticas de BigQuery.
Administración de BigQuery
BigQuery proporciona administración centralizada de recursos de datos y procesamiento, mientras que Identity and Access Management (IAM) te ayuda a proteger esos recursos con el modelo de acceso que se usa en Google Cloud. Las prácticas recomendadas de seguridad deGoogle Cloud proporcionan un enfoque sólido y flexible que puede incluir seguridad perimetral o un enfoque de defensa en profundidad más complejo y detallado.
- Introducción a la seguridad de los datos y la administración de datos te ayuda a comprender la administración de datos y qué controles podrías necesitar para proteger los recursos de BigQuery.
- Los trabajos son acciones que BigQuery ejecuta en tu nombre para cargar, exportar, consultar o copiar datos.
- Las reservas te permiten cambiar entre precios según demanda y basados en capacidad.
Para obtener más información, consulta Introducción a la administración de BigQuery.
Recursos de BigQuery
Explora los recursos de BigQuery:
- Las notas de la versión proporcionan registros de cambios de funciones, cambios y bajas.
- Precios para el análisis y el almacenamiento. Consulta también los precios de BigQuery ML, BI Engine y el Servicio de transferencia de datos.
- Las ubicaciones definen dónde creas y almacenas los conjuntos de datos (ubicaciones regionales y multirregionales).
- Stack Overflow aloja una comunidad activa de desarrolladores y analistas que trabajan con BigQuery.
- La Asistencia de BigQuery proporciona ayuda con BigQuery.
- Google BigQuery: The Definitive Guide: Almacenamiento de datos, análisis y aprendizaje automático a escala, de Valliappa Lakshmanan y Jordan Tigani, explica cómo funciona BigQuery y proporciona una guía integral sobre cómo usar el servicio.
API, herramientas y referencias
Materiales de referencia para desarrolladores y analistas de BigQuery:
- En la API de BigQuery y las bibliotecas cliente, se presentan descripciones generales de las funciones de BigQuery y su uso.
- Sintaxis de consulta en SQL para obtener detalles sobre cómo usar GoogleSQL.
- Referencia de la API de BigQuery DataFrames para obtener detalles sobre el uso de la API de Python compatible con Pandas.
- En las muestras de código de BigQuery, se proporcionan cientos de fragmentos para las bibliotecas cliente en C#, Go, Java, Node.js, Python y Ruby. También puedes consultar el navegador de muestra.
- La sintaxis de DML, DDL y funciones definidas por el usuario (UDF) te permite administrar y transformar tus datos de BigQuery.
- La referencia de la herramienta de línea de comandos de bq documenta la sintaxis, los comandos, las marcas y los argumentos para la interfaz de la CLI de
bq. - La integración de ODBC/JDBC conecta BigQuery con tu infraestructura y herramientas existentes.
Funciones de Gemini en BigQuery
Gemini en BigQuery forma parte del paquete de productos Gemini para Google Cloud, que proporciona asistencia potenciada por IA para ayudarte a trabajar con tus datos.
Gemini en BigQuery proporciona asistencia de IA para ayudarte a hacer lo siguiente:
- Explora y comprende tus datos con estadísticas de datos. Las estadísticas de datos ofrecen una forma automatizada e intuitiva de descubrir patrones y realizar análisis estadísticos con consultas útiles que se generan a partir de los metadatos de tus tablas. Esta función es especialmente útil para abordar los desafíos de inicio en frío de la exploración de datos inicial. Para obtener más información, consulta Genera estadísticas de datos en BigQuery.
- Chatea con tus datos usando Conversational Analytics. Conversational Analytics te permite tener conversaciones en lenguaje natural con tus datos. Puedes crear agentes de datos configurados con metadatos personalizados, instrucciones, términos del glosario y consultas verificadas para establecer la lógica empresarial. También puedes iniciar conversaciones directas con fuentes de datos, incluidas tablas, vistas, gráficos de propiedades y tablas de Lakehouse. Para obtener más información, consulta la descripción general de Conversational Analytics.
- Descubre, transforma, consulta y visualiza datos con el lienzo de datos de BigQuery. Puedes usar lenguaje natural con Gemini en BigQuery para encontrar, unir y consultar recursos de tablas, visualizar resultados y colaborar sin problemas con otras personas durante todo el proceso. Para obtener más información, consulta Analiza con el lienzo de datos.
- Obtén análisis de datos asistidos en SQL y Python. Puedes usar Gemini en BigQuery para generar o sugerir código en SQL o Python, y para explicar una consulta en SQL existente. También puedes usar consultas en lenguaje natural para comenzar el análisis de datos. Para
aprender a generar, completar y resumir código, consulta la siguiente documentación:
- Asistencia de código SQL
- Asistencia de programación de Python
- Prepara los datos para el análisis. La preparación de datos en BigQuery te brinda recomendaciones de transformación generadas por IA y adaptadas al contexto para limpiar los datos para el análisis. Para obtener más información, consulta Prepara datos con Gemini.
- Crea y modifica canalizaciones de datos con el agente de ingeniería de datos. El agente de ingeniería de datos te ayuda a crear, modificar y solucionar problemas de canalizaciones de datos con instrucciones en lenguaje natural. Además de la lógica de SQL, el agente genera de forma proactiva metadatos semánticos, como descripciones de campos, resúmenes de tablas y aspectos genéricos, como información del sistema y del tipo, lo que garantiza que tus activos de datos se puedan descubrir desde el momento de su creación. Para obtener más información, consulta Usa el agente de ingeniería de datos para compilar y modificar canalizaciones de datos.
- Personaliza tus traducciones de SQL con reglas de traducción. (Vista previa) Crea reglas de traducción mejoradas con Gemini para personalizar tus traducciones de SQL cuando uses el traductor de SQL interactivo. Puedes describir los cambios en el resultado de la traducción de SQL con instrucciones en lenguaje natural o especificar patrones de SQL para buscar y reemplazar. Para obtener más información, consulta Crea una regla de traducción.
Para aprender a configurar Gemini en BigQuery, consulta Configura Gemini en BigQuery.
Funciones y recursos de BigQuery
BigQuery aborda las necesidades de los profesionales de datos en las siguientes funciones y responsabilidades.
Analista de datos
Orientación sobre las tareas para ayudarte si necesitas hacer lo siguiente:
- Consulta datos de BigQuery con consultas interactivas o por lotes a través de la sintaxis de consultas en SQL.
- Analiza y transforma datos de BigQuery con la API de BigQuery DataFrames compatible con pandas.
- Haz referencia a funciones, operadores y expresiones condicionales de SQL para consultar datos.
- Usa herramientas para analizar y visualizar datos de BigQuery, incluidas Looker, Data Studio y Hojas de cálculo de Google.
Usa estadísticas geoespaciales para analizar y visualizar datos geoespaciales con los sistemas de información geográfica de BigQuery.
Optimiza el rendimiento de las consultas mediante lo siguiente:
- Tablas particionadas: Reduce las tablas grandes según rangos de tiempo o números enteros.
- Vistas materializadas: Define las vistas almacenadas en caché para optimizar las consultas o proporcionar resultados persistentes.
- BI Engine: Servicio de análisis en memoria rápido de BigQuery.
Administrador de datos
Orientación sobre las tareas para ayudarte si necesitas hacer lo siguiente:
- Administra costos con reservas para equilibrar los precios según demanda y los basados en la capacidad.
- Comprende la seguridad y la administración de los datos para proteger los datos por conjunto de datos, tabla, columna, fila o vista
- Crea una copia de seguridad de los datos con instantáneas de tabla para conservar el contenido de una tabla en un momento determinado.
- Visualiza BigQuery INFORMATION_SCHEMA para comprender los metadatos de conjuntos de datos, trabajos, control de acceso, reservas, tablas y más.
- Usa trabajos para que las cargas, exportaciones, consultas o copias de datos de BigQuery sean acciones en tu nombre.
- Supervisa registros y recursos para comprender BigQuery y las cargas de trabajo.
Para obtener más información, consulta Introducción a la administración de BigQuery.
Para hacer un recorrido por las funciones de administración de datos de BigQuery directamente en la consola de Google Cloud , haz clic en Realizar el recorrido.
Científico de datos
Orientación sobre tareas que te ayudarán si necesitas usar el aprendizaje automático de BigQuery ML a fin de realizar las siguientes acciones:
- Comprender el recorrido del usuario de extremo a extremo para modelos de aprendizaje automático
- Administrar el control de acceso para BigQuery ML
- Crear y entrenar modelos de BigQuery ML, que incluyen lo siguiente:
- Previsión de regresión lineal
- Clasificaciones de regresión de logística binaria y de logística multiclase
- Agrupamiento en clústeres de k-means para la segmentación de datos
- Previsión de series temporales con modelos ARIMA+
Desarrollador de datos
Orientación sobre las tareas para ayudarte si necesitas hacer lo siguiente:
- Carga datos en BigQuery con lo siguiente:
Usar la biblioteca de muestra de código, que incluye lo siguiente:
Navegador de muestras deGoogle Cloud (con alcance para BigQuery)
¿Qué sigue?
- Si deseas obtener una descripción general del almacenamiento de BigQuery, consulta Descripción general del almacenamiento de BigQuery.
- Si deseas obtener una descripción general de las consultas de BigQuery, consulta Descripción general de las estadísticas de BigQuery.
- Para obtener una descripción general de la administración de BigQuery, consulta Introducción a la administración de BigQuery.
- Si deseas obtener una descripción general de la seguridad de BigQuery, consulta Descripción general de la seguridad de los datos y la administración de datos.