Introducción a la solución de problemas

En este documento, se proporciona una descripción general de las herramientas de diagnóstico, las interfaces de telemetría y los recursos de documentación disponibles para ayudarte a solucionar problemas en BigQuery.

Cuando encuentras fallas en las consultas, cuellos de botella en el rendimiento, errores de permisos, límites de cuota o problemas de transferencia de datos, BigQuery proporciona herramientas integradas para ayudarte a identificar las causas raíz y resolver los problemas con rapidez.

Flujo de trabajo para la solución de problemas

Para solucionar un problema en BigQuery de manera eficaz, considera los siguientes criterios de diagnóstico:

  1. Identificar el síntoma y el modo de falla Revisa los resultados de tu tarea para determinar si el problema es una falla grave (como un código de error o una falla del trabajo), una degradación del rendimiento (como una consulta lenta o una falta de ranuras), un rechazo de permisos o una discrepancia de costos inesperada.
  2. Inspecciona los detalles de la ejecución del trabajo. Usa el explorador de trabajos de la consola de Google Cloud , el gráfico de ejecución de consultas o las herramientas de línea de comandos para examinar los tiempos de nivel de etapa, la asignación de ranuras y los detalles de los errores. También puedes pedirle a Gemini Cloud Assist que investigue el problema.
  3. Analizar la telemetría y los metadatos Consulta las vistas de esquema de información o inspecciona los Registros de auditoría de Cloud para correlacionar el comportamiento de los trabajos con la contención de recursos, los límites de reservas o los cambios administrativos.
  4. Aplica mitigaciones específicas. Usa guías de solución de problemas específicas de la categoría o funciones de SQL defensivas para solucionar la causa subyacente.

Distinguir entre la solución de problemas y la optimización

Cuando trabajas con BigQuery, es importante distinguir entre la solución de problemas, la optimización del rendimiento y las prácticas recomendadas:

  • Soluciona problemas. Se enfoca en diagnosticar y resolver fallas inesperadas, errores de tiempo de ejecución, canalizaciones dañadas, agotamiento de cuotas o comportamientos no deseados que impiden que los trabajos se completen correctamente.
  • Optimización del rendimiento Se enfoca en mejorar la velocidad de ejecución, la latencia o la eficiencia de los recursos de las consultas y las cargas de trabajo que ya se están ejecutando correctamente. Para obtener más información, consulta Optimiza el rendimiento de las consultas.
  • Prácticas recomendadas Se enfoca en los patrones de arquitectura y diseño para el modelado, el almacenamiento, la seguridad y la administración de costos de los datos. Para obtener más información, consulta Introducción a las prácticas recomendadas.

Herramientas de diagnóstico

En las siguientes secciones, se describen varias interfaces de BigQuery y herramientas automatizadas para ayudarte a diagnosticar problemas en tus cargas de trabajo.

Herramientas visuales y de consola

Las siguientes herramientas te ayudan a solucionar problemas de BigQuery desde la consola deGoogle Cloud .

  • Explorador de trabajos. Busca, filtra y, también, inspecciona trabajos anteriores y en ejecución en proyectos u organizaciones sin escribir consultas en SQL. Puedes ver los mensajes de error, el uso de ranuras, los cronogramas de ejecución y los metadatos de los trabajos. Para obtener más información, consulta Supervisa trabajos en el Explorador de trabajos.
  • Gráfico de ejecución de consultas. Inspecciona el plan de ejecución visual por etapas de una consulta. El gráfico de ejecución te ayuda a identificar cuellos de botella, como derrames de shuffle en el disco, etapas vinculadas al procesamiento, sesgo de datos o retrasos de entrada y salida. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.
  • Estadísticas de consultas y gráficos de recursos. Visualiza gráficos históricos y en tiempo real del uso de ranuras, la simultaneidad de trabajos y las asignaciones de reservas para diagnosticar las restricciones de capacidad. Para obtener más información, consulta Usa gráficos de recursos administrativos.
  • Gemini Cloud Assist en BigQuery. Obtén un análisis contextual asistido por IA de las consultas con errores y los cuellos de botella de rendimiento. Gemini Cloud Assist explica los códigos de error, destaca la sintaxis de SQL problemática y sugiere pasos de solución directamente en la consola deGoogle Cloud . Para obtener más información, consulta Soluciona problemas de consultas con Gemini Cloud Assist.

Herramientas de diagnóstico automatizadas y de línea de comandos

Las siguientes herramientas pueden ayudarte a diagnosticar problemas de BigQuery desde una interfaz de línea de comandos.

  • Herramienta de línea de comandos de bq. Inspecciona las estructuras de error detalladas, los IDs de solicitud y los metadatos del trabajo con el comando bq show -j <var>JOB_ID</var> o agregando la marca --format=prettyjson a los comandos de consulta. Para obtener más información, consulta Soluciona problemas de comandos de la CLI.
  • Herramienta de gcpdiag Ejecuta diagnósticos automatizados desde la línea de comandos para detectar problemas de configuración comunes de Google Cloud , incluidas las brechas de permisos de IAM, las restricciones de red y los errores de la cuenta de servicio. Para obtener más información, consulta Soluciona problemas de consultas con gcpdiag.

Vistas de metadatos y telemetría

Las vistas de esquema de información te permiten consultar metadatos históricos y en tiempo real sobre los trabajos, la capacidad, la transferencia de transmisión y los conjuntos de datos con SQL estándar. Estas vistas incluyen lo siguiente:

Para obtener más información, consulta Introducción a BigQuery INFORMATION_SCHEMA.

Cloud Monitoring y Registros de auditoría de Cloud

  • Registros de auditoría de Cloud Revisa los registros de auditoría de actividad del administrador y de auditoría de acceso a los datos para rastrear quién inició operaciones específicas, inspeccionar las identidades de los emisores y diagnosticar PERMISSION_DENIED errores. Para obtener más información, consulta la referencia de los registros de auditoría de BigQuery.
  • Cloud Monitoring. Realiza un seguimiento de métricas, como el uso de ranuras, la duración de la ejecución de consultas y los bytes subidos, y configura políticas de alertas para notificar a tu equipo cuando se superen los umbrales o las cuotas. Para obtener más información, consulta Supervisa BigQuery con Cloud Monitoring.

Funciones de SQL defensivas y sentencias de depuración

Para evitar que las consultas fallen de forma inesperada debido a errores de datos del entorno de ejecución, usa lo siguiente:

  • Expresiones seguras. Usa SAFE_CAST(), SAFE_DIVIDE(), SAFE_OFFSET() y SAFE_ORDINAL() para devolver NULL en lugar de generar errores de tiempo de ejecución cuando los tipos de datos o los límites del array no coincidan. La mayoría de las funciones escalares admiten el prefijo SAFE.. Para obtener más información, consulta Funciones de depuración y el prefijo SAFE..
  • Aserciones de SQL. Usa la sentencia ASSERT en transacciones o secuencias de comandos de varias sentencias para aplicar condiciones de validación de datos y fallar con mensajes de error personalizados antes de que se ejecuten las operaciones downstream. Para obtener más información, consulta Depura sentencias.

Soluciona problemas por categoría

Selecciona una categoría de las siguientes secciones para ver códigos de error detallados, causas raíz y guías de resolución paso a paso.

Rendimiento y ejecución de las consultas

Diagnostica las consultas que no se ejecutan, agotan el tiempo de espera, encuentran restricciones de recursos o experimentan retrasos inesperados.

Identity and Access Management (IAM) y seguridad

Diagnostica fallas de control de acceso, asignaciones de roles faltantes y bloqueos de políticas de administración de datos.

Cuotas, límites de frecuencia y reservas

Resuelve problemas cuando las cargas de trabajo superan los límites de servicio o las asignaciones de capacidad de BigQuery.

Transferencia, transmisión y transferencia de datos

Diagnostica fallas cuando se cargan datos, se transmiten registros o se sincronizan fuentes externas.

  • Soluciona problemas de transferencias de datos. Diagnostica problemas del Servicio de transferencia de datos de BigQuery, la conectividad de red para las transferencias privadas y los errores de carga de datos CSV.
  • Soluciona problemas de las configuraciones de transferencia. Resuelve los errores de configuración del Servicio de transferencia de datos de BigQuery en fuentes como Amazon Simple Storage Service (Amazon S3), Salesforce, Google Ads y Cloud Storage.
  • Soluciona problemas de la API de BigQuery Storage. Depura las fallas de transferencia de transmisión, los errores de inserción a nivel de fila y las cuotas de capacidad de procesamiento de la API de BigQuery Storage Read, la API de BigQuery Storage Write (gRPC) y la API de BigQuery Storage Write (REST).
  • Soluciona errores de esquema. Resuelve errores de discrepancia de esquemas de operaciones de carga, consulta, copia y actualización de esquemas (como cambios de columnas faltantes, duplicadas o incompatibles) y límites de profundidad de anidamiento de esquemas, archivos y rutinas de 15 niveles.

Migración del almacén de datos

Diagnostica problemas cuando evalúes, traduzcas o migres almacenes de datos externos a BigQuery.

  • Soluciona problemas de migración. Resuelve errores de evaluación de migración, problemas de traducción de SQL interactiva y por lotes, y fallas de extracción de metadatos.

Fuentes de datos externas y consultas federadas

Diagnostica errores de conectividad, autenticación y ejecución cuando consultes datos fuera de BigQuery.

Discrepancias en la facturación y los costos

Investiga los cargos inesperados y las discrepancias de facturación en el procesamiento y el almacenamiento.

Mitigación de la pérdida de datos

Para recuperar datos históricos que se cambiaron o borraron, o para mantener la continuidad empresarial durante una interrupción regional, usa las siguientes herramientas de recuperación ante desastres y retención de datos:

  • Restablece datos. Consulta o restablece los datos de la tabla que se cambiaron o borraron dentro del período de viaje en el tiempo. Para obtener más información, consulta Restablece datos.
  • Viaje en el tiempo. Conserva los datos actualizados o borrados en un conjunto de datos durante un período de retención configurado para ayudar a protegerlos contra modificaciones accidentales. Para obtener más información, consulta Viaje en el tiempo.
  • Conmutación por error regional. Ascender una réplica secundaria al rol principal durante una interrupción regional cuando se usa la recuperación ante desastres administrada por BigQuery Para obtener más información, consulta Conmutación por error regional.

Uso de APIs

Cuando interactúas con BigQuery de manera programática, usa los siguientes recursos para optimizar la latencia de las solicitudes y administrar los flujos de trabajo de carga:

  • Sugerencias sobre el rendimiento de la API. Sigue las prácticas recomendadas para realizar llamadas a la API, como administrar grupos de conexiones, usar operaciones por lotes y controlar los reintentos. Para obtener más información, consulta Sugerencias sobre el rendimiento de la API.
  • Cargas de la API. Soluciona problemas y administra la transferencia de datos con las solicitudes de carga reanudable y de varias partes de la API de REST. Para obtener más información, consulta Cargas de la API.

Autenticación y ADC

Para obtener ayuda con la solución de problemas habituales que pueden surgir cuando usas las credenciales predeterminadas de la aplicación (ADC), consulta Soluciona problemas de configuración de ADC.

¿Qué sigue?