Notebooks y herramientas de análisis programático

Si bien SQL es un lenguaje de consulta potente, los lenguajes de programación como Python, Java o R proporcionan sintaxis y funciones estadísticas que pueden ser más expresivas para las tareas de análisis de datos. Los entornos de notebooks ofrecen una alternativa muy flexible a las hojas de cálculo para la exploración de datos complejos y los flujos de trabajo de aprendizaje automático (AA).

BigQuery proporciona integración de notebooks integrada, así como compatibilidad con varias otras soluciones de análisis programático.

Notebooks de Colab Enterprise

Puedes usar notebooks de Colab Enterprise en BigQuery para realizar flujos de trabajo de ciencia de datos y AA de extremo a extremo en una sola interfaz integrada. A diferencia de los editores de SQL estándar, los notebooks te permiten combinar consultas en SQL con código de Python, texto enriquecido y visualizaciones para contar una historia integral con tus datos. Los notebooks de Colab Enterprise son ideales para los siguientes casos de uso:

  • Flujos de trabajo de AA de extremo a extremo: Compila, evalúa e implementa modelos de BigQuery ML en una sola interfaz.
  • Exploración de datos: Limpia y analiza conjuntos de datos grandes con BigQuery DataFrames.
  • Investigación colaborativa: Haz un seguimiento del historial de versiones y comparte notebooks con colegas a través de Identity and Access Management (IAM).

Los notebooks de Colab Enterprise ofrecen los siguientes beneficios:

  • Desarrollo potenciado por IA: Aprovecha Gemini Enterprise Agent Platform para el desarrollo de código asistido.
  • Integración perfecta de Python: Usa la API de BigQuery DataFrames sin ninguna configuración adicional.
  • Funciones conocidas del editor: Aprovecha el autocompletado de SQL similar al editor de SQL de BigQuery.
  • Visualizaciones integradas: Usa visualizaciones interactivas de DataFrame o bibliotecas como matplotlib y seaborn directamente en tu flujo de trabajo.
  • Interoperabilidad entre SQL y Python: Ejecuta SQL en celdas que hagan referencia a variables de Python.

Información sobre las celdas

Un notebook se compone de celdas que puedes editar. Los siguientes tipos de celdas se admiten en los notebooks de Colab Enterprise:

  • Celda de texto: Usa una celda de texto para agregar explicaciones e imágenes a tu notebook en Markdown.

  • Celda de código: Usa una celda de código para agregar Python a tu notebook. Puedes ejecutar cada celda de código de forma individual. Una celda de código puede hacer referencia a cualquier variable creada en otra celda que ya hayas ejecutado.

  • Celda de SQL: Usa una celda de SQL para ejecutar consultas de GoogleSQL. El resultado de la consulta se guarda automáticamente como un DataFrame con el mismo nombre que el título de la celda. Puedes ejecutar varias sentencias de SQL en una sola celda de SQL, pero solo los resultados de la última sentencia se guardan en un DataFrame.

    Puedes hacer referencia a variables de Python en expresiones o usar BigQuery DataFrames como tablas en tu consulta encerrando el nombre de la variable entre llaves ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};

# Reference previous query results to iterate on your queries.
SELECT * FROM {df};

  • Celda de visualización: Usa una celda de visualización para generar automáticamente una visualización de cualquier DataFrame en tu notebook. Puedes modificar las columnas que se muestran y seleccionar entre varios tipos de gráficos y agregaciones. También puedes elegir colores personalizados, etiquetas de datos y títulos.

La galería de notebooks es un centro para descubrir y usar plantillas de notebooks precompiladas. Incluye plantillas fundamentales para SQL, Python, Apache Spark y DataFrames que te ayudarán a realizar tareas comunes, como la preparación, el análisis y la visualización de datos.

Administración y seguridad del entorno de ejecución

Los notebooks usan entornos de ejecución de Colab Enterprise, que son máquinas virtuales de Compute Engine asignadas a un usuario específico para habilitar la ejecución de código. El acceso a los notebooks se controla con roles de IAM. Para detectar vulnerabilidades en los paquetes de Python que se usan en tus notebooks, puedes instalar y usar el Notebook Security Scanner.

Supervisión y regiones

Todos los recursos de código en BigQuery Studio se almacenan en una región predeterminada, y la actualización de este parámetro de configuración cambia la región de los recursos de código recién creados. Los notebooks de Colab Enterprise están disponibles en todas las regiones en las que BigQuery Studio está disponible.

Para supervisar el uso de ranuras de notebooks, puedes ver tu informe de Facturación de Cloud y aplicar un filtro para la etiqueta goog-bq-feature-type con el valor BQ_STUDIO_NOTEBOOK.

Las funciones del notebook solo están disponibles en la consola de Google Cloud .

Precios

Para obtener información sobre los precios de los notebooks de Colab Enterprise, consulta Precios del entorno de ejecución de notebooks.

Permite trabajar con BigQuery DataFrames.

BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto que te permiten aprovechar el procesamiento de datos de BigQuery mediante APIs de Python conocidas. BigQuery DataFrames implementa las APIs de Pandas y scikit-learn mediante el envío del procesamiento a BigQuery a través de la conversión de SQL. Este diseño te permite usar BigQuery para explorar y procesar terabytes de datos y entrenar modelos de AA, todo con las APIs de Python.

BigQuery DataFrames ofrece los siguientes beneficios:

  • Más de 750 APIs de Pandas y scikit-learn implementadas a través de la conversión de SQL transparente a las APIs de BigQuery y BigQuery ML.
  • Aplazamiento de la ejecución de las consultas para mejorar el rendimiento
  • Extensión de las transformaciones de datos con funciones de Python definidas por el usuario para que puedas procesar datos en la nube. Estas funciones se implementan de forma automática como funciones remotas de BigQuery.
  • Integración en Gemini Enterprise Agent Platform para permitirte usar modelos de Gemini para la generación de texto.

Otras soluciones de análisis programático

Además de Colab Enterprise y BigQuery DataFrames, BigQuery se integra en varias otras soluciones programáticas:

Otros recursos

BigQuery ofrece varias bibliotecas cliente en lenguajes como Java, Go, Python, JavaScript, PHP y Ruby. Algunos marcos de trabajo de análisis de datos, como pandas, proporcionan complementos para interactuar directamente con BigQuery, y para quienes prefieren los entornos de shell, está disponible la herramienta de línea de comandos de bq.