Notebooks et outils d'analyse programmatiques

Bien que SQL soit un langage de requête puissant, les langages de programmation comme Python, Java ou R fournissent des syntaxes et des fonctions statistiques qui peuvent être plus expressives pour les tâches d'analyse de données. Les environnements de notebook offrent une alternative très flexible aux feuilles de calcul pour les workflows complexes d'exploration de données et de machine learning (ML).

BigQuery fournit une intégration de notebooks intégrée et est compatible avec plusieurs autres solutions d'analyse programmatique.

Notebooks Colab Enterprise

Vous pouvez utiliser des notebooks Colab Enterprise dans BigQuery pour effectuer des workflows de data science et de ML de bout en bout dans une interface unique et intégrée. Contrairement aux éditeurs SQL standard, les notebooks vous permettent de combiner des requêtes SQL avec du code Python, du texte enrichi et des visualisations pour raconter une histoire complète avec vos données. Les notebooks Colab Enterprise sont idéaux pour les cas d'utilisation suivants :

  • Workflows de ML de bout en bout : créez, évaluez et déployez des modèles BigQuery ML dans une seule interface.
  • Exploration des données : nettoyez et analysez de grands ensembles de données à l'aide des DataFrames BigQuery.
  • Recherche collaborative : suivez l'historique des versions et partagez des notebooks avec vos collègues à l'aide d'Identity and Access Management (IAM).

Les notebooks Colab Enterprise offrent les avantages suivants :

  • Développement optimisé par l'IA : utilisez Gemini Enterprise Agent Platform pour le développement de code assisté.
  • Intégration Python fluide : utilisez l'API BigQuery DataFrames sans aucune configuration supplémentaire.
  • Fonctionnalités d'éditeur connues : profitez de la saisie semi-automatique SQL, comme dans l'éditeur SQL BigQuery.
  • Visualisations intégrées : utilisez des visualisations interactives de DataFrame ou des bibliothèques telles que matplotlib et seaborn directement dans votre workflow.
  • Interopérabilité SQL-Python : exécutez du code SQL dans des cellules qui font référence à des variables Python.

La galerie de notebooks est un hub central permettant de découvrir et d'utiliser des modèles de notebooks prédéfinis. Il inclut des modèles fondamentaux pour SQL, Python, Apache Spark et les DataFrames afin de vous aider à effectuer des tâches courantes telles que la préparation, l'analyse et la visualisation des données.

Gestion et sécurité de l'environnement d'exécution

Les notebooks utilisent des environnements d'exécution Colab Enterprise, qui sont des machines virtuelles Compute Engine attribuées à un utilisateur spécifique pour permettre l'exécution de code. L'accès aux notebooks est contrôlé à l'aide de rôles IAM. Pour détecter les failles dans les packages Python utilisés dans vos notebooks, vous pouvez installer et utiliser Notebook Security Scanner.

Surveillance et régions

Tous les composants de code dans BigQuery Studio sont stockés dans une région par défaut. La modification de ce paramètre change la région pour tous les composants de code nouvellement créés. Les notebooks Colab Enterprise sont disponibles dans toutes les régions où BigQuery Studio est disponible.

Pour surveiller l'utilisation des emplacements de notebooks, vous pouvez consulter votre rapport sur la facturation Cloud et appliquer un filtre pour le libellé goog-bq-feature-type avec la valeur BQ_STUDIO_NOTEBOOK.

Les fonctionnalités de notebook ne sont disponibles que dans la console Google Cloud .

Tarifs

Pour en savoir plus sur les tarifs des notebooks Colab Enterprise, consultez Tarifs des environnements d'exécution des notebooks.

BigQuery DataFrames

BigQuery DataFrames est un ensemble de bibliothèques Python Open Source qui vous permettent d'exploiter le traitement des données BigQuery à l'aide d'API Python connues. BigQuery DataFrames met en œuvre les API pandas et scikit-learn en envoyant le traitement à BigQuery via la conversion SQL. Cette conception vous permet d'utiliser BigQuery pour explorer et traiter des téraoctets de données, mais aussi pour entraîner des modèles de ML, le tout avec les API Python.

BigQuery DataFrames offre les avantages suivants :

  • Plus de 750 API pandas et scikit-learn mises en œuvre via une conversion SQL transparente vers les API BigQuery et BigQuery ML
  • Exécution différée des requêtes pour améliorer les performances
  • Extension des transformations de données à l'aide de fonctions Python définies par l'utilisateur pour permettre de traiter des données dans le cloud. Ces fonctions sont déployées automatiquement en tant que fonctions distantes BigQuery.
  • L'intégration à Gemini Enterprise Agent Platform afin d'utiliser des modèles Gemini pour la génération de texte

Autres solutions d'analyse programmatique

En plus de Colab Enterprise et BigQuery DataFrames, BigQuery s'intègre à plusieurs autres solutions programmatiques :

Autres ressources

BigQuery propose plusieurs bibliothèques clientes dans des langages tels que Java, Go, Python, JavaScript, PHP et Ruby. Certains frameworks d'analyse de données tels que pandas fournissent des plug-ins pour interagir directement avec BigQuery. Pour ceux qui préfèrent les environnements shell, l'outil de ligne de commande bq est disponible.