Blocs Looker

Les blocs Looker sont des modèles de données prédéfinis pour les modèles analytiques et les sources de données courants. Réutilisez les travaux que d'autres ont effectués au lieu de recommencer à zéro, puis personnalisez les blocs pour les adapter à vos spécifications exactes. Des modèles SQL optimisés aux modèles de données entièrement construits, les blocs Looker peuvent servir de point de départ pour une modélisation des données rapide et flexible dans Looker.

Vous pouvez obtenir des blocs à personnaliser et à ajouter à votre instance Looker à partir de différentes sources, y compris les suivantes :

  • Le Marketplace Looker autonome, où vous pouvez rechercher des blocs et accéder à leur code source.
  • Le Marketplace Looker accessible depuis votre instance Looker. Depuis ce Marketplace, vous pouvez parcourir et installer des blocs Looker (appelés "modèles") directement dans votre instance Looker. Pour en savoir plus sur l'installation d'outils à partir du Marketplace Looker, consultez la page de documentation Utiliser le Marketplace Looker.

Types de blocs Looker

Les blocs Looker offrent diverses fonctionnalités, telles que les suivantes :

  • Les blocs de données, qui incluent à la fois des ensembles de données publics et des modèles LookML complets, nécessitent de copier le modèle LookML à partir d'un dépôt GitHub pour accéder aux tables modélisées. Ces blocs ne sont pas personnalisables. Pour obtenir des instructions détaillées, consultez la section Utiliser des blocs de données sur cette page.

  • Les applications de collecte de données, telles que Segment et Snowplow, suivent les événements dans un format relativement standardisé. Cela permet de créer des modèles de conception basés sur des modèles (capables de nettoyer, de transformer et d'analyser les données) qui peuvent être utilisés par n'importe quel client utilisant ces applications.

  • D'autres applications Web, telles que Salesforce, vous permettent d'ajouter des champs personnalisés pour vos utilisateurs internes. Naturellement, cela crée des données dans un format moins standardisé. Par conséquent, nous pouvons créer un modèle pour une partie du modèle de données afin de rendre l'analyse opérationnelle, mais vous devrez personnaliser la partie non standardisée.

  • Il existe également des blocs pour obtenir des insights commerciaux généraux. Ces blocs sont des modèles de conception SQL ou LookML optimisés qui sont indépendants de la source de données. Par exemple, de nombreuses entreprises souhaitent analyser la valeur à vie d'un client au fil du temps. Ces modèles comportent certaines hypothèses, mais ils peuvent être personnalisés pour répondre aux besoins spécifiques de votre entreprise. Ces modèles reflètent le point de vue de Looker sur la meilleure façon de mener certains types d'analyses.

Vous pouvez parcourir les blocs Looker dans le répertoire de l'instance publique du Marketplace Looker à l'adresse marketplace.looker.com.

Installer un bloc Looker

Pour installer un bloc Looker à partir du Marketplace associé à votre instance Looker, suivez les instructions concernant l'installation d'un outil à partir du Marketplace.

Pour installer un bloc Looker à partir de marketplace.looker.com, suivez les instructions du code source du bloc.

Chaque bloc Looker est accompagné d'instructions d'utilisation spécifiques.

Normalisation et personnalisation

Le degré de personnalisation de votre bloc peut dépendre du niveau de normalisation de votre schéma de base de données. La plupart des blocs Looker nécessitent une certaine personnalisation pour s'adapter à votre schéma de données.

Certains blocs présentent à la fois des explorations et des vues dans le même fichier. Cela facilite la visualisation, mais en général, vous devez copier les sections appropriées de LookML aux emplacements appropriés de votre modèle de données. Pour en savoir plus, consultez la page de documentation Types de fichiers dans un projet LookML.

Dans certains cas, vous devrez peut-être créer des fichiers LookML dans votre modèle de données pour héberger les exemples.

Utiliser des blocs de données

Les blocs de données sont un type spécial de bloc Looker qui fournit l'ensemble de données ainsi que le modèle de données. Les blocs de données incluent des sources de données publiques, telles que les suivantes :

  • Données démographiques : métriques démographiques courantes de l'American Community Survey au niveau de l'État, du comté, de la zone de tabulation du code postal et même du groupe de blocs de recensement.
  • Données météo : rapports météo aux États-Unis au niveau du code postal de 1920 à la veille. Ce bloc est mis à jour tous les soirs.

La procédure d'accès à l'ensemble de données d'un bloc de données varie en fonction de votre schéma de base de données. Les sections suivantes contiennent des instructions pour accéder aux ensembles de données sur ces bases de données :

Accéder aux ensembles de données sur Google BigQuery

Si vous disposez d'un compte Google BigQuery, vous pouvez accéder aux ensembles de données hébergés par BigQuery de Looker. Passez à la section Ajouter des blocs de données aux projets sur cette page.

Si vous ne disposez pas encore d'un compte Google BigQuery, vous pouvez configurer un essai sans frais, puis accéder aux ensembles de données publics de Looker sur BigQuery.

Accéder aux ensembles de données sur d'autres bases de données

Les données transformées pour les ensembles de données Amazon Redshift, MySQL, PostgreSQL ou Oracle sont disponibles publiquement dans Google Cloud Services et S3. Vous pouvez ainsi les importer directement dans la base de données de votre choix.

Nous avons également mis à disposition le langage de définition de données (LDD) pour chacun des ensembles de données du dépôt GitHub. Les instructions DDL devront peut-être être modifiées pour les types de données de la base de données sélectionnée, mais elles devraient donner une idée des types de colonnes pour chaque table.

Téléchargez les données directement à partir de l'un des emplacements suivants :

Accéder au modèle LookML

Créez un fork de l'un de nos dépôts GitHub dans un nouveau dépôt GitHub (hébergé par Looker ou par votre entreprise) que vous pourrez ensuite étendre ou affiner dans votre instance :

Ajouter des blocs de données aux projets

En plus de la méthode décrite dans cette section, vous pouvez également utiliser les perfectionnements de LookML pour exploiter les vues et les explorations dans vos projets.

Pour ajouter un bloc de données à votre projet :

  1. Ajoutez un projet à votre instance Looker.

  2. Créez un fork ou copiez les dépôts GitHub mentionnés précédemment pour accéder à LookML prédéfini. Veillez à créer un dépôt GitHub.

  3. Supprimez les autres fichiers de dialecte de base de données du dépôt. Les blocs Looker contiennent généralement des fichiers pour Google BigQuery, Amazon Redshift et Snowflake. Par exemple, si vous configurez des blocs de données sur Google BigQuery, vous n'aurez besoin que des fichiers de vue Google BigQuery, du fichier d'exploration Google BigQuery et du fichier de modèle Google BigQuery.

  4. Remplacez le nom de la connexion dans votre fichier de modèle par la connexion à votre base de données où se trouvent les données des blocs de données. Si vous utilisez Google BigQuery ou Snowflake, utilisez la connexion à la base de données à partir de laquelle vous allez étendre ou affiner.

    Toute la logique de jointure existe dans un fichier .explore dans chacun des dépôts. Il s'agit du fichier que vous inclurez lors des étapes suivantes, une fois que vous aurez configuré le fichier manifeste de votre projet.

  5. Dans votre projet Looker principal où vous allez étendre ou affiner les blocs de données, créez un fichier manifeste de projet.

  6. Ajoutez le code LookML suivant au fichier manifeste du projet pour référencer les blocs de données dans votre projet Looker principal :

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Facteurs de configuration et options

Google BigQuery : veillez à utiliser l'ensemble de fichiers modélisés approprié. Si vous utilisez Google BigQuery, vous pouvez référencer tous les fichiers avec _bq_ dans le nom de fichier. Vous devrez peut-être adapter nos dialectes de modèle Google BigQuery à votre propre dialecte de base de données.

Extensions : tous nos projets ont été configurés pour autoriser les extensions à partir de fichiers d'exploration, car les extensions de modèle peuvent entraîner des problèmes avec plusieurs connexions.

Joindre des tables dérivées : vous pouvez consulter notre documentation sur les tables dérivées natives. Vous pouvez laisser Looker écrire du code SQL pour vous à différents niveaux d'agrégation sur nos ensembles de données disponibles publiquement et les joindre à votre modèle.

Fusionner des ensembles de résultats : vous pouvez également choisir de fusionner des ensembles de résultats de nos ensembles de données avec vos données en combinant des ensembles de résultats de requête.

Exemple de configuration de l'ensemble de données démographiques

  1. Accédez aux données en téléchargeant des données brutes à partir de nos buckets S3 ou Google Cloud Services, ou en vous connectant à une base de données Looker.

  2. Importez le modèle Bloc de données démographiques à partir de LookML en tant que projet distinct dans votre instance Looker.

  3. Utilisez le include paramètre pour importer le fichier de vue.

  4. Ensuite, étendez ou affinez le fichier de vue, ou utilisez des tables dérivées natives pour obtenir des données au niveau d'agrégation nécessaire pour les explorations.

    Dans notre exemple, étant donné que les données démographiques se trouvent à un niveau d'agrégation différent de celui de notre ensemble de données e-commerce (groupe de blocs par rapport au code postal), nous utilisons des tables dérivées intégrées pour agréger les statistiques au niveau du code postal. Cela élimine les jointures complexes de type "plusieurs à plusieurs" :

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Joignez les fichiers de vue au modèle :

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Explorez et visualize les données.