Looker est compatible avec les connexions à Amazon Athena, un service de requête interactif qui vous permet d'analyser les données dans Amazon S3 à l'aide du langage SQL standard. Amazon Athena est sans serveur, il n'y a donc pas d'infrastructure à gérer. Seules les requêtes exécutées vous sont facturées.
Chiffrement du trafic réseau
Il est recommandé de chiffrer le trafic réseau entre l'application Looker et votre base de données. Pour ce faire, consultez les options détaillées sur la page Sécurisation de l'accès à la base de données de la documentation.
Configurer une connexion Amazon Athena
Cette page explique comment connecter Looker à une instance Amazon Athena.
Assurez-vous de disposer des éléments suivants :
- Une paire de clés d'accès Amazon AWS.
Le bucket S3 contenant les données que vous souhaitez interroger dans Looker avec Amazon Athena. Les clés d'accès Amazon AWS doivent disposer d'un accès en lecture/écriture à ce bucket. Si vous prévoyez d'utiliser des tables dérivées persistantes (PDT), les clés d'accès AWS doivent également disposer des autorisations nécessaires pour créer et gérer des bases de données, des tables et des vues dans le Data Catalog AWS Glue. Les autorisations requises incluent
glue:CreateDatabase,glue:CreateTable,glue:UpdateTableetglue:DeleteTable, ainsi queglue:BatchCreatePartitionsi vous utilisez des tables dérivées persistantes partitionnées. Si vous configurez des remplacements de PDT, accordez ces autorisations aux clés d'accès de remplacement de PDT. Pour en savoir plus, consultez Accès précis aux bases de données et aux tables dans le catalogue de données AWS Glue dans la documentation Amazon Athena.Savoir où se trouvent les données de votre instance Amazon Athena. Le nom de la région se trouve en haut à droite de la console Amazon.
Dans la section Admin de Looker, sélectionnez Connexions, puis cliquez sur Ajouter une connexion.
Saisissez les informations de connexion :
- Nom : spécifiez le nom de la connexion. C'est sous ce nom que la connexion sera désignée dans les projets LookML.
- Dialect (Dialecte) : sélectionnez Amazon Athena.
- Hôte et Port : spécifiez le nom de l'hôte et du port, comme décrit dans la documentation Athena sur le format d'URL JDBC. L'hôte doit être un point de terminaison Amazon valide (comme
athena.eu-west-1.amazonaws.com) et le port doit rester défini sur443. Une liste à jour des points de terminaison compatibles avec Athena est disponible sur cette page de référence générale AWS. - Base de données : spécifiez la base de données par défaut que vous souhaitez modéliser. D'autres bases de données sont accessibles, mais Looker traite cette base de données comme la base de données par défaut.
- Nom d'utilisateur : spécifiez l'ID de clé d'accès AWS.
- Mot de passe : spécifiez la clé d'accès secrète AWS.
- Activer les PDT : utilisez ce bouton pour activer les tables dérivées persistantes (PDT). L'activation des PDT affiche des champs PDT supplémentaires et la section PDT Overrides (Remplacements pour les PDT) pour la connexion.
- Base de données temporaire : spécifiez le nom du répertoire de sortie dans votre bucket S3 où vous souhaitez que Looker écrive vos tables de données dérivées persistantes. Le chemin d'accès complet à votre répertoire de sortie doit être spécifié dans le champ Paramètres JDBC supplémentaires. Consultez la section Spécifier votre bucket S3 pour la sortie des résultats de requête et les PDT sur cette page.
- Nombre maximal de connexions du générateur de PDT : spécifiez le nombre de créations de PDT simultanées possibles sur cette connexion. Si vous définissez une valeur trop élevée, cela peut avoir un impact négatif sur les temps de requête. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données.
- Paramètres JDBC supplémentaires : spécifiez des paramètres supplémentaires pour la connexion :
- Le paramètre
s3_staging_direst le bucket S3 que Looker doit utiliser pour la sortie des résultats de requête et les tables de données dérivées persistantes. Consultez la section Spécifier votre bucket S3 pour la sortie des résultats de requête et les tables de données dérivées persistantes sur cette page. - Indicateur pour les résultats de streaming. Si la règle
athena:GetQueryResultsStreamest associée à votre utilisateur Athena, vous pouvez ajouter;UseResultsetStreaming=1à la fin de vos paramètres JDBC supplémentaires pour améliorer considérablement les performances d'extraction d'un grand ensemble de résultats. Ce paramètre est défini sur0par défaut. - Paramètres supplémentaires facultatifs à ajouter à la chaîne de connexion JDBC. Pour obtenir la liste des paramètres JDBC compatibles avec Looker, consultez la section Paramètres JDBC compatibles sur cette page.
- Le paramètre
- SSL : ignorez ce champ. Par défaut, toutes les connexions à l'API AWS sont chiffrées.
- Nombre maximal de connexions par nœud : par défaut, cette valeur est définie sur 5. Vous pouvez augmenter cette limite jusqu'à 20 si Looker est le principal moteur de requêtes exécuté sur Athena. Pour en savoir plus sur les limites du service, consultez la documentation sur les limites du service Athena. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données.
- Délai avant expiration du pool de connexions : spécifiez le délai avant expiration du pool de connexions. Par défaut, le délai avant expiration est défini sur 120 secondes. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données.
- Effectuer une mise en cache préalable de l'exécuteur SQL : désélectionnez cette option si vous préférez que l'exécuteur SQL charge les informations de la table uniquement lorsqu'une table est sélectionnée. Pour en savoir plus, consultez la page de documentation Connecter Looker à votre base de données.
- Fuseau horaire de la base de données : spécifiez le fuseau horaire utilisé dans la base de données. Laissez ce champ vide si vous ne souhaitez pas convertir le fuseau horaire. Pour en savoir plus, consultez la page de documentation Utiliser les paramètres de fuseau horaire.
Pour vérifier que la connexion est établie, cliquez sur le bouton Tester la connexion dans la section Détails de l'état en bas de la page Paramètres de connexion.
Si Looker affiche Connexion possible, appuyez sur Connecter pour créer la connexion.
Votre connexion de base de données est ensuite ajoutée à la liste sur la page Connexions de la section Administration de Looker.
Spécifier votre bucket S3 pour la sortie des résultats de requête et les tables dérivées persistantes
Utilisez le champ Paramètres JDBC supplémentaires de la page Connexions pour configurer le chemin d'accès au bucket S3 que Looker utilisera pour stocker les résultats des requêtes, et pour spécifier le nom du répertoire de sortie dans le bucket S3 où vous souhaitez que Looker écrive les tables de données dérivées. Spécifiez ces informations à l'aide du paramètre s3_staging_dir.
Le paramètre JDBC s3_staging_dir est une autre façon de configurer la propriété Amazon Athena S3OutputLocation, qui est requise pour les connexions JDBC Athena. Pour en savoir plus et obtenir la liste de toutes les options de pilote JDBC disponibles, consultez la documentation Athena sur les options de pilote JDBC.
Dans le champ Paramètres JDBC supplémentaires, spécifiez le paramètre s3_staging_dir au format suivant :
`s3_staging_dir=s3://<s3-bucket>/<output-path>`
Où :
<s3-bucket>est le nom du bucket S3 qui contient les données que vous souhaitez interroger dans Looker avec Amazon Athena.<output-path>est le chemin d'accès où Looker écrira les résultats de la requête.
Pour configurer le répertoire dans lequel Looker écrira les PDT, saisissez le chemin d'accès du répertoire dans le bucket S3 dans le champ Base de données temporaire.
Par exemple, si vous souhaitez que Looker écrive des PDT dans s3://<s3-bucket>/looker_scratch, saisissez ce qui suit dans le champ Base de données temporaire :
`looker_scratch`
Saisissez uniquement le chemin d'accès au répertoire. Looker obtient le nom du bucket S3 à partir du paramètre s3_staging_dir que vous saisissez dans le champ Paramètres JDBC supplémentaires.
À savoir sur les buckets S3
Nous vous recommandons de configurer les cycles de vie des objets Amazon S3 pour nettoyer régulièrement les fichiers inutiles dans le bucket S3 spécifié. Plusieurs raisons peuvent expliquer ce phénomène :
- Athena stocke les résultats de chaque requête dans un bucket S3. Consultez Requêtes Athena.
- Si vous avez activé les PDT, lorsqu'une PDT est créée, les métadonnées de la table créée sont stockées dans le bucket S3.
Ressources
- Documentation Amazon Athena
- Console Amazon Web Services pour Athena (nécessite une connexion AWS)
- Référence Amazon Athena SQL et HiveQL
Paramètres JDBC compatibles
Pour Amazon Athena, Looker accepte les paramètres JDBC suivants dans le champ Paramètres JDBC supplémentaires de la connexion. Pour en savoir plus sur ces paramètres, consultez la documentation de votre base de données.
ApplicationNameAwsCredentialsProviderArgumentsAwsCredentialsProviderClassAwsRegionCatalogDatabaseEnableResultReuseByAgeEndPointOverrideLogLevelMaxQueryExecutionPollingIntervalmaxResultReuseAgeInMinutesMetadataRetrievalMethodMinQueryExecutionPollingIntervalOutputLocationpasswordProxyHost: pour les instances Looker publiques, la valeur du paramètreProxyHostdoit être l'adresse IP publique de l'instance.ProxyPortProxyPWDProxyUIDQueryExecutionPollingIntervalMultiplierRegionResultFetcherResultReuseByAgeConfigurations3_staging_dirS3OutputEncOptionS3OutputLocationSchemauserUseResultsetStreamingWorkGroup
Prise en charge de fonctionnalités
Pour que Looker prenne en charge certaines fonctionnalités, votre dialecte de base de données doit également les prendre en charge.
Amazon Athena est compatible avec les fonctionnalités suivantes à partir de Looker 26.22 :
| Fonctionnalité | Compatibilité |
|---|---|
| Looker (Google Cloud Core) | |
| Agrégations symétriques | |
| Tables dérivées | |
| Tables dérivées SQL persistantes | |
| Tables dérivées natives persistantes | |
| Vues stables | |
| Arrêt des requêtes | |
| Pivots basés sur SQL | |
| Fuseaux horaires | |
| SSL | |
| Sous-totaux | |
| Paramètres JDBC supplémentaires | |
| Sensible à la casse | |
| Type de lieu | |
| Type de liste | |
| Centile | |
| Centile distinct | |
| Afficher les processus de l'exécuteur SQL | |
| Décrire la table dans l'exécuteur SQL | |
| Afficher les index dans l'exécuteur SQL | |
| Sélectionner 10 dans l'exécuteur SQL | |
| Nombre d'exécuteurs SQL | |
| SQL Explain | |
| Identifiants OAuth 2.0 | |
| Commentaires sur le contexte | |
| Regroupement de connexions | |
| Résumés HLL | |
| Reconnaissance d'agrégats | |
| Augmentation de tables PDT | |
| Millisecondes | |
| Microsecondes | |
| Vues matérialisées | |
| Mesures de variation par période | |
| Nombre approximatif d'éléments distincts | |
| Modèles d'analyse dans la base de données | |
| Agendas personnalisés |
Étapes suivantes
Une fois la connexion à la base de données établie, configurez les options d'authentification.