Amazon Athena

Looker supporta le connessioni ad Amazon Athena, un servizio di query interattivo che ti consente di analizzare i dati in Amazon S3 utilizzando SQL standard. Amazon Athena è serverless, quindi non è necessario gestire alcuna infrastruttura. Ti vengono addebitate solo le query eseguite.

Crittografia del traffico di rete

È una best practice criptare il traffico di rete tra l'applicazione Looker e il tuo database. Valuta una delle opzioni descritte nella pagina della documentazione Abilita l'accesso sicuro ai database.

Configurazione di una connessione Amazon Athena

Questa pagina descrive come connettere Looker a un'istanza Amazon Athena.

  1. Assicurati di disporre di quanto segue:

    • Una coppia di chiavi di accesso Amazon AWS.
    • Il bucket S3 che contiene i dati su cui vuoi eseguire query in Looker con Amazon Athena. Le chiavi di accesso Amazon AWS devono disporre dell'accesso in lettura/scrittura a questo bucket. Se prevedi di utilizzare le tabelle derivate permanenti (PDT), le chiavi di accesso AWS devono disporre anche delle autorizzazioni per creare e gestire database, tabelle e viste in AWS Glue Data Catalog. Le autorizzazioni richieste includono glue:CreateDatabase, glue:CreateTable, glue:UpdateTable e glue:DeleteTable, nonché glue:BatchCreatePartition se utilizzi PDT partizionate. Se configuri gli override PDT, concedi queste autorizzazioni alle chiavi di accesso per l'override PDT. Per saperne di più, consulta Accesso granulare a database e tabelle nel Data Catalog di AWS Glue nella documentazione di Amazon Athena.

    • Conoscenza della posizione dei dati dell'istanza Amazon Athena. Il nome della regione si trova nella parte in alto a destra della console Amazon.

  2. Nella sezione Admin (Amministratore) di Looker, seleziona Connections (Connessioni) e poi fai clic su Add Connection (Aggiungi connessione).

  3. Compila i dettagli della connessione:

    • Nome: specifica il nome della connessione. Questo è il modo in cui farai riferimento alla connessione nei progetti LookML.
    • Dialetto: seleziona Amazon Athena.
    • Host e Porta: specifica il nome dell'host e della porta come descritto nella documentazione di Athena sul formato dell'URL JDBC. L'host deve essere un endpoint Amazon valido (ad esempio athena.eu-west-1.amazonaws.com) e la porta deve rimanere 443. Un elenco aggiornato degli endpoint che supportano Athena è disponibile in questa pagina di riferimento generale di AWS.
    • Database: specifica il database predefinito che vuoi modellare. È possibile accedere ad altri database, ma Looker considera questo database come quello predefinito.
    • Nome utente: specifica l'ID chiave di accesso AWS.
    • Password: specifica la chiave di accesso segreta di AWS.
    • Abilita PDT: utilizza questo pulsante di attivazione/disattivazione per abilitare le tabelle derivate permanenti (PDT). L'abilitazione delle PDT mostra ulteriori campi PDT e la sezione PDT Overrides (Override PDT) per la connessione.
    • Database temporaneo: specifica il nome della directory di output nel bucket S3 in cui vuoi che Looker scriva le PDT. Il percorso completo della directory di output deve essere specificato nel campo Parametri JDBC aggiuntivi. Consulta la sezione Specifica del bucket S3 per l'output dei risultati delle query e le PDT in questa pagina.
    • Numero massimo di connessioni del builder di PDT: specifica il numero di possibili build di PDT simultanee su questa connessione. L'impostazione di un valore troppo alto potrebbe influire negativamente sui tempi di query. Per saperne di più, consulta la pagina della documentazione Connessione di Looker al database.
    • Parametri JDBC aggiuntivi: specifica parametri aggiuntivi per la connessione:
      • Il parametro s3_staging_dir è il bucket S3 che Looker deve utilizzare per l'output dei risultati delle query e le PDT; consulta la sezione Specifica del bucket S3 per l'output dei risultati delle query e le PDT in questa pagina.
      • Flag per i risultati in modalità flusso. Se all'utente Athena è associata la policy athena:GetQueryResultsStream, puoi aggiungere ;UseResultsetStreaming=1 alla fine dei parametri JDBC aggiuntivi per migliorare in modo significativo le prestazioni dell'estrazione di set di risultati di grandi dimensioni. Per impostazione predefinita, questo parametro è impostato su 0.
      • Parametri aggiuntivi facoltativi da aggiungere alla stringa di connessione JDBC. Consulta la sezione Parametri JDBC supportati di questa pagina per l'elenco dei parametri supportati da Looker.
    • SSL: ignora; per impostazione predefinita, tutte le connessioni all'API AWS verranno criptate.
    • Numero massimo di connessioni per nodo: per impostazione predefinita, questo valore è impostato su 5. Puoi aumentare questo valore fino a 20 se Looker è il motore di query principale in esecuzione su Athena. Per ulteriori dettagli sui limiti del servizio, consulta la documentazione sui limiti del servizio Athena. Per ulteriori informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database.
    • Timeout del pool di connessioni: specifica il timeout del pool di connessioni. Per impostazione predefinita, il timeout è impostato su 120 secondi. Per ulteriori informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database.
    • SQL Runner Precache (Pre-cache SQL Runner): deseleziona questa opzione se preferisci che SQL Runner carichi le informazioni sulle singole tabelle solo quando vengono selezionate. Per ulteriori informazioni, consulta la pagina della documentazione Connessione di Looker al tuo database.
    • Fuso orario database: specifica il fuso orario utilizzato nel database. Lascia vuoto questo campo se non vuoi convertire il fuso orario. Per ulteriori informazioni, consulta la pagina della documentazione dedicata all'uso delle impostazioni relative al fuso orario.

Per verificare che la connessione sia riuscita, fai clic sul pulsante Test Connection (Verifica connessione) nella sezione Status details (Dettagli stato) in fondo alla pagina Connections Settings (Impostazioni connessioni).

Se Looker visualizza Can Connect (Connessione possibile), premi Connect (Connetti) per creare la connessione.

La connessione al tuo database viene quindi aggiunta all'elenco nella pagina Connections (Connessioni) di Admin (Amministrazione) di Looker.

Specifica del bucket S3 per l'output dei risultati delle query e i PDT

Utilizza il campo Additional JDBC parameters (Parametri JDBC aggiuntivi) della pagina Connections (Connessioni) per configurare il percorso del bucket S3 che Looker utilizzerà per archiviare l'output dei risultati delle query e per specificare il nome della directory di output nel bucket S3 in cui vuoi che Looker scriva le PDT. Specifica queste informazioni utilizzando il parametro s3_staging_dir.

Il parametro JDBC s3_staging_dir è un modo alternativo per configurare la proprietà Amazon Athena S3OutputLocation, necessaria per le connessioni JDBC di Athena. Per saperne di più e per un elenco di tutte le opzioni del driver JDBC disponibili, consulta la documentazione di Athena sulle opzioni del driver JDBC.

Nel campo Parametri JDBC aggiuntivi, specifica il parametro s3_staging_dir utilizzando il seguente formato:

`s3_staging_dir=s3://<s3-bucket>/<output-path>`

Dove:

  • <s3-bucket> è il nome del bucket S3 che contiene i dati su cui vuoi eseguire query in Looker con Amazon Athena.
  • <output-path> è il percorso in cui Looker scriverà l'output dei risultati della query.

Per configurare la directory in cui Looker scriverà le PDT, inserisci il percorso della directory nel bucket S3 nel campo Database temporaneo. Ad esempio, se vuoi che Looker scriva le PDT in s3://<s3-bucket>/looker_scratch, inserisci questo valore nel campo Database temporaneo:

`looker_scratch`

Inserisci solo il percorso della directory. Looker recupera il nome del bucket S3 dal parametro s3_staging_dir inserito nel campo Parametri JDBC aggiuntivi.

Considerazioni sui bucket S3

Ti consigliamo di configurare i cicli di vita degli oggetti Amazon S3 per eliminare periodicamente i file non necessari nel bucket S3 specificato. Ci sono diversi motivi:

  • Athena archivia i risultati di ogni query in un bucket S3. Consulta Athena Querying.
  • Se hai attivato le PDT, quando ne viene creata una, i metadati relativi alla tabella creata vengono archiviati nel bucket S3.

Risorse

Parametri JDBC supportati

Per Amazon Athena, Looker supporta i seguenti parametri JDBC nel campo Parametri JDBC aggiuntivi per la connessione. Per informazioni su questi parametri, consulta la documentazione del tuo database.

  • ApplicationName
  • AwsCredentialsProviderArguments
  • AwsCredentialsProviderClass
  • AwsRegion
  • Catalog
  • Database
  • EnableResultReuseByAge
  • EndPointOverride
  • LogLevel
  • MaxQueryExecutionPollingInterval
  • maxResultReuseAgeInMinutes
  • MetadataRetrievalMethod
  • MinQueryExecutionPollingInterval
  • OutputLocation
  • password
  • ProxyHost: per le istanze Looker pubbliche, il valore del parametro ProxyHost deve essere l'indirizzo IP pubblico dell'istanza.
  • ProxyPort
  • ProxyPWD
  • ProxyUID
  • QueryExecutionPollingIntervalMultiplier
  • Region
  • ResultFetcher
  • ResultReuseByAgeConfiguration
  • s3_staging_dir
  • S3OutputEncOption
  • S3OutputLocation
  • Schema
  • user
  • UseResultsetStreaming
  • WorkGroup

Funzionalità supportate

Affinché Looker supporti alcune funzionalità, anche il dialetto del database deve supportarle.

A partire da Looker 26.22, Amazon Athena supporta le seguenti funzionalità:

Funzionalità Supportata?
Looker (Google Cloud core)
Aggregati simmetrici
Tabelle derivate
Tabelle derivate SQL permanenti
Tabelle derivate permanenti native
Visualizzazioni stabili
Interruzione delle query
Pivot basati su SQL
Fusi orari
SSL
Subtotali
Parametri JDBC aggiuntivi
Sensibile alle maiuscole
Tipo di località
Tipo di elenco
Percentile
Percentile valori distinti
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
SQL Runner Count
SQL Explain
Credenziali OAuth 2.0
Commenti sul contesto
Pool di connessioni
Sketch HLL
Riconoscimento degli aggregati
PDT incrementali
Millisecondi
Microsecondi
Viste materializzate
Misure in base al periodo
Conteggio approssimato valori distinti
Modelli analitici nel database
Calendari personalizzati

Passaggi successivi

Dopo aver completato la connessione al database, configura le opzioni di autenticazione.