Amazon Athena

Looker supporta le connessioni ad Amazon Athena, un servizio di query interattivo che ti consente di analizzare i dati in Amazon S3 utilizzando SQL standard. Amazon Athena è serverless, quindi non è necessario gestire alcuna infrastruttura. Ti vengono addebitate solo le query eseguite.

Criptare il traffico di rete

È una best practice criptare il traffico di rete tra l'applicazione Looker e il tuo database. Valuta una delle opzioni descritte nella pagina della documentazione Abilita l'accesso sicuro ai database.

Configurare una connessione Amazon Athena

Questa pagina descrive come connettere Looker a un'istanza di Amazon Athena.

  1. Assicurati di disporre di quanto segue:

    • Una coppia di chiavi di accesso Amazon AWS.

    • Il bucket S3 contenente i dati su cui vuoi eseguire query in Looker con Amazon Athena. Le chiavi di accesso Amazon AWS devono disporre dell'accesso in lettura/scrittura a questo bucket.

      Amazon Athena deve avere accesso a questo bucket S3 tramite un ruolo o un set di autorizzazioni, nonché tramite regole firewall. Non aggiungere regole di sicurezza al bucket S3 per l'IP di Looker, in quanto ciò potrebbe bloccare inavvertitamente l'accesso di Amazon Athena al bucket S3. (Per altri dialetti oltre ad Amazon Athena, gli utenti potrebbero voler limitare l'accesso ai dati dal livello di rete con una lista consentita di indirizzi IP, come descritto nella pagina della documentazione Abilita l'accesso sicuro ai database.)

    • Conoscenza della posizione dei dati dell'istanza di Amazon Athena. Il nome della regione è disponibile nella parte in alto a destra della console Amazon.

  2. Nella sezione Amministrazione di Looker, seleziona Connessioni e poi fai clic su Aggiungi connessione.

  3. Compila i dettagli della connessione:

    • Nome: specifica il nome della connessione. Questo è il modo in cui farai riferimento alla connessione nei progetti LookML.
    • Dialetto: seleziona Amazon Athena.
    • Host e Porta: specifica il nome dell'host e della porta come descritto nella documentazione di Athena sul formato dell'URL JDBC. L'host deve essere un endpoint Amazon valido (ad esempio athena.eu-west-1.amazonaws.com) e la porta deve rimanere su 443. Un elenco aggiornato degli endpoint che supportano Athena è disponibile in questa pagina di riferimento generale di AWS.
    • Database: specifica il database predefinito che vuoi modellare. È possibile accedere ad altri database, ma Looker tratta questo database come database predefinito.
    • Nome utente: specifica l'ID della chiave di accesso AWS.
    • Password: specifica la chiave di accesso segreta AWS.
    • Abilita PDT: utilizza questo pulsante di attivazione/disattivazione per abilitare le tabelle derivate permanenti (PDT). L'abilitazione delle PDT mostra ulteriori campi PDT e la sezione Override PDT per la connessione.
    • Database temporaneo: specifica il nome della directory di output nel bucket S3 in cui vuoi che Looker scriva le PDT. Il percorso completo della directory di output deve essere specificato nel campo Parametri JDBC aggiuntivi ; consulta la sezione Specificare il bucket S3 per l'output dei risultati delle query e le PDT in questa pagina.
    • Numero massimo di connessioni del builder di PDT: specifica il numero di build di PDT simultanee possibili su questa connessione. L'impostazione di un valore troppo alto potrebbe influire negativamente sui tempi di query. Per ulteriori informazioni, consulta la pagina della documentazione Connettere Looker al database.
    • Parametri JDBC aggiuntivi: specifica parametri aggiuntivi per la connessione:
      • Il parametro s3_staging_dir è il bucket S3 che Looker deve utilizzare per l'output dei risultati delle query e le PDT; consulta la sezione Specificare il bucket S3 per l'output dei risultati delle query e le PDT in questa pagina.
      • Flag per lo streaming dei risultati. Se hai il athena:GetQueryResultsStream criterio collegato al tuo utente Athena, puoi aggiungere ;UseResultsetStreaming=1 alla fine dei parametri JDBC aggiuntivi per migliorare significativamente le prestazioni dell'estrazione di set di risultati di grandi dimensioni. Per impostazione predefinita, questo parametro è impostato su 0.
      • Parametri aggiuntivi facoltativi da aggiungere alla stringa di connessione JDBC. Per l'elenco dei parametri supportati da Looker, consulta la sezione Parametri JDBC supportati in questa pagina.
    • SSL: ignora; per impostazione predefinita, tutte le connessioni all'API AWS verranno criptate.
    • Numero massimo di connessioni per nodo: per impostazione predefinita, questo valore è impostato su 5. Puoi aumentarlo fino a 20 se Looker è il motore di query principale in esecuzione su Athena. Per ulteriori dettagli sui limiti di servizio, consulta la documentazione relativa ai limiti di servizio di Athena. Per ulteriori informazioni, consulta la pagina della documentazione Connettere Looker al database.
    • Timeout del pool di connessioni: specifica il timeout del pool di connessioni. Per impostazione predefinita, il timeout è impostato su 120 secondi. Per ulteriori informazioni, consulta la pagina della documentazione Connettere Looker al database.
    • Pre-cache SQL Runner: deseleziona questa opzione se preferisci che SQL Runner carichi le informazioni sulle singole tabelle solo quando vengono selezionate. Per ulteriori informazioni, consulta la pagina della documentazione Connettere Looker al database.
    • Fuso orario database: specifica il fuso orario utilizzato nel database. Lascia questo campo vuoto se non vuoi la conversione del fuso orario. Per ulteriori informazioni, consulta la pagina della documentazione dedicata all'uso delle impostazioni relative al fuso orario.

Per verificare che la connessione sia riuscita, fai clic su Test. Per informazioni sulla risoluzione dei problemi, consulta la pagina della documentazione Testare la connettività del database.

Per salvare queste impostazioni, fai clic su Connetti.

Specificare il bucket S3 per l'output dei risultati delle query e le PDT

Utilizza il campo Parametri JDBC aggiuntivi della pagina Connessioni per configurare il percorso del bucket S3 che Looker utilizzerà per archiviare l'output dei risultati delle query e per specificare il nome della directory di output nel bucket S3 in cui vuoi che Looker scriva le PDT. Specifica queste informazioni utilizzando il parametro s3_staging_dir.

Il parametro JDBC s3_staging_dir è un modo alternativo per configurare la proprietà S3OutputLocation di Amazon Athena, necessaria per le connessioni JDBC di Athena. Per ulteriori informazioni e un elenco di tutte le opzioni del driver JDBC disponibili, consulta la documentazione di Athena sulle opzioni del driver JDBC.

Nel campo Parametri JDBC aggiuntivi, specifica il parametro s3_staging_dir utilizzando il seguente formato:

`s3_staging_dir=s3://<s3-bucket>/<output-path>`

Dove:

  • <s3-bucket> è il nome del bucket S3.
  • <output-path> è il percorso in cui Looker scriverà l'output dei risultati delle query.

La coppia di chiavi di accesso AWS deve disporre delle autorizzazioni di scrittura nella directory <s3-bucket>.

Per configurare la directory in cui Looker scriverà le PDT, inserisci il percorso della directory nel bucket S3 nel campo Database temporaneo. Ad esempio, se vuoi che Looker scriva le PDT in s3://<s3-bucket>/looker_scratch, inserisci questo valore nel campo Database temporaneo:

`looker_scratch`

Inserisci solo il percorso della directory. Looker recupera il nome del bucket S3 dal parametro s3_staging_dir che inserisci nel campo Parametri JDBC aggiuntivi.

Considerazioni sul bucket S3

Ti consigliamo di configurare i cicli di vita degli oggetti Amazon S3 in modo da eliminare periodicamente i file non necessari nel bucket S3 specificato. Esistono diversi motivi per farlo:

  • Athena archivia i risultati delle query per ogni query in un bucket S3. Consulta Query di Athena.
  • Se hai abilitato le PDT, quando viene creata una PDT, i metadati relativi alla tabella creata vengono archiviati nel bucket S3.

Risorse

Parametri JDBC supportati

Per Amazon Athena, Looker supporta i seguenti parametri JDBC nel campo Parametri JDBC aggiuntivi per la connessione. Per informazioni su questi parametri, consulta la documentazione del database.

  • ApplicationName
  • AwsCredentialsProviderArguments
  • AwsCredentialsProviderClass
  • AwsRegion
  • Catalog
  • Database
  • EnableResultReuseByAge
  • EndPointOverride
  • LogLevel
  • MaxQueryExecutionPollingInterval
  • maxResultReuseAgeInMinutes
  • MetadataRetrievalMethod
  • MinQueryExecutionPollingInterval
  • OutputLocation
  • password
  • ProxyHost
  • ProxyPort
  • ProxyPWD
  • ProxyUID
  • QueryExecutionPollingIntervalMultiplier
  • Region
  • ResultFetcher
  • ResultReuseByAgeConfiguration
  • s3_staging_dir
  • S3OutputEncOption
  • S3OutputLocation
  • Schema
  • user
  • UseResultsetStreaming
  • WorkGroup

Funzionalità supportate

Affinché Looker supporti alcune funzionalità, anche il dialetto del database deve supportarle.

A partire da Looker 26.6, Amazon Athena supporta le seguenti funzionalità:

Funzionalità Supportata?
Looker (Google Cloud core)
Aggregati simmetrici
Tabelle derivate
Tabelle derivate SQL permanenti
Tabelle derivate permanenti native
Visualizzazioni stabili
Eliminazione delle query
Tabelle pivot basate su SQL
Fusi orari
SSL
Subtotali
Parametri JDBC aggiuntivi
Maiuscole/minuscole
Tipo di località
Tipo di elenco
Percentile
Percentile valori distinti
SQL Runner Mostra processi
SQL Runner Descrivi tabella
SQL Runner Mostra indici
SQL Runner Seleziona 10
SQL Runner Count
Spiega SQL
Credenziali OAuth 2.0
Commenti di contesto
Pool di connessioni
Schizzi HLL
Riconoscimento degli aggregati
PDT incrementali
Millisecondi
Microsecondi
Viste materializzate
Misure in base al periodo
Conteggio approssimato valori distinti
Calendari personalizzati

Passaggi successivi

Dopo aver completato la connessione al database, configura le opzioni di autenticazione.