O Looker é compatível com conexões com o Amazon Athena, um serviço de consulta interativo que permite analisar dados no Amazon S3 usando SQL padrão. O Amazon Athena não tem servidor, então não há infraestrutura para gerenciar. Você só paga pelas consultas executadas.
Criptografia do tráfego de rede
É uma prática recomendada criptografar o tráfego de rede entre o aplicativo do Looker e seu banco de dados. Considere uma das opções descritas na página de documentação Como ativar o acesso seguro ao banco de dados.
Como configurar uma conexão do Amazon Athena
Nesta página, descrevemos como conectar o Looker a uma instância do Amazon Athena.
Verifique se você tem o seguinte:
- Um par de chaves de acesso da Amazon AWS.
O bucket do S3 que contém os dados que você quer consultar no Looker com o Amazon Athena. As chaves de acesso da Amazon AWS precisam ter acesso de leitura e gravação a esse bucket.
O Amazon Athena precisa ter acesso a esse bucket do S3 por um papel ou um conjunto de permissões, além de regras de firewall. Não adicione regras de segurança ao bucket do S3 para o IP do Looker, porque isso pode bloquear inadvertidamente o acesso do Amazon Athena ao bucket do S3. Para outros dialetos além do Amazon Athena, os usuários podem limitar o acesso aos dados da camada de rede com uma lista de permissões de IP, conforme descrito na página de documentação Ativar o acesso seguro ao banco de dados.
Saber onde os dados da instância do Amazon Athena estão localizados. O nome da região pode ser encontrado na parte superior direita do console da Amazon.
Na seção Administrador do Looker, selecione Conexões e clique em Adicionar conexão.
Preencha os detalhes da conexão:
- Nome: especifique o nome da conexão. É assim que você vai se referir à conexão nos projetos do LookML.
- Dialeto: selecione Amazon Athena.
- Host e Porta: especifique o nome do host e da porta, conforme descrito na documentação do Athena sobre o formato do URL JDBC. O host precisa ser um endpoint válido da Amazon (como
athena.eu-west-1.amazonaws.com), e a porta precisa permanecer em443. Uma lista atualizada de endpoints compatíveis com o Athena pode ser encontrada nesta página de referência geral da AWS. - Banco de dados: especifique o banco de dados padrão que você quer modelar. Outros bancos de dados podem ser acessados, mas o Looker trata esse banco de dados como o padrão.
- Nome de usuário: especifique o ID da chave de acesso da AWS.
- Senha: especifique a chave de acesso secreta da AWS.
- Ativar TDPs: use essa opção para ativar tabelas derivadas persistentes (TDPs). Ao ativar as TDPs, outros campos de TDP e a seção Substituições de TDP são mostrados para a conexão.
- Banco de dados temporário: especifique o nome do diretório de saída no bucket do S3 em que você quer que o Looker grave as TDPs. O caminho completo para o diretório de saída precisa ser especificado no campo Parâmetros JDBC adicionais. Consulte a seção Como especificar o bucket do S3 para saída de resultados de consulta e TDPs nesta página.
- Número máximo de conexões do builder da TDP: especifique o número de possíveis builds simultâneos de TDP nessa conexão. Definir um valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
- Parâmetros JDBC adicionais: especifique outros parâmetros para a conexão:
- O parâmetro
s3_staging_diré o bucket do S3 que o Looker deve usar para a saída de resultados de consulta e TDPs. Consulte a seção Como especificar o bucket do S3 para a saída de resultados de consulta e TDPs nesta página. - Sinalização para resultados de streaming. Se você tiver a política
athena:GetQueryResultsStreamanexada ao usuário do Athena, adicione;UseResultsetStreaming=1ao final dos parâmetros JDBC extras para melhorar significativamente o desempenho da extração de grandes conjuntos de resultados. Esse parâmetro é definido como0por padrão. - Parâmetros adicionais opcionais para adicionar à string de conexão JDBC. Consulte a seção Parâmetros JDBC compatíveis nesta página para ver a lista de parâmetros compatíveis com o Looker.
- O parâmetro
- SSL: ignore. Por padrão, todas as conexões com a API AWS serão criptografadas.
- Máximo de conexões por nó: por padrão, esse valor é definido como 5. É possível aumentar esse número para até 20 se o Looker for o principal mecanismo de consulta em execução no Athena. Consulte a documentação sobre os limites do serviço Athena para mais detalhes. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
- Tempo limite do pool de conexões: especifique o tempo limite do pool de conexões. Por padrão, o tempo limite é definido como 120 segundos. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
- Pré-cache do SQL Runner: desmarque essa opção se preferir que o SQL Runner carregue as informações da tabela somente quando uma tabela for selecionada. Para mais informações, consulte a página de documentação Como conectar o Looker ao seu banco de dados.
- Fuso horário do banco de dados: especifique o fuso horário usado no banco de dados. Deixe este campo em branco se não quiser a conversão de fuso horário. Consulte a página de documentação Como usar as configurações de fuso horário para mais informações.
Para verificar se a conexão foi bem-sucedida, clique no botão Testar conexão na seção Detalhes do status na parte de baixo da página Configurações de conexões.
Se o Looker exibir Pode se conectar, pressione Conectar para criar a conexão.
A conexão do banco de dados é adicionada à lista na página Administrador de Conexões do Looker.
Como especificar o bucket do S3 para saída de resultados de consulta e TDPs
Use o campo Parâmetros JDBC adicionais da página Conexões para configurar o caminho para o bucket do S3 que o Looker usará para armazenar a saída dos resultados da consulta e especificar o nome do diretório de saída no bucket do S3 em que você quer que o Looker grave as TDPs. Especifique essas informações usando o parâmetro s3_staging_dir.
O parâmetro JDBC s3_staging_dir é uma maneira alternativa de configurar a propriedade S3OutputLocation do Amazon Athena, que é necessária para conexões JDBC do Athena. Consulte a documentação do Athena sobre as opções de driver JDBC para mais informações e uma lista de todas as opções de driver JDBC disponíveis.
No campo Parâmetros JDBC adicionais, especifique o parâmetro s3_staging_dir usando o seguinte formato:
`s3_staging_dir=s3://<s3-bucket>/<output-path>`
Em que:
<s3-bucket>é o nome do bucket do S3.<output-path>é o caminho em que o Looker vai gravar a saída dos resultados da consulta.
O par de chaves de acesso da AWS precisa ter permissões de gravação no diretório
<s3-bucket>.
Para configurar o diretório em que o Looker vai gravar as TDPs, insira o caminho do diretório no bucket do S3 no campo Banco de dados temporário.
Por exemplo, se você quiser que o Looker grave TDPs em s3://<s3-bucket>/looker_scratch, insira o seguinte no campo Banco de dados temporário:
`looker_scratch`
Insira apenas o caminho do diretório. O Looker recebe o nome do bucket do S3 do parâmetro s3_staging_dir que você insere no campo Parâmetros JDBC adicionais.
Considerações sobre buckets do S3
Recomendamos que você configure os ciclos de vida de objetos do Amazon S3 para limpar periodicamente os arquivos desnecessários no bucket do S3 especificado. Há motivos para isso:
- O Athena armazena os resultados de todas as consultas em um bucket do S3. Consulte Consultas do Athena.
- Se as TDPs estiverem ativadas, quando uma TDP for criada, os metadados sobre a tabela criada serão armazenados no bucket do S3.
Recursos
- Documentação do Amazon Athena
- Console da Amazon Web Services para o Athena (requer login na AWS)
- Referência do Amazon Athena SQL e do HiveQL
Parâmetros JDBC compatíveis
Para o Amazon Athena, o Looker é compatível com os seguintes parâmetros JDBC no campo Parâmetros JDBC adicionais da conexão. Consulte a documentação do seu banco de dados para mais informações sobre esses parâmetros.
ApplicationNameAwsCredentialsProviderArgumentsAwsCredentialsProviderClassAwsRegionCatalogDatabaseEnableResultReuseByAgeEndPointOverrideLogLevelMaxQueryExecutionPollingIntervalmaxResultReuseAgeInMinutesMetadataRetrievalMethodMinQueryExecutionPollingIntervalOutputLocationpasswordProxyHost: para instâncias públicas do Looker, o valor do parâmetroProxyHostprecisa ser o endereço IP público da instância.ProxyPortProxyPWDProxyUIDQueryExecutionPollingIntervalMultiplierRegionResultFetcherResultReuseByAgeConfigurations3_staging_dirS3OutputEncOptionS3OutputLocationSchemauserUseResultsetStreamingWorkGroup
Suporte a recursos
Para que o Looker seja compatível com alguns recursos, o dialeto do banco de dados também precisa ser compatível com eles.
O Amazon Athena é compatível com os seguintes recursos a partir do Looker 26.22:
| Recurso | Compatível? |
|---|---|
| Looker (Google Cloud Core) | |
| Conjuntos simétricos | |
| Tabelas derivadas | |
| Tabelas derivadas persistentes em SQL | |
| Tabelas derivadas nativas persistentes | |
| Visualizações estáveis | |
| Encerramento de consultas | |
| Tabelas dinâmicas baseadas em SQL | |
| Fusos horários | |
| SSL | |
| Subtotais | |
| Parâmetros adicionais da JDBC | |
| Diferencia maiúsculas de minúsculas | |
| Tipo de local | |
| Tipo de lista | |
| Percentil | |
| Percentil distinto | |
| Mostrar processos do SQL Runner | |
| Tabela de descrição do SQL Runner | |
| Mostrar índices do SQL Runner | |
| SQL Runner Select 10 | |
| Contagem do SQL Runner | |
| Explicação do SQL | |
| Credenciais do OAuth 2.0 | |
| Comentários de contexto | |
| Pooling de conexão | |
| Esboços HLL | |
| Reconhecimento agregado | |
| TDPs incrementais | |
| Milissegundos | |
| Microssegundos | |
| Visualizações materializadas | |
| Medidas de comparação de períodos | |
| Contagem aproximada aproximada | |
| Modelos analíticos no banco de dados | |
| Agendas personalizadas |
Próximas etapas
Depois de concluir a conexão do banco de dados, configure as opções de autenticação.