O Looker oferece suporte a conexões com o Amazon Athena, um serviço de consulta interativo que permite analisar dados no Amazon S3 usando SQL padrão. O Amazon Athena é sem servidor, então não há infraestrutura para gerenciar. Você só recebe cobranças pelas consultas executadas.
Criptografar o tráfego de rede
Uma prática recomendada é criptografar o tráfego de rede entre o aplicativo Looker e o banco de dados. Considere uma das opções descritas na página de documentação Ativar o acesso seguro ao banco de dados.
Configurar uma conexão do Amazon Athena
Nesta página, descrevemos como conectar o Looker a uma instância do Amazon Athena.
Verifique se você tem o seguinte:
- Um par de chaves de acesso da Amazon AWS.
O bucket do S3 que contém os dados que você quer consultar no Looker com o Amazon Athena. As chaves de acesso da Amazon AWS precisam ter acesso de leitura e gravação a esse bucket.
O Amazon Athena precisa ter acesso a esse bucket do S3 por uma função ou um conjunto de permissões, bem como por regras de firewall. Não adicione regras de segurança ao bucket do S3 para o IP do Looker, porque isso pode bloquear inadvertidamente o acesso do Amazon Athena ao bucket do S3. Para outros dialetos além do Amazon Athena, os usuários podem limitar o acesso aos dados da camada de rede com uma lista de permissões de IP, conforme descrito na página de documentação Ativar o acesso seguro ao banco de dados.
Conhecimento de onde os dados da instância do Amazon Athena estão localizados. O nome da região pode ser encontrado na parte superior direita do console da Amazon.
Na seção Admin do Looker, selecione Connections e clique em Add Connection.
Preencha os detalhes da conexão:
- Nome: especifique o nome da conexão. É assim que você vai se referir à conexão em projetos do LookML.
- Dialect: selecione Amazon Athena.
- Host e Port: especifique o nome do host e da porta, conforme descrito na documentação do Athena sobre o formato do URL JDBC. O host precisa ser um endpoint válido da Amazon (como
athena.eu-west-1.amazonaws.com), e a porta precisa permanecer em443. Uma lista atualizada de endpoints que oferecem suporte ao Athena pode ser encontrada nesta página de referência geral da AWS. - Banco de dados: especifique o banco de dados padrão que você quer modelar. Outros bancos de dados podem ser acessados, mas o Looker trata esse banco de dados como o padrão.
- Nome de usuário: especifique o ID da chave de acesso da AWS.
- Senha: especifique a chave de acesso secreta da AWS.
- Ativar PDTs: use essa opção para ativar tabelas derivadas persistentes (PDTs). A ativação de PDTs revela outros campos de PDT e a PDT Overrides seção para a conexão.
- Temp Database: especifique o nome do diretório de saída no bucket do S3 em que você quer que o Looker grave suas PDTs. O caminho completo para o diretório de saída precisa ser especificado no campo Additional JDBC parameters. Consulte a seção Especificar o bucket do S3 para saída de resultados de consulta e PDTs nesta página.
- Número máximo de conexões do construtor de PDT: especifique o número de builds de PDT simultâneos possíveis nessa conexão. Definir esse valor muito alto pode afetar negativamente os tempos de consulta. Para mais informações, consulte a página de documentação Conectar o Looker ao banco de dados.
- Additional JDBC parameters: especifique outros parâmetros para a conexão:
- O parâmetro
s3_staging_diré o bucket do S3 que o Looker precisa usar para a saída de resultados de consulta e PDTs. Consulte a seção Especificar o bucket do S3 para saída de resultados de consulta e PDTs nesta página. - Indicador para resultados de streaming. Se você tiver a política
athena:GetQueryResultsStreamanexada ao usuário do Athena, poderá adicionar;UseResultsetStreaming=1ao final dos parâmetros JDBC extras para melhorar significativamente a performance da extração de conjuntos de resultados grandes. Esse parâmetro é definido como0por padrão. - Outros parâmetros opcionais a serem adicionados à string de conexão JDBC. Consulte a seção Parâmetros JDBC aceitos nesta página para conferir a lista de parâmetros que o Looker aceita.
- O parâmetro
- SSL: ignore. Por padrão, todas as conexões com a API da AWS serão criptografadas.
- Max connections per node: por padrão, esse valor é definido como 5. Você pode aumentar esse valor para até 20 se o Looker for o principal mecanismo de consulta em execução no Athena. Consulte a documentação sobre os limites de serviço do Athena para mais detalhes. Consulte a página de documentação Conectar o Looker ao banco de dados para mais informações.
- Tempo limite do pool de conexões: especifique o tempo limite do pool de conexões. Por padrão, o tempo limite é definido como 120 segundos. Consulte a página de documentação Conectar o Looker ao banco de dados para mais informações.
- SQL Runner Precache: desmarque essa opção se preferir que o SQL Runner carregue informações da tabela somente quando uma tabela for selecionada. Consulte a página de documentação Conectar o Looker ao banco de dados para mais informações.
- Database Time Zone: especifique o fuso horário do banco de dados. Deixe esse campo em branco se não quiser a conversão de fuso horário. Consulte a página de documentação Usar configurações de fuso horário para mais informações.
Para verificar se a conexão foi estabelecida, clique em Test. Consulte a página de documentação Testar a conectividade do banco de dados para informações sobre solução de problemas.
Para salvar essas configurações, clique em Connect.
Especificar o bucket do S3 para saída de resultados de consulta e PDTs
Use o campo Additional JDBC parameters da página Connections para configurar o caminho para o bucket do S3 que o Looker vai usar para armazenar a saída de resultados de consulta e para especificar o nome do diretório de saída no bucket do S3 em que você quer que o Looker grave PDTs. Especifique essas informações usando o parâmetro s3_staging_dir.
O parâmetro JDBC s3_staging_dir é uma maneira alternativa de configurar a propriedade S3OutputLocation do Amazon Athena, que é necessária para conexões JDBC do Athena. Consulte a documentação do Athena sobre as opções do driver JDBC (link em inglês) para mais informações e uma lista de todas as opções de driver JDBC disponíveis.
No campo Additional JDBC parameters, especifique o parâmetro s3_staging_dir usando o seguinte formato:
`s3_staging_dir=s3://<s3-bucket>/<output-path>`
Em que:
<s3-bucket>é o nome do bucket do S3.<output-path>é o caminho em que o Looker vai gravar a saída de resultados de consulta.
O par de chaves de acesso da AWS precisa ter permissões de gravação no diretório
<s3-bucket>.
Para configurar o diretório em que o Looker vai gravar PDTs, insira o caminho do diretório no bucket do S3 no campo Temp Database.
Por exemplo, se você quiser que o Looker grave PDTs em s3://<s3-bucket>/looker_scratch, insira isso no campo Temp Database:
`looker_scratch`
Insira apenas o caminho do diretório. O Looker recebe o nome do bucket do S3 do parâmetro s3_staging_dir inserido no campo Additional JDBC Parameters.
Considerações sobre o bucket do S3
Recomendamos que você configure os ciclos de vida de objetos do Amazon S3 para limpar periodicamente arquivos desnecessários no bucket do S3 especificado. Há motivos para isso:
- O Athena armazena os resultados de consultas para cada consulta em um bucket do S3. Consulte Consultar o Athena (link em inglês).
- Se você tiver PDTs ativadas, quando uma PDT for criada, os metadados sobre a tabela criada serão armazenados no bucket do S3.
Recursos
- Documentação do Amazon Athena (link em inglês)
- Console da Amazon Web Services para o Athena (requer login na AWS)
- Referência de SQL e HiveQL do Amazon Athena (link em inglês)
Parâmetros JDBC aceitos
Para o Amazon Athena, o Looker oferece suporte aos seguintes parâmetros JDBC no campo Additional JDBC parameters da conexão. Consulte a documentação do seu banco de dados para informações sobre esses parâmetros.
ApplicationNameAwsCredentialsProviderArgumentsAwsCredentialsProviderClassAwsRegionCatalogDatabaseEnableResultReuseByAgeEndPointOverrideLogLevelMaxQueryExecutionPollingIntervalmaxResultReuseAgeInMinutesMetadataRetrievalMethodMinQueryExecutionPollingIntervalOutputLocationpasswordProxyHostProxyPortProxyPWDProxyUIDQueryExecutionPollingIntervalMultiplierRegionResultFetcherResultReuseByAgeConfigurations3_staging_dirS3OutputEncOptionS3OutputLocationSchemauserUseResultsetStreamingWorkGroup
Suporte a recursos
Para que o Looker ofereça suporte a alguns recursos, o dialeto do banco de dados também precisa oferecer suporte a eles.
O Amazon Athena oferece suporte aos seguintes recursos a partir do Looker 26.8:
| Recurso | Compatível? |
|---|---|
| Looker (Google Cloud Core) | |
| Conjuntos simétricos | |
| Tabelas derivadas | |
| Tabelas derivadas persistentes com base em SQL | |
| Tabelas derivadas nativas persistentes | |
| Visualizações estáveis | |
| Interrupção de consultas | |
| Tabelas dinâmicas com base em SQL | |
| Fusos horários | |
| SSL | |
| Subtotais | |
| Parâmetros adicionais da JDBC | |
| Diferenciação entre maiúsculas e minúsculas | |
| Tipo de local | |
| Tipo de lista | |
| Percentil | |
| Percentil distinto | |
| Mostrar processos do SQL Runner | |
| Descrever tabela do SQL Runner | |
| Mostrar índices do SQL Runner | |
| Selecionar 10 do SQL Runner | |
| Contagem do SQL Runner | |
| Explicar SQL | |
| Credenciais do OAuth 2.0 | |
| Comentários de contexto | |
| Pooling de conexão | |
| Esboços HLL | |
| Reconhecimento agregado | |
| PDTs incrementais | |
| Milissegundos | |
| Microssegundos | |
| Visualizações materializadas | |
| Medidas de comparação de períodos | |
| Contagem aproximada aproximada | |
| Modelos analíticos no banco de dados | |
| Agendas personalizadas |
Próximas etapas
Depois de concluir a conexão do banco de dados, configure as opções de autenticação.