Looker unterstützt Verbindungen zu Amazon Athena, einem interaktiven Abfragedienst, mit dem Sie Daten in Amazon S3 mithilfe von Standard-SQL analysieren können. Amazon Athena ist serverlos, sodass keine Infrastruktur verwaltet werden muss. Ihnen werden nur die ausgeführten Abfragen in Rechnung gestellt.
Netzwerk-Datenverkehr verschlüsseln
Es empfiehlt sich, den Netzwerkverkehr zwischen Looker-Anwendung und Datenbank zu verschlüsseln. Prüfen Sie eine der Optionen, die auf der Dokumentationsseite Sicheren Datenbankzugriff ermöglichen beschrieben werden.
Amazon Athena-Verbindung konfigurieren
Auf dieser Seite wird beschrieben, wie Sie Looker mit einer Amazon Athena-Instanz verbinden.
Die müssen Folgendes haben:
- Ein Paar Amazon AWS-Zugriffsschlüssel.
Der S3-Bucket, der die Daten enthält, die Sie in Looker mit Amazon Athena abfragen möchten. Die Amazon AWS-Zugriffsschlüssel müssen Lese- und Schreibzugriff auf diesen Bucket haben. Wenn Sie persistente abgeleitete Tabellen (PDTs) verwenden möchten, müssen die AWS-Zugriffsschlüssel auch Berechtigungen zum Erstellen und Verwalten von Datenbanken, Tabellen und Ansichten im AWS Glue Data Catalog haben. Zu den erforderlichen Berechtigungen gehören
glue:CreateDatabase,glue:CreateTable,glue:UpdateTableundglue:DeleteTablesowieglue:BatchCreatePartition, wenn Sie partitionierte PDTs verwenden. Wenn Sie PDT-Überschreibungen konfigurieren, weisen Sie diese Berechtigungen den Zugriffsschlüsseln für die PDT-Überschreibung zu. Weitere Informationen finden Sie in der Amazon Athena-Dokumentation unter Feingranularer Zugriff auf Datenbanken und Tabellen im AWS Glue Data Catalog.Kenntnis des Speicherorts Ihrer Amazon Athena-Instanzdaten. Der Name der Region wird oben rechts in der Amazon Console angezeigt.
Wählen Sie in Looker im Bereich Admin die Option Verbindungen aus und klicken Sie dann auf Verbindung hinzufügen.
Geben Sie die Verbindungsdetails ein:
- Name: Geben Sie den Namen der Verbindung an. Dies ist die Art und Weise, auf die in LookML-Projekten auf die Verbindung verwiesen wird.
- Dialekt: Wählen Sie Amazon Athena aus.
- Host und Port: Geben Sie den Namen des Hosts und den Port an, wie in der Athena-Dokumentation zum JDBC-URL-Format beschrieben. Der Host sollte ein gültiger Amazon-Endpunkt sein (z. B.
athena.eu-west-1.amazonaws.com) und der Port sollte443sein. Eine aktuelle Liste der Endpunkte, die Athena unterstützen, finden Sie auf dieser AWS-Seite mit allgemeinen Referenzen. - Datenbank: Geben Sie die Standarddatenbank an, die modelliert werden soll. Auf andere Datenbanken kann zugegriffen werden, aber Looker behandelt diese Datenbank als Standarddatenbank.
- Nutzername: Geben Sie die AWS-Zugriffsschlüssel-ID an.
- Passwort: Geben Sie den geheimen AWS-Zugriffsschlüssel an.
- PDTs aktivieren: Mit dieser Option können Sie persistente abgeleitete Tabellen (PDTs) aktivieren. Wenn Sie PATs aktivieren, werden zusätzliche PAT-Felder und der Abschnitt PAT-Überschreibungen für die Verbindung angezeigt.
- Temporäre Datenbank: Geben Sie den Namen des Ausgabeverzeichnisses in Ihrem S3-Bucket an, in das Looker Ihre PDTs schreiben soll. Der vollständige Pfad zu Ihrem Ausgabeverzeichnis muss im Feld Zusätzliche JDBC-Parameter angegeben werden. Weitere Informationen finden Sie auf dieser Seite im Abschnitt S3-Bucket für die Ausgabe von Abfrageergebnissen und PDTs angeben.
- Max. Anzahl der Verbindungen für PDT-Generator: Geben Sie die Anzahl der möglichen gleichzeitigen PDT-Builds für diese Verbindung an. Wenn Sie diesen Wert zu hoch festlegen, kann sich das negativ auf die Abfragezeiten auswirken. Weitere Informationen finden Sie auf der Dokumentationsseite Looker mit Ihrer Datenbank verbinden.
- Zusätzliche JDBC-Parameter: Geben Sie zusätzliche Parameter für die Verbindung an:
- Der Parameter
s3_staging_dirist der S3-Bucket, den Looker für die Ausgabe von Abfrageergebnissen und PDTs verwenden soll. Weitere Informationen finden Sie im Abschnitt S3-Bucket für die Ausgabe von Abfrageergebnissen und PDTs angeben auf dieser Seite. - Flag für Streaming-Ergebnisse. Wenn die Richtlinie
athena:GetQueryResultsStreaman Ihren Athena-Nutzer angehängt ist, können Sie;UseResultsetStreaming=1am Ende Ihrer zusätzlichen JDBC-Parameter hinzufügen, um die Leistung der Extraktion großer Ergebnismengen erheblich zu verbessern. Dieser Parameter ist standardmäßig auf0festgelegt. - Optionale zusätzliche Parameter, die dem JDBC-Verbindungsstring hinzugefügt werden sollen. Eine Liste der von Looker unterstützten Parameter finden Sie auf dieser Seite im Abschnitt Unterstützte JDBC-Parameter.
- Der Parameter
- SSL: Ignorieren. Standardmäßig werden alle Verbindungen zur AWS API verschlüsselt.
- Max. Verbindungen pro Knoten: Standardmäßig ist dieser Wert auf 5 festgelegt. Sie können diesen Wert auf bis zu 20 erhöhen, wenn Looker die Hauptabfrage-Engine ist, die für Athena ausgeführt wird. Weitere Informationen zu den Dienstlimits finden Sie in der Dokumentation zu den Athena-Dienstlimits. Weitere Informationen finden Sie auf der Dokumentationsseite Looker mit Ihrer Datenbank verbinden.
- Zeitlimit für Verbindungspool: Geben Sie das Zeitlimit für den Verbindungspool an. Standardmäßig ist das Zeitlimit auf 120 Sekunden eingestellt. Weitere Informationen finden Sie auf der Dokumentationsseite Looker mit Ihrer Datenbank verbinden.
- SQL-Runner-Precache: Deaktivieren Sie diese Option, wenn SQL Runner Tabelleninformationen nur laden soll, wenn eine Tabelle ausgewählt ist. Weitere Informationen finden Sie auf der Dokumentationsseite Looker mit Ihrer Datenbank verbinden.
- Zeitzone der Datenbank: Geben Sie die in der Datenbank verwendete Zeitzone an. Lassen Sie dieses Feld leer, wenn Sie keine Zeitzonenumrechnung wünschen. Weitere Informationen dazu finden Sie auf der Dokumentationsseite Zeitzoneneinstellungen verwenden.
Klicken Sie unten auf der Seite Verbindungseinstellungen im Bereich Statusdetails auf den Button Verbindung testen, um zu prüfen, ob die Verbindung erfolgreich hergestellt wurde.
Wenn in Looker Can Connect angezeigt wird, klicken Sie auf Connect, um die Verbindung zu erstellen.
Ihre Datenbankverbindung wird dann der Liste auf der Looker-Seite Verbindungen Verwaltung hinzugefügt.
S3-Bucket für die Ausgabe von Abfrageergebnissen und PDTs angeben
Verwenden Sie das Feld Zusätzliche JDBC-Parameter auf der Seite Verbindungen, um den Pfad zum S3-Bucket zu konfigurieren, den Looker zum Speichern der Ausgabe von Abfrageergebnissen verwendet, und um den Namen des Ausgabeverzeichnisses im S3-Bucket anzugeben, in das Looker PDTs schreiben soll. Geben Sie diese Informationen mit dem Parameter s3_staging_dir an.
Der JDBC-Parameter s3_staging_dir ist eine alternative Möglichkeit, das Amazon Athena-Attribut S3OutputLocation zu konfigurieren, das für Athena-JDBC-Verbindungen erforderlich ist. Weitere Informationen und eine Liste aller verfügbaren JDBC-Treiberoptionen finden Sie in der Athena-Dokumentation zu JDBC-Treiberoptionen.
Geben Sie im Feld Zusätzliche JDBC-Parameter den Parameter s3_staging_dir im folgenden Format an:
`s3_staging_dir=s3://<s3-bucket>/<output-path>`
Wobei:
<s3-bucket>ist der Name des S3-Buckets, der die Daten enthält, die Sie in Looker mit Amazon Athena abfragen möchten.<output-path>ist der Pfad, in den Looker die Abfrageergebnisse schreibt.
Wenn Sie das Verzeichnis konfigurieren möchten, in das Looker PDTs schreibt, geben Sie den Pfad des Verzeichnisses im S3-Bucket in das Feld Temporäre Datenbank ein.
Wenn Sie beispielsweise möchten, dass Looker PDTs in s3://<s3-bucket>/looker_scratch schreibt, geben Sie Folgendes in das Feld Temp Database ein:
`looker_scratch`
Geben Sie nur den Pfad des Verzeichnisses ein. Looker ruft den S3-Bucket-Namen aus dem Parameter s3_staging_dir ab, den Sie im Feld Zusätzliche JDBC-Parameter eingeben.
Überlegungen zu S3-Buckets
Es wird empfohlen, Amazon S3-Objektlebenszyklen so zu konfigurieren, dass nicht mehr benötigte Dateien im angegebenen S3-Bucket regelmäßig gelöscht werden. Dafür gibt es mehrere Gründe:
- Athena speichert die Abfrageergebnisse für jede Abfrage in einem S3-Bucket. Weitere Informationen finden Sie unter Athena-Abfragen.
- Wenn Sie PATs aktiviert haben, werden beim Erstellen einer PAT Metadaten zur erstellten Tabelle im S3-Bucket gespeichert.
Ressourcen
- Amazon Athena-Dokumentation
- Amazon Web Services-Konsole für Athena (AWS-Anmeldung erforderlich)
- Amazon Athena SQL- und HiveQL-Referenz
Unterstützte JDBC-Parameter
Für Amazon Athena unterstützt Looker die folgenden JDBC-Parameter im Feld Zusätzliche JDBC-Parameter für die Verbindung. Informationen zu diesen Parametern finden Sie in der Dokumentation zu Ihrer Datenbank.
ApplicationNameAwsCredentialsProviderArgumentsAwsCredentialsProviderClassAwsRegionCatalogDatabaseEnableResultReuseByAgeEndPointOverrideLogLevelMaxQueryExecutionPollingIntervalmaxResultReuseAgeInMinutesMetadataRetrievalMethodMinQueryExecutionPollingIntervalOutputLocationpasswordProxyHost: Bei öffentlichen Looker-Instanzen muss der Wert für den ParameterProxyHostdie öffentliche IP-Adresse der Instanz sein.ProxyPortProxyPWDProxyUIDQueryExecutionPollingIntervalMultiplierRegionResultFetcherResultReuseByAgeConfigurations3_staging_dirS3OutputEncOptionS3OutputLocationSchemauserUseResultsetStreamingWorkGroup
Funktionsunterstützung
Damit Looker einige Funktionen unterstützen kann, müssen diese auch von Ihrem Datenbankdialekt unterstützt werden.
Amazon Athena unterstützt ab Looker 26.22 die folgenden Funktionen:
| Funktion | Unterstützt? |
|---|---|
| Looker (Google Cloud Core) | |
| Symmetrische Aggregate | |
| Abgeleitete Tabellen | |
| Persistente abgeleitete SQL-Tabellen | |
| Persistente, native abgeleitete Tabellen | |
| Stabile Ansichten | |
| Abfrageeabruch | |
| SQL-basierte Pivots | |
| Zeitzonen | |
| SSL | |
| Zwischensummen | |
| Zusätzliche JDBC-Parameter | |
| Groß-/Kleinschreibung beachten | |
| Standorttyp | |
| Listentyp | |
| Perzentil | |
| Perzentil der unterschiedlichen Werte | |
| SQL-Runner-Befehl – Prozesse anzeigen | |
| SQL-Runner-Funktion – Tabelle beschreiben | |
| SQL Runner-Befehl – Indexe anzeigen | |
| SQL-Runner – 10 auswählen | |
| SQL-Runner – Anzahl | |
| SQL – Erklären | |
| OAuth 2.0-Anmeldedaten | |
| Kontextkommentare | |
| Verbindungs-Pooling | |
| HLL-Skizzen | |
| Aggregate Awareness | |
| Inkrementelle PDTs | |
| Millisekunden | |
| Mikrosekunden | |
| Materialisierte Ansichten | |
| Vergleich zum vorherigen Zeitraum | |
| Ungefähre Anzahl einzelner Aufrufe | |
| In-Database-Analysemodelle | |
| Benutzerdefinierte Kalender |
Nächste Schritte
Nachdem Sie die Datenbankverbindung hergestellt haben, konfigurieren Sie die Authentifizierungsoptionen.