Looker-Backend-Datenbank zu MySQL migrieren

Standardmäßig verwendet Looker eine speicherinterne HyperSQL-Datenbank, um seine Konfiguration, Benutzer und andere Daten zu speichern. Auf einer stark ausgelasteten Instanz kann diese Datenbank auf mehrere Gigabyte anwachsen, was zu Leistungsproblemen, Java-Arbeitsspeicherdruck und langen Startzeiten führen kann.

Bei einer vom Kunden gehosteten Instanz empfehlen wir, die HyperSQL-Datenbank durch ein vollständiges MySQL-Datenbank-Backend zu ersetzen, wenn die interne HyperSQL-Datenbank größer als 600 MB ist. Wenn Sie die Größe der HyperSQL-Datenbank prüfen möchten, rufen Sie die Größe der Datei looker.script auf:

cd looker
cd .db
ls -lah

Wenn die Datei looker.script größer als 600 MB ist, führen Sie die folgenden Schritte aus, um zu einer externen MySQL-Datenbank zu migrieren.

MySQL-Instanz und -Nutzer bereitstellen

Sie können eine MySQL 8.4.X- (empfohlen) oder MySQL 8.0.X-Instanz als Backend bereitstellen. MySQL-Versionen vor 8.0 werden nicht unterstützt.

Looker 26.6 und höher unterstützt MySQL 8.4.X für die Looker-Backend-Datenbank. Für vom Kunden gehostete Instanzen, die MySQL 8.0.X für die Looker-Backend-Datenbank verwenden, wird empfohlen, auf MySQL 8.4.X zu aktualisieren, sobald Sie Ihre Looker-Instanz auf Version 26.6 oder höher aktualisieren.

In AWS RDS reicht eine Instanz der Klasse db.m5.large wahrscheinlich als Backend für eine einzelne Looker-Instanz aus. Auch wenn die tatsächliche Nutzung der Datenbank wahrscheinlich im Bereich von 5–10 GB liegt, ist es sinnvoll, 100–150 GB SSD-Speicher bereitzustellen, da die bereitgestellten IOPS auf der angeforderten Speichermenge basieren.

MySQL 8.4.X

Looker unterstützt die Verwendung von MySQL 8.4.X als interne Datenbank ab Looker 26.6. Für MySQL 8.4.X können Sie eines der folgenden MySQL-Authentifizierungs-Plug-ins verwenden, wie in den folgenden Abschnitten beschrieben:

caching_sha2_password verwenden

In MySQL 8.4.X ist caching_sha2_password das standardmäßige Authentifizierungs-Plug-in. Looker bietet zwei Möglichkeiten, das caching_sha2_password-Plug-in zu verwenden:

  1. Bei Verwendung einer SSL-Verbindung für die interne Datenbank: Es ist kein öffentlicher RSA-Schlüssel erforderlich. Looker stellt mit den angegebenen Nutzeranmeldedaten eine sichere Verbindung zur Datenbank her. Informationen zum Einrichten einer SSL-Verbindung zu Ihrer Datenbank finden Sie im Abschnitt Datei mit Datenbankanmeldedaten erstellen auf dieser Seite.
  2. Wenn keine Verbindung mit aktiviertem SSL hergestellt wird: Looker verwendet standardmäßig die Option --get-server-public-key, um eine Verbindung zur internen Datenbank herzustellen, wenn das Plug-in caching_sha2_password vom Nutzerkonto verwendet wird, das Looker bereitgestellt wurde. Achten Sie darauf, dass die Netzwerkumgebung gesichert ist, wenn SSL nicht aktiviert ist.

Unabhängig davon, wie Sie das caching_sha2_password-Plug-in verwenden, richten Sie den Nutzer mit der folgenden Anweisung ein:

CREATE USER 'DB_username' IDENTIFIED WITH caching_sha2_password BY 'password';

Ersetzen Sie Folgendes:

  • DB_username: Nutzername
  • password: eindeutiges, sicheres Passwort

mysql_native_password verwenden

Looker verwendet das Plug-in mysql_native_password, um sich über den JDBC-Treiber bei MySQL-Datenbanken zu authentifizieren. Damit MySQL 8.4.X mit dem mysql_native_password-Plug-in funktioniert, müssen Sie die folgenden zusätzlichen Schritte ausführen:

  1. Konfigurieren Sie die MySQL-Datenbank, um das mysql_native_password-Plug-in zu aktivieren. Dafür gibt es verschiedene Vorgehensweisen, die je nach Bereitstellungsvariante der MySQL-Datenbank und Art der Zugriffsberechtigung variieren:

    1. Starten Sie den MySQL-Server mit --mysql-native-password=ON.
    2. Legen Sie das Attribut in der Konfigurationsdatei my.cnf fest:

      [mysqld]
      mysql_native_password=ON
      
    3. Wenn die MySQL-Instanz auf Google Cloud, AWS oder Azure gehostet wird, sollte das mysql_native_password-Plug-in automatisch aktiviert werden. Eine detaillierte Anleitung finden Sie in der Dokumentation Ihres Anbieters.

  2. Erstellen Sie den Nutzer:

    CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';
    

    Ersetzen Sie Folgendes:

    • DB_username: Nutzername
    • password: eindeutiges, sicheres Passwort

MySQL 8.0.X

In MySQL 8.0.X ist caching_sha2_password das standardmäßige Authentifizierungs-Plug-in. Looker verwendet das Plug-in mysql_native_password, um sich über den JDBC-Treiber bei MySQL-Datenbanken zu authentifizieren. Damit MySQL 8.0.X ordnungsgemäß funktioniert, müssen Sie die folgenden zusätzlichen Schritte ausführen:

  1. Konfigurieren Sie die MySQL-Datenbank für die Verwendung des mysql_native_password-Plug-ins. Dafür gibt es verschiedene Vorgehensweisen, die je nach Bereitstellungsvariante der MySQL 8-Datenbank und Art der Zugriffsberechtigung variieren:

    • Starten Sie den Prozess mit dem Flag --default-auth=mysql_native_password.

    • Legen Sie das Attribut in der Konfigurationsdatei my.cnf fest:

      [mysqld]
      default-authentication-plugin=mysql_native_password
      
    • Wenn die Datenbankinstanz durch AWS RDS gehostet wird, können Sie den default_authentication_plugin-Parameter durch die Anwendung einer RDS Parameter Group auf die Datenbankinstanz bestimmen.

  2. Erstellen Sie den Nutzer:

    CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';
    

    Ersetzen Sie Folgendes:

    • DB_username: Nutzername
    • password: eindeutiges, sicheres Passwort

MySQL optimieren

Passen Sie die folgenden Einstellungen für Ihre MySQL-Instanz an.

Maximale Paketgröße erhöhen

Die Standardgröße von max_allowed_packet in MySQL ist für die Datenbankmigration zu klein und kann dazu führen, dass die Migration mit dem Fehler PACKET_TOO_LARGE fehlschlägt. Setzen Sie max_allowed_packet auf den maximal zulässigen Wert von 1073741824:

max_allowed_packet = 1073741824

Algorithmus für temporäre Tabellen festlegen

MySQL 8 verarbeitet interne temporäre Tabellen anders als frühere Versionen. Die Standardeinstellungen können Probleme bei der Ausführung einiger Abfragen verursachen, die für die Ausführung von Looker erforderlich sind, insbesondere bei Looker-Instanzen mit vielen Nutzern und Projekten. Wir empfehlen, die folgende globale Servereinstellung festzulegen:

internal_tmp_mem_storage_engine = MEMORY

Zeichensätze konfigurieren

Legen Sie die folgenden Standardparameter fest, um UTF8mb4 zu verwenden, das UTF8-Zeichensätze unterstützt. Weitere Informationen finden Sie im Artikel In MySQL, never use "utf8". Use "utf8mb4". finden Sie Informationen dazu, warum wir die Verwendung von UTF8mb4 – nicht UTF8 – mit MySQL empfehlen.

character_set_client = utf8mb4
character_set_results = utf8mb4
character_set_connection = utf8mb4
character_set_database = utf8mb4
character_set_server = utf8mb4
collation_connection = utf8mb4_general_ci
collation_server = utf8mb4_general_ci

Auf Amazon RDS-Instanzen wenden Sie diese Einstellung an, indem Sie eine Parametergruppe erstellen oder ändern und die entsprechenden Einstellungen bearbeiten. Wir empfehlen, die aktuelle Parametergruppe zu kopieren und die Änderungen an der Kopie vorzunehmen, insbesondere wenn Sie Parametergruppen für mehrere RDS-Instanzen freigeben. Nachdem Sie die Parametergruppe gespeichert haben, wenden Sie sie auf die RDS-Instanz an. Möglicherweise ist ein Neustart erforderlich.

Replikationsschema festlegen

Looker nutzt Funktionen, die ein mixed- oder row-Binlog erfordern. Wenn Sie Ihre eigene MySQL-Instanz hosten, legen Sie binlog_format auf mixed oder row fest. Verwenden Sie dazu einen der folgenden Befehle:

SET GLOBAL binlog_format = 'MIXED';

oder

SET GLOBAL binlog_format = 'ROW';

Datenbank erstellen und Nutzerberechtigung gewähren

Erstellen Sie eine Datenbank in der Datenbankinstanz:

create database DB_name default character set DB_charset default collate DB_collation;

Gewähren Sie dann dem Nutzer, den Sie beim Bereitstellen der MySQL-Instanz und des Nutzers erstellt haben, Berechtigungen:

grant all on DB_name.* to 'DB_username'@'%';
grant all on looker_tmp.* to 'DB_username'@'%';

Ersetzen Sie Folgendes:

  • DB_name: Datenbankname
  • DB_charset: Der Zeichensatz, der den Parametereinstellungen Ihres MySQL-Servers entspricht. Verwenden Sie utf8mb4 für die vollständige UTF-8-Unterstützung.
  • DB_collation: die Sortierung, die den Parametereinstellungen Ihres MySQL-Servers entspricht. Looker erfordert utf8mb4_general_ci.
  • DB_username: Nutzername

Die Datenbank looker_tmp in der letzten Zeile muss nicht tatsächlich vorhanden sein, aber die Anweisung grant ist für die interne Berichterstellung erforderlich.

Datei mit Datenbankanmeldedaten erstellen

Looker muss wissen, mit welcher MySQL-Datenbank kommuniziert werden soll und welche Anmeldedaten verwendet werden sollen. Erstellen Sie im Looker-Verzeichnis eine Datei namens looker-db.yml mit folgendem Inhalt. Ersetzen Sie dabei DB_hostname, DB_username, DB_password und DB_name durch die Werte für Ihre Datenbank:

dialect: mysql_8
host: DB_hostname
username: DB_username
password: DB_password
database: DB_name
port: 3306

Wenn für Ihre MySQL-Datenbank eine SSL-Verbindung erforderlich ist, fügen Sie looker-db.yml die folgende Zeile hinzu:

ssl: true

Wenn Sie auch die Überprüfung des SSL-Zertifikats aktivieren möchten, fügen Sie looker-db.yml die folgende Zeile hinzu:

verify_ssl: true

Optional können Sie auch alle anderen zusätzlichen JDBC-Parameter angeben, die vom MariaDB-JDBC-Treiber unterstützt werden, indem Sie jdbc_additional_params hinzufügen. Wenn Sie beispielsweise eine bestimmte Trust Store-Datei verwenden müssen, können Sie dem MySQL-JDBC-Verbindungsstring den folgenden Parameter hinzufügen:

jdbc_additional_params: trustStore=/path/to/my/truststore.jks&keyStore=/path/to/my/keystore.jks

Bei vom Kunden gehosteten Installationen können Sie optional die maximale Anzahl von Verbindungen angeben, die Looker mit Ihrer Datenbank herstellen kann, indem Sie max_connections hinzufügen. Wenn Sie beispielsweise die Anzahl der gleichzeitigen Verbindungen zu Ihrer Datenbank auf 10 begrenzen möchten, fügen Sie Folgendes hinzu:

max_connections: 10

Im Rahmen des Verschlüsselungsschemas von Looker werden alle sensiblen Daten in der Datenbank im Ruhezustand verschlüsselt. Selbst wenn jemand Zugriff auf die Datenbankanmeldedaten im Klartext erhalten und auf die Datenbank zugreifen würde, verschlüsselt oder hasht Looker vertrauliche Daten vor dem Speichern. Dies gilt für Elemente wie Passwörter, Anmeldedaten für Analysedatenbanken und den Abfrage-Cache. Wenn Sie das Klartextpasswort für diese Konfiguration jedoch nicht in der Datei looker-db.yml auf dem Laufwerk speichern möchten, können Sie die Umgebungsvariable LOOKER_DB so konfigurieren, dass sie eine Liste von Schlüsseln und Werten für jede Zeile in der Datei looker-db.yml enthält. Beispiel:

export LOOKER_DB="dialect=mysql_8&host=localhost&username=root&password=&database=looker&port=3306"

Sichern Sie das Verzeichnis .db.

Sichern Sie das Verzeichnis .db, das die Dateien enthält, die zum Erstellen der speicherinternen HyperSQL-Datenbank erforderlich sind, falls Sie HyperSQL wiederherstellen müssen:

cp -r .db .db-backup
tar -zcvf db-backup.tar.gz ./.db-backup

Datenbank migrieren

Die Migration der Datenbank zu MySQL kann bei einer mittleren oder großen Instanz mehrere Stunden dauern, insbesondere wenn die HyperSQL-Datenbank 1 GB oder mehr groß ist. Wir empfehlen, die EC2-Instanz während der Migration vorübergehend auf m5.2xlarge (mit 32 GB RAM, um den in den Schritten angegebenen 26-GB-Heap zu ermöglichen) zu aktualisieren. Dadurch wird die erforderliche Zeit auf etwa 10 Minuten reduziert.

  1. Auf dem Looker-Host:

    cd looker
    ./looker stop
    vi looker
    
  2. Fügen Sie im Looker-Startskript eine neue zweite Zeile in die Datei ein:

    exit
    
  3. Beenden Sie die Instanz in der AWS-Konsole. Wenn sie beendet ist, ändern Sie die Größe der EC2-Instanz in m5.2xlarge. Starten Sie die Instanz dann wieder.

  4. Stellen Sie als Looker-Nutzer eine SSH-Verbindung zum Host her. Prüfen Sie zuerst, ob Java ausgeführt wird, und führen Sie dann Folgendes aus:

    cd looker
    java -Xms26000m -Xmx26000m -jar looker.jar migrate_internal_data  looker-db.yml
    

    Beim Ausführen des Schritts migrate_internal_data wird libcrypt möglicherweise nicht gefunden und es wird ein Stacktrace angezeigt, der so beginnt:

    NotImplementedError: getppid unsupported or native support failed to load
    ppid at org/jruby/RubyProcess.java:752
    ppid at org/jruby/RubyProcess.java:749
    

    Legen Sie in diesem Fall den LD_LIBRARY_PATH manuell fest, bevor Sie den Java-Befehl ausführen:

    export LD_LIBRARY_PATH=$HOME/looker/.tmp/:$LD_LIBRARY_PATH
    
  5. Nachdem der Vorgang erfolgreich abgeschlossen wurde, beenden Sie die Instanz über die AWS-Konsole.

  6. Sie können die Instanz jetzt auf ihre ursprüngliche Größe zurücksetzen.

  7. Starten Sie die Instanz neu.

Looker starten

  1. Bearbeiten Sie das Looker-Startskript und löschen Sie die Zeile exit, die Sie zuvor hinzugefügt haben.

  2. Achten Sie darauf, dass im Startskript keine Argumente in LOOKERARGS definiert sind. Stattdessen sollten alle Argumente in die Datei lookerstart.cfg verschoben werden, damit sie nicht von neuen Versionen des Startskripts überschrieben werden. Speichern Sie das Startscript und schließen Sie es.

  3. lookerstart.cfg bearbeiten Dies sollte in etwa wie folgt aussehen:

    LOOKERARGS="-d looker-db.yml"
    

    Wenn das Looker-Startskript weitere Argumente enthielt, fügen Sie sie der Datei lookerstart.cfg hinzu.

  4. Archivieren Sie das Verzeichnis .db, falls es noch nicht archiviert ist.

    mv .db .db-backup
    tar -zcvf db-backup.tar.gz ./.db-backup
    rm -rf ./.db-backup/
    
  5. Looker starten:

    ./looker start
    

Prüfen, ob Looker die neue Datenbank verwendet

Wenn Looker die MySQL-Datenbank im Backend erfolgreich verwendet, sollten Netzwerkverbindungen zwischen der Looker-Instanz und der neuen Datenbankinstanz angezeigt werden. Führen Sie dazu den folgenden Befehl auf der Looker-Instanz aus:

netstat -na | grep 3306

Sie sollten einige Verbindungen zur Datenbankinstanz sehen. Hier ein Beispiel für eine Ausgabe, die eine Datenbankinstanz mit der IP-Adresse 10.0.3.155 zeigt:

looker@instance1:~$ netstat -na | grep 3306
tcp6       0      0 10.0.5.131:56583        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56506        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56582        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56508        10.0.3.155:3306         ESTABLISHED

Looker sichern

Nach der Migration zu einem MySQL-Backend funktionieren die automatischen S3-Sicherungen von Looker nicht mehr. Wir empfehlen, die MySQL-Datenbank mindestens einmal pro Nacht zu sichern und jede Nacht eine Dateisystemsicherung des Looker-Arbeitsverzeichnisses durchzuführen. Das Verzeichnis looker/log/ kann von den Dateisystemsicherungen ausgeschlossen werden. Weitere Informationen finden Sie auf der Dokumentationsseite Sicherungen erstellen.

Fehlerbehebung

In diesem Abschnitt wird beschrieben, wie Sie häufige Probleme beheben, die bei der Verwendung einer MySQL-Backend-Datenbank mit Looker auftreten können.

Leerer freigegebener Ordner oder Illegal mix of collations-Fehler nach einem Update

Nachdem Sie eine vom Kunden gehostete Looker-Instanz aktualisiert haben, die eine MySQL 8.0.x- oder 8.4.x-Backend-Datenbank verwendet, wird der Ordner Freigegeben in der Looker-Benutzeroberfläche möglicherweise als leer angezeigt. Dashboards und Looks fehlen möglicherweise auch in den Suchergebnissen, obwohl Sie sie weiterhin über ihre direkten URLs öffnen können. In Backend-Logs oder Browsernetzwerkantworten schlagen interne API-Anfragen mit einer HTTP-500 Internal Server Error- und einer Illegal mix of collations-SQL-Ausnahme fehl.

Dieses Problem tritt auf, wenn die Standardsortierung (@@collation_database) der MySQL-Backend-Datenbank auf den Standardwert utf8mb4_0900_ai_ci von MySQL 8 anstelle von utf8mb4_general_ci festgelegt ist. Looker legt für jede MySQL-Verbindung die Sitzungsvariable collation_connection auf @@collation_database fest. Auch wenn collation_server auf utf8mb4_general_ci festgelegt ist und vorhandene Tabellen utf8mb4_general_ci verwenden, führt das Beibehalten der Standard-Datenbanksortierung utf8mb4_0900_ai_ci dazu, dass MySQL neuen Tabellen, die während eines Updates erstellt werden, und temporären Tabellen, die beim Auflisten von Ordnerinhalten im Arbeitsspeicher generiert werden, utf8mb4_0900_ai_ci zuweist. MySQL lehnt dann JOIN-Vorgänge zwischen diesen Tabellen und vorhandenen utf8mb4_general_ci-Tabellen ab.

Richten Sie die Datenbank- und Tabellensortierungen auf utf8mb4_general_ci aus, um dieses Problem zu beheben:

  1. Sichern Sie Ihre MySQL-Backend-Datenbank, bevor Sie Datenbank- oder Tabellensortierungen ändern.
  2. Prüfen Sie, ob collation_connection und collation_server in Ihrer MySQL-Konfiguration oder Parametergruppe auf utf8mb4_general_ci gesetzt sind, wie unter Zeichensätze konfigurieren beschrieben.
  3. Legen Sie den Standardzeichensatz und die Sortierung in der Looker-Backend-Datenbank fest:

    ALTER DATABASE DB_name CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    

    Ersetzen Sie DB_name durch den Namen Ihrer Looker-Backend-Datenbank.

  4. Suchen Sie in der Looker-Backend-Datenbank nach permanenten Tabellen, die nicht die Sortierung utf8mb4_general_ci verwenden:

    SELECT TABLE_NAME, TABLE_COLLATION
    FROM information_schema.TABLES
    WHERE TABLE_SCHEMA = 'DB_name'
      AND TABLE_TYPE = 'BASE TABLE'
      AND TABLE_COLLATION != 'utf8mb4_general_ci';
    
  5. Konvertieren Sie jede betroffene Tabelle, die von der Abfrage zurückgegeben wird, so, dass utf8mb4 und utf8mb4_general_ci verwendet werden:

    ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    

    Ersetzen Sie table_name durch den Namen der betroffenen Tabelle.

  6. Starten Sie die Looker-Instanz oder jeden Knoten in einer geclusterten Bereitstellung neu, damit neue Datenbankverbindungen und temporäre Tabellen die Sortierung utf8mb4_general_ci übernehmen.