Quelle konfigurieren

MySQL   |  PostgreSQL   |  PostgreSQL zu AlloyDB

Übersicht

Der Database Migration Service unterstützt kontinuierliche Migrationen von Quelldatenbanken zu AlloyDB-Zieldatenbanken.

Zu den unterstützten Quelldatenbanken für PostgreSQL gehören:

• Amazon RDS 9.6.10+, 10.5+, 11.1+, 12, 13, 14, 15, 16, 17
• Amazon Aurora 10.11+, 11.6+, 12.4+, 13.3+, 14, 15, 16, 17
• Selbstverwaltetes PostgreSQL (lokal oder auf einer beliebigen Cloud-VM, die Sie vollständig kontrollieren) 9.4, 9.5, 9.6, 10, 11, 12, 13, 14, 15, 16, 17
• Cloud SQL 9.6, 10, 11, 12, 13, 14, 15, 16, 17

Zum Konfigurieren Ihrer Quelle müssen Sie sowohl die Quellinstanz als auch die zugrunde liegenden Quelldatenbanken konfigurieren.

Quellinstanz konfigurieren

So konfigurieren Sie Ihre Quellinstanz:

1. Die Quellinstanz muss die Datenbank postgres enthalten. Wenn Sie diese Datenbank noch nicht haben, erstellen Sie sie.
2. Installieren Sie das Paket pglogical auf der Quellinstanz und prüfen Sie, ob es in der Variablen shared_preload_libraries enthalten ist.
   1. Informationen zum Installieren des Pakets pglogical auf der Quellinstanz für Ihre Umgebung finden Sie unter Paket auf der Quellinstanz installieren.

Quelldatenbanken konfigurieren

Der Database Migration Service migriert alle Datenbanken unter der Quellinstanz außer den folgenden Datenbanken:

• Für lokale Quellen: Vorlagendatenbanken template0 und template1
• Für Amazon RDS-Quellen: template0, template1 und rdsadmin
• Für Cloud SQL-Quellen: Vorlagendatenbanken template0 und template1

Führen Sie die folgenden Schritte für jede Datenbank in Ihrer Quellinstanz aus, die oben nicht erwähnt wird:

1. Nur für PostgreSQL-Version 9.4-Quellen: Installieren Sie die folgenden pglogical Erweiterungen in jeder Datenbank Ihrer Quellinstanz:

   • CREATE EXTENSION IF NOT EXISTS pglogical;
   • CREATE EXTENSION IF NOT EXISTS pglogical_origin;

2. Für alle anderen Versionen: Installieren Sie nur die pglogical-Erweiterung in jeder Datenbank Ihrer Quellinstanz: CREATE EXTENSION IF NOT EXISTS pglogical.

3. Bei Tabellen ohne Primärschlüssel unterstützt der Database Migration Service die Migration des ersten Snapshots und der INSERT Anweisungen während der CDC-Phase. UPDATE- und DELETE-Anweisungen sollten Sie manuell migrieren.

   Unter Debugging und andere Tools erfahren Sie, wie Sie eine Abfrage zum Auflisten von Tabellen in einer PostgreSQL-Datenbank ohne Primärschlüssel generieren. Für jede Datenbanktabelle, die keinen Primärschlüssel hat und nicht zu den Datenbanken gehört, die nicht migriert werden, sollten Sie die Tabelle so ändern, dass sie einen Primärschlüssel hat oder diese Schritte ausführen. Bei Tabellen ohne Primärschlüssel werden nur der erste Snapshot und die INSERT-Anweisungen migriert.

4. Der USER mit dem Sie die Verbindung zur Quellinstanz (diese wird als Nutzer auf der Seite Verbindungsprofile konfiguriert) herstellen, muss bestimmte Berechtigungen für jede migrierte Datenbank sowie für die Standarddatenbank postgres haben. Sie können einen neuen Nutzer erstellen oder einen vorhandenen verwenden. Stellen Sie eine Verbindung zur Instanz her und führen Sie die folgenden Befehle aus, um diese Berechtigungen festzulegen:

   1. GRANT USAGE on SCHEMA SCHEMA to USER für alle Schemas (mit Ausnahme des Informationsschemas und der Schemas, die mit „pg_“ beginnen) in jeder Datenbank, die Sie migrieren möchten.
   2. GRANT USAGE on SCHEMA pglogical to PUBLIC; für jede Datenbank, die Sie migrieren möchten.
   3. GRANT SELECT on ALL TABLES in SCHEMA pglogical to USER für alle Datenbanken, um Replikationsinformationen aus Quelldatenbanken abzurufen.
   4. GRANT SELECT on ALL TABLES in SCHEMA SCHEMA to USER für alle Schemas (mit Ausnahme des Informationsschemas und der Schemas, die mit „pg_“ beginnen) in jeder Datenbank, die Sie migrieren möchten.
   5. GRANT SELECT on ALL SEQUENCES in SCHEMA SCHEMA to USER für alle Schemas (mit Ausnahme des Informationsschemas und der Schemas, die mit „pg_“ beginnen) in jeder Datenbank, die Sie migrieren möchten.
   6. Wenn Ihre Quelle Amazon RDS ist, führen Sie den folgenden Befehl aus:
      1. GRANT rds_replication to USER
   7. Wenn Ihre Quelle nicht Amazon RDS ist, führen Sie den folgenden Befehl aus:
      1. ALTER USER USER with REPLICATION Rolle

pglogical-Paket auf der Quellinstanz installieren

In diesem Abschnitt wird beschrieben, wie Sie das Paket pglogical konfigurieren, einschließlich der Konfiguration für die Parameter max_replication_slots, max_wal_senders und max_worker_processes. Sie können die richtigen Werte für diese Parameter auch abrufen, indem Sie einen Test des Migrationsjobs ausführen, wenn Sie den Migrationsjob erstellen. Während dieses Tests kann der Database Migration Service Ihre Einstellungen überprüfen und die richtigen Werte vorschlagen.

Lokales oder selbstverwaltetes PostgreSQL

1. Installieren Sie das pglogical-Paket auf dem Server.
2. Stellen Sie eine Verbindung zur Instanz her und legen Sie die folgenden Parameter nach Bedarf fest:

   • shared_preload_libraries muss pglogical enthalten.

     Führen Sie den Befehl ALTER SYSTEM SET shared_preload_libraries = 'pglogical,[any other libraries in your instance]'; aus, um diesen Parameter festzulegen.

     Führen Sie den Befehl show shared_preload_libraries aus, um die vorhandenen Bibliotheken für Ihre Instanz abzurufen.

   • Setzen Sie wal_level auf logical.

     Führen Sie den Befehl ALTER SYSTEM SET wal_level = 'logical'; aus, um diesen Parameter festzulegen.

   • Setzen Sie wal_sender_timeout auf 0.

     Führen Sie den Befehl ALTER SYSTEM SET wal_sender_timeout = 0; aus, um diesen Parameter festzulegen. Dabei deaktiviert 0 den Timeout-Mechanismus, der zum Beenden inaktiver Replikationsverbindungen verwendet wird.

   • max_replication_slots definiert die maximale Anzahl von Replikations-Slots, die von der Quellinstanz unterstützt werden können. Er muss mindestens auf die Anzahl der Abos gesetzt werden, für die eine Verbindung erwartet wird, plus einige Reservierungen für die Tabelle Synchronisierung.

     Der Database Migration Service benötigt einen Slot für jede migrierte Datenbank (also alle Datenbanken unter der Quellinstanz).

     Wenn es beispielsweise fünf Datenbanken auf der Quellinstanz gibt und zwei Migrationsjobs für die Quelle erstellt werden, muss die Anzahl der Replikations-Slots mindestens 5 * 2 = 10 plus die Anzahl der bereits von Ihnen verwendeten Replikations-Slots betragen. Wenn Sie angepasste Einstellungen für die Parallelisierung des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Replikations-Slots und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen beim Erstellen des Migrationsjobs.

     Führen Sie den Befehl ALTER SYSTEM SET max_replication_slots = #; aus, um diesen Parameter festzulegen. Dabei steht # für die maximale Anzahl von Replikations-Slots.

   • max_wal_senders sollte auf mindestens denselben Wert wie max_replication_slots plus die Anzahl der bereits auf Ihrer Instanz verwendeten Absender eingestellt werden.

     Wenn für den Parameter max_replication_slots beispielsweise der Wert 10 festgelegt ist und Sie bereits zwei Absender verwenden, beträgt die Anzahl der gleichzeitig ausgeführten WAL-Senderprozesse 10 + 2 = 12. Wenn Sie angepasste Einstellungen für die Parallelität des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Absender und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen wenn Sie den Migrationsjob erstellen.

     Führen Sie den Befehl ALTER SYSTEM SET max_wal_senders = #; aus, um diesen Parameter festzulegen. Dabei steht # für die Anzahl der gleichzeitig ausgeführten WAL-Senderprozesse.

   • Für max_worker_processes sollte mindestens die Anzahl der Datenbanken festgelegt sein, die vom Database Migration Service migriert werden (also alle Datenbanken unter der Quellinstanz), plus die Anzahl der bereits auf Ihrer Instanz verwendeten max_worker_processes.

     Wenn Sie angepasste Einstellungen für die Parallelität des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Worker-Prozesse und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen, wenn Sie den Migrationsjob erstellen.

     Führen Sie den Befehl ALTER SYSTEM SET max_worker_processes = #; aus, um diesen Parameter festzulegen. Dabei steht # für die Anzahl der zu migrierenden Datenbanken.

   Die Parameter, die Sie in diesem Schritt festlegen, gelten für einen ausgeführten PostgreSQL-Datenbankserver. Sie können diese Änderungen auch dauerhaft machen, indem Sie der Datei postgresql.conf die folgenden Codezeilen hinzufügen:

   • shared_preload_libraries = 'pglogical';
   • wal_level = 'logical';
   • wal_sender_timeout = 0;
   • max_replication_slots = #;
   • max_wal_senders = #;
   • max_worker_processes = #;
3. Starten Sie die Quellinstanz neu, um die Konfigurationsänderungen zu übernehmen.

Amazon RDS PostgreSQL

1. Installieren Sie die Erweiterung pglogical in Ihrer Quelldatenbank. Weitere Informationen finden Sie in der Amazon RDS-Dokumentation unter PostgreSQL-Erweiterungen mit Amazon RDS for PostgreSQL verwenden.

2. Konfigurieren Sie die Quellinstanz mit Parametergruppen.

   • Erstellen Sie eine neue Parametergruppe. In der Parametergruppe:
   • Prüfen Sie, ob der Parameter shared_preload_libraries pglogical enthält.
   • Setzen Sie den Parameter rds.logical_replication auf 1. Dadurch werden WAL-Logs auf logischer Ebene aktiviert.
   • Setzen Sie den Parameter wal_sender_timeout auf 0. Dadurch wird der Timeout-Mechanismus deaktiviert, der zum Beenden inaktiver Replikationsverbindungen verwendet wird.

   • Legen Sie den max_replication_slots Parameter fest. Dieser Parameter definiert die maximale Anzahl von Replikations-Slots, die von der Quellinstanz unterstützt werden können. Er muss mindestens auf die Anzahl der Abos gesetzt werden, für die eine Verbindung erwartet wird, plus einige Reservierungen für die Tabellensynchronisierung.

     Der Database Migration Service benötigt einen Slot für jede migrierte Datenbank (also alle Datenbanken unter der Quellinstanz).

     Wenn es beispielsweise fünf Datenbanken auf der Quellinstanz gibt und zwei Migrationsjobs für die Quelle erstellt werden, muss die Anzahl der Replikations-Slots mindestens 5 * 2 = 10 plus die Anzahl der bereits von Ihnen verwendeten Replikations-Slots betragen. Wenn Sie angepasste Einstellungen für die Parallelisierung des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Replikations-Slots und prüfen Sie Ihre Konfiguration, indem Sie beim Erstellen des Migrationsjobs den Test des Migrationsjobs ausführen.

     Der Standardwert für diesen Parameter ist 10.

   • Setzen Sie den max_wal_senders Parameter auf mindestens max_replication_slots plus die Anzahl der bereits auf Ihrer Instanz verwendeten Absender.

     Wenn für den Parameter max_replication_slots beispielsweise der Wert 10 festgelegt ist und Sie bereits zwei Absender verwenden, beträgt die Anzahl der gleichzeitig ausgeführten WAL-Senderprozesse 10 + 2 = 12. Wenn Sie angepasste Einstellungen für die Parallelisierung des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Absender und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen beim Erstellen des Migrationsjobs.

     Der Standardwert für diesen Parameter ist 10.

   • Setzen Sie den Quellparameter max_worker_processes auf mindestens die Anzahl der Datenbanken, die vom Database Migration Service migriert werden (also alle Datenbanken unter der Quellinstanz), plus die Anzahl der max_worker_processes bereits auf Ihrer Instanz verwendeten. Wenn Sie angepasste Einstellungen für die Parallelität des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Worker-Prozesse und prüfen Sie Ihre Konfiguration, indem Sie beim Erstellen des Migrationsjobs den Test des Migrationsjobs ausführen.

     Der Standardwert für diesen Parameter ist 8.

3. Hängen Sie die Parametergruppe an die Instanz an. Wenn Sie eine neue Instanz erstellen, finden Sie diese Option unter Zusätzliche Konfiguration. Andernfalls ändern Sie die Instanz, um die Parametergruppe anzuhängen.

4. Starten Sie die Quellinstanz neu, um die Konfigurationsänderungen zu übernehmen.

Hinweis: Die Erweiterung pglogical kann Anmeldedaten in Klartext auf der Quellinstanz protokollieren. Dieses Verhalten wird durch die Erweiterung selbst verursacht und steht in keinem Zusammenhang mit dem Database Migration Service oder Cloud SQL.

Cloud SQL for PostgreSQL

Aktivieren Sie die logische Replikation und Decodierung für die Quelldatenbank, indem Sie die folgenden Flags konfigurieren.

Alle Einstellungen in diesem Abschnitt werden mit Flags in Cloud SQL konfiguriert. Informationen zum Aktivieren von Flags in Cloud SQL finden Sie unter Datenbank-Flags konfigurieren.

1. Setzen Sie die cloudsql.logical_decoding und cloudsql.enable_pglogical Flags auf on.

2. Legen Sie das max_replication_slots Flag fest. Dieses Flag definiert die maximale Anzahl von Replikations-Slots, die von der Quellinstanz unterstützt werden können. Es muss mindestens auf die Anzahl der Abos gesetzt werden, für die eine Verbindung erwartet wird, plus einige Reservierungen für die Tabelle synchronisierung.

   Der Database Migration Service benötigt einen Slot für jede migrierte Datenbank (also alle Datenbanken unter der Quellinstanz).

   Wenn es beispielsweise fünf Datenbanken auf der Quellinstanz gibt und zwei Migrationsjobs für die Quelle erstellt werden, muss die Anzahl der Replikations-Slots mindestens 5 * 2 = 10 plus die Anzahl der bereits von Ihnen verwendeten Replikations-Slots betragen. Wenn Sie angepasste Einstellungen für die Parallelisierung des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Replikations-Slots und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen beim Erstellen des Migrationsjobs.

   Der Standardwert für dieses Flag ist 10.

3. Setzen Sie das Flag max_wal_senders auf mindestens dasselbe wie max_replication_slots, plus die Anzahl der bereits auf Ihrer Instanz verwendeten Absender.

   Wenn für das Flag max_replication_slots beispielsweise der Wert 10 festgelegt ist und Sie bereits zwei Absender verwenden, beträgt die Anzahl der gleichzeitig ausgeführten WAL-Senderprozesse 10 + 2 = 12. Wenn Sie angepasste Einstellungen für die Parallelität des Daten-Dumps verwenden möchten, erhöhen Sie die Anzahl der Absender und prüfen Sie Ihre Konfiguration, indem Sie den Test des Migrationsjobs ausführen wenn Sie den Migrationsjob erstellen.

   Der Standardwert für dieses Flag ist 10.

4. Setzen Sie das Quellflag max_worker_processes auf mindestens die Anzahl der Datenbanken , die vom Database Migration Service migriert werden (also alle Datenbanken unter der Quellinstanz), plus die Anzahl der max_worker_processes bereits auf Ihrer Instanz verwendeten. Wenn Sie angepasste Einstellungen für die Parallelität des Daten-Dumps verwenden möchten, berücksichtigen Sie zwei zusätzliche Worker-Prozesse pro Verbindung (maximal 20 Worker).

   Der Standardwert für dieses Flag ist 8.

5. Starten Sie die Quellinstanz neu , damit die Konfigurationsänderungen, die Sie an den Flags vorgenommen haben, wirksam werden können.

Replikationsverzögerungsmonitoring für PostgreSQL-Versionen vor 9.6 aktivieren

Wenn Sie von einer PostgreSQL-Version vor 9.6 migrieren, ist der Messwert für die Replikationsverzögerung standardmäßig nicht verfügbar. Sie können diesen Messwert auf drei Arten verfolgen, um beim Hochstufen der Datenbank die Ausfallzeit zu minimieren:

1. Option 1: Aktivieren Sie den Database Migration Service, um die Replikationsverzögerung zu verfolgen, indem Sie Zugriff auf eine bestimmte Abfrage gewähren. Führen Sie mit einem Nutzer mit der Berechtigung SUPERUSER die folgenden Schritte aus:

   1. Definieren Sie die folgende Funktion, damit der Database Migration Service die Replikationsverzögerung abfragen kann.

      CREATE OR REPLACE FUNCTION pg_stat_replication_user()
      RETURNS TABLE (
      pid               integer                  ,
      usesysid          oid                      ,
      username          name                    ,
      application_name  text                     ,
      client_addr       inet                     ,
      client_hostname   text                     ,
      client_port       integer                  ,
      backend_start     timestamp with time zone ,
      backend_xmin      xid                      ,
      state             text                     ,
      sent_location     pg_lsn                   ,
      write_location    pg_lsn                   ,
      flush_location    pg_lsn                   ,
      replay_location   pg_lsn                   ,
      sync_priority     integer                  ,
      sync_state        text
      )
      LANGUAGE SQL
      SECURITY DEFINER
      AS $$
       SELECT *
       FROM pg_catalog.pg_stat_replication;
      $$;
      

   2. Gewähren Sie dem USER die Berechtigung EXECUTE, indem Sie die folgenden Befehle ausführen:

      1. REVOKE EXECUTE ON FUNCTION pg_stat_replication_user() FROM public;
      2. GRANT EXECUTE ON FUNCTION pg_stat_replication_user() to {replication_user};

2. Option 2: Gewähren Sie die Berechtigung SUPERUSER direkt dem USER, mit dem eine Verbindung zur Quellinstanz hergestellt wurde. So kann der Database Migration Service die Replikationsverzögerung direkt lesen.

3. Option 3: Verfolgen Sie die Replikationsverzögerung unabhängig mit der folgenden Abfrage:

   Führen Sie diesen Befehl für PostgreSQL-Versionen vor 10 als superuser aus.

       SELECT current_timestamp, application_name,
       pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.sent_location) AS sent_location_lag,
       pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.write_location) AS write_location_lag,
       pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.flush_location) AS flush_location_lag,
       pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.replay_location) AS replay_location_lag
       FROM pg_stat_replication
       WHERE application_name like 'cloudsql%';
     

   Bei dieser Option spiegelt der Database Migration Service den Messwert für die Replikationsverzögerung in den Grafiken oder API-Antworten nicht wider.