Bereitstellung mit TLS-Verschlüsselung auf VMs erstellen

In diesem Dokument wird beschrieben, wie Sie einer Spanner Omni-Bereitstellung auf VMs TLS-Verschlüsselung hinzufügen. Bei einer Bereitstellung mit Netzwerksicherheitsfunktionen wird Transport Layer Security (TLS) 1.3 verwendet, um die Kommunikation innerhalb der Bereitstellung und mit ihren Clients zu verschlüsseln und zu authentifizieren. Spanner Omni bietet gegenseitiges TLS (mTLS) für erweiterte Sicherheitsfunktionen. Dabei stellen beide Parteien die Authentizität her, bevor sie Daten austauschen. mTLS ist zwischen dem Client und dem Server optional, aber Spanner Omni-Server kommunizieren miteinander über mTLS.

Hinweis

Prüfen Sie vorab, ob Ihre Umgebung die folgenden Anforderungen erfüllt:

  • Sie benötigen SSH-Zugriff auf jeden Computer in der Bereitstellung. Mit diesem Zugriff können Sie die Spanner Omni-Binärdatei herunterladen und ausführen.

  • Ihr Netzwerk muss die TCP-Kommunikation über die Ports 15000 bis 15030 zulassen.

  • Jede Maschine muss über ausreichend Speicherplatz verfügen, um die Daten zu hosten, die von der Bereitstellung verarbeitet werden.

  • Prüfen Sie auf der Seite Systemanforderungen, ob Ihre Einrichtung die Anforderungen erfüllt.

  • Wenn Sie die Binärdateien auf der vSphere-Virtualisierungsplattform ausführen, deaktivieren Sie die TSC-Virtualisierung. Fügen Sie dazu die Einstellung monitor_control.virtual_rdtsc = FALSE der .vmx-Konfigurationsdatei der virtuellen Maschine hinzu.

Schritt 1: Bereitstellung ohne TLS-Verschlüsselung erstellen

Folgen Sie der Anleitung unter Spanner Omni-VM-Bereitstellung ohne Verschlüsselung erstellen. Prüfen Sie, ob die VM-Bereitstellung ohne Verschlüsselung und Sicherheitsfunktionen ordnungsgemäß funktioniert. Auf dieser Seite wird davon ausgegangen, dass Sie eine regionale Bereitstellung mit drei Zonen erstellt haben.

Schritt 2: Zertifikate generieren

Sie müssen drei Zertifikatsätze erstellen:

Zertifikatstyp Beschreibung
API-Zertifikate API-Zertifikate tragen zum Schutz des Spanner API-Servers bei.
Serverzertifikate Serverzertifikate schützen die Kommunikation zwischen Servern.
Clientzertifikate Endnutzer oder Anwendungen verwenden Clientzertifikate, um ihre Identität und ihr Vertrauen gegenüber Spanner Omni-Servern zu bestätigen.

Diese Zertifikate werden von einer Zertifizierungsstelle ausgestellt. Spanner Omni bietet Tools zum Erstellen einer Zertifizierungsstelle und aller drei Zertifikatstypen. Führen Sie die folgenden Schritte auf einem Ihrer Geräte aus.

Sie können diese Zertifikate auf Ihrer Workstation mit der Spanner Omni CLI erstellen und die Zertifikatsdateien dann auf jeden Spanner Omni-Server übertragen. Weitere Informationen finden Sie in der Kurzanleitung zur Verwendung der Spanner Omni CLI.

So generieren Sie Zertifikate:

Zertifizierungsstelle erstellen

Diese Zertifizierungsstelle ist die Root-CA für alle Client- und Serverzertifikate, die Sie in den folgenden Schritten generieren.

spanner certificates create-ca --ca-certificate-directory=certs

Das Verzeichnis certs enthält das CA-Zertifikat. Erstellen Sie eine Kopie dieses Zertifikats, die als CA für API-Zertifikate verwendet werden soll.

cp certs/ca.crt certs/ca-api.crt

Das Verzeichnis $HOME/.spanner/private-keys enthält den privaten Schlüssel für die Zertifizierungsstelle. Sichern Sie dieses Verzeichnis und schützen Sie es. Ein Nutzer mit Zugriff auf den privaten Schlüssel kann beliebige Zertifikate signieren, denen Clients vertrauen, die der selbst signierten CA vertrauen. Sie können zwar dieselbe Zertifizierungsstelle für alle Zertifikate verwenden, aber API-Zertifikate und Clientzertifikate müssen dieselbe Zertifizierungsstelle verwenden. Optional können Sie eine zusätzliche Zertifizierungsstelle erstellen oder eine extern vertrauenswürdige Zertifizierungsstelle für die API-Zertifikate verwenden. Achten Sie darauf, dass Sie beim Erstellen von Zertifikaten in den folgenden Schritten die richtige Zertifizierungsstelle verwenden. In diesem Dokument wird für alle Zertifikattypen dieselbe Zertifizierungsstelle verwendet.

Serverzertifikate generieren

Sie generieren zwei Arten von Serverzertifikaten:

  • Spanner-Serverzertifikat: Verschlüsselt die Kommunikation zwischen Spanner Omni-Servern.

  • API-Zertifikat: Verschlüsselt die Kommunikation von Systemen, die mit dem Deployment interagieren.

Diese Einrichtung ermöglicht eine flexiblere Verwaltung dieser Zertifikate, z. B. eine Zertifikatsrotation.

Spanner-Serverzertifikat erstellen

Spanner Omni-Server verwenden Serverzertifikate, um die Kommunikation untereinander (Server-zu-Server-Kommunikation) zu verschlüsseln.

Erstellen Sie das Serverzertifikat mit dem folgenden Befehl. Ersetzen Sie SERVER_LIST durch eine kommagetrennte Liste mit Namen von Spanner-Servern oder Suffixen.

SERVER_NAMES=SERVER_LIST
spanner certificates create-server --hostnames=${SERVER_NAMES} --ca-certificate-directory certs --output-directory certs

Mit diesem Befehl werden im Verzeichnis certs die beiden Dateien server.crt und server.key erstellt.

API-Zertifikat erstellen

API-Zertifikate verschlüsseln die Kommunikation von Systemen, die mit der Bereitstellung interagieren. Wenn Sie separate Zertifikate für die API und die Kommunikation zwischen Servern verwenden, können Sie die einzelnen Typen unabhängig voneinander verwalten und rotieren.

Erstellen Sie das API-Zertifikat, indem Sie den folgenden Befehl ausführen. Ersetzen Sie LB_DNS durch den DNS des Load-Balancers.

SERVER_NAMES=LB_DNS
spanner certificates create-server --filename-prefix=api --hostnames=${SERVER_NAMES} --ca-certificate-directory certs --output-directory certs

Mit diesem Befehl werden zwei weitere Dateien, api.crt und api.key, im Verzeichnis certs erstellt. Bei Bedarf können Sie eine extern vertrauenswürdige Zertifizierungsstelle für die API-Zertifikate verwenden.

Zertifikate auf alle Server verteilen

Kopieren Sie das Verzeichnis certs auf alle anderen Server in der Bereitstellung, um sie mit Netzwerksicherheitsfunktionen zu starten.

scp -r certs REMOTE_HOST:SPANNER_DIR/certs

Schritt 3: Clientzertifikate generieren

Sie können Clientzertifikate verwenden, um Nutzer und Anwendungen in Spanner zu authentifizieren. Clientzertifikate ermöglichen mTLS zwischen dem Client und dem Server.

Clientzertifikate müssen von derselben Zertifizierungsstelle wie das API-Zertifikat signiert werden und einen Nutzernamen für die Autorisierung enthalten. In diesem Beispiel wird der Nutzer admin verwendet, der der Standardnutzer für jede Datenbank ist. Weitere Informationen zu Nutzern, Rollen und Authentifizierungsoptionen finden Sie unter Authentifizierung und Autorisierung in Spanner Omni.

USERNAME=admin
spanner certificates create-client $USERNAME --output-directory clientcerts --ca-certificate-directory certs

Mit diesem Befehl werden die Dateien client.crt und client.key im Verzeichnis clientcerts erstellt. Senden Sie diese Dateien an einen beliebigen Computer, der eine Verbindung zu den Servern der Bereitstellung herstellt.

Wenn Sie die Clientzertifikate mit der Java-Clientbibliothek verwenden möchten, müssen Sie den Zertifikatschlüssel im PKCS#8-Format generieren. Verwenden Sie den folgenden Befehl:

USERNAME=admin
spanner certificates create-client $USERNAME \
    --output-directory clientcerts \
    --ca-certificate-directory certs \
    --generate-pkcs8-key

Schritt 4: Server starten

Nachdem Sie die Zertifikate generiert und auf alle Server in Ihrer Bereitstellung kopiert haben, starten Sie jeden Server. Erstellen Sie auf jedem Server ein Basisverzeichnis zum Speichern von Daten, Metadaten und Logs. Wenn ein Server neu gestartet werden muss, geben Sie für die Kontinuität dasselbe Verzeichnis an.

Bereitstellung auf einem einzelnen Server

Wenn Sie eine Einzelserverbereitstellung mit Verschlüsselung starten möchten, erstellen Sie eine Passwortdatei für den ersten admin-Nutzer und starten Sie den Server mit den unterstützten Authentifizierungsmethoden und Zertifikaten.

  1. Erstellen Sie die Passwortdatei mit Berechtigungen, die auf „600“ festgelegt sind, damit sie nur vom Inhaber gelesen werden kann:

    printf '%s' 'PASSWORD' > admin_password.txt
chmod 600 admin_password.txt

    Das Passwort muss die folgenden Anforderungen erfüllen:

    • Es muss zwischen 8 und 32 Zeichen lang sein.
    • Mindestens ein Großbuchstabe.
    • Mindestens ein Kleinbuchstabe.
    • Mindestens eine Zahl.
    • Mindestens ein Sonderzeichen.

  2. Starten Sie den einzelnen Server mit konfiguriertem TLS und konfigurierter Authentifizierung:

    nohup spanner start-single-server \
    --base-dir=BASE_DIR \
    --certificate-directory=${HOME}/.spanner/certs \
    --auth-methods=password,client-certificate \
    --password-protocol=opaque \
    --initial-admin-password-file=admin_password.txt &

    Beim ersten Start legt spanner start-single-server die unterstützten Authentifizierungsmethoden und das Passwortprotokoll fest und erstellt die anfängliche Rolle „adminuser with theroles/spanner.admin“ mit der angegebenen Passwortdatei.

Informationen zur Interaktion mit Ihrer Bereitstellung finden Sie unter Schritt 7: Mit der Bereitstellung interagieren.

Horizontale Bereitstellung

Bei Scale-out-Bereitstellungen starten Sie den Server auf jedem Computer. Die Werte für server-address und zone müssen mit den Werten in der Bereitstellungskonfiguration übereinstimmen. Das Netzwerk muss server-address beheben. Server verwenden server-address für die interne Kommunikation. Führen Sie den folgenden Befehl aus, um den Root-Server zu starten:

nohup spanner start \
    --root \
    --server-address=HOST_NAME \
    --zone=ZONE_NAME \
    --base-dir=BASE_DIR \
    --certificate-directory=${HOME}/.spanner/certs &

Der folgende Befehl zeigt ein Beispiel mit bestimmten Werten:

nohup spanner start \
    --root \
    --server-address=rootserver1 \
    --zone=us-central-1a \
    --base-dir=./spanbasedir \
    --certificate-directory=${HOME}/.spanner/certs &

Nachdem die Server jetzt auf jeder Maschine ausgeführt werden, können Sie das Deployment erstellen.

Schritt 5: Bereitstellung mit TLS-Verschlüsselung erstellen

So erstellen Sie das Deployment:

  1. Erstellen Sie eine Passwortdatei mit dem Passwort für den Standardnutzer admin, dessen Berechtigungen auf 600 festgelegt sind (nur vom Inhaber lesbar):

    printf '%s' 'PASSWORD' > admin_password.txt
chmod 600 admin_password.txt

    Das Passwort muss die folgenden Anforderungen erfüllen:

    • Es muss zwischen 8 und 32 Zeichen lang sein.
    • Mindestens ein Großbuchstabe.
    • Mindestens ein Kleinbuchstabe.
    • Mindestens eine Zahl.
    • Mindestens ein Sonderzeichen.

  2. Prüfen Sie, ob deployment.yaml die ausgewählten Authentifizierungsmethoden und das Passwortprotokoll enthält:

    deployment_settings:
  security_settings:
    authentication_methods:
      - AUTHENTICATION_METHOD_PASSWORD
      - AUTHENTICATION_METHOD_CLIENT_CERTIFICATE
    password_authentication_protocol: PASSWORD_AUTHENTICATION_PROTOCOL_OPAQUE

    Sie können eine oder mehrere der folgenden Authentifizierungsmethoden angeben:

    • AUTHENTICATION_METHOD_PASSWORD: Passwortauthentifizierung
    • AUTHENTICATION_METHOD_CLIENT_CERTIFICATE: Clientzertifikatsauthentifizierung

    Sie können das folgende Passwortprotokoll angeben:

    • PASSWORD_AUTHENTICATION_PROTOCOL_OPAQUE: OPAQUE-Protokoll

  3. Führen Sie den Befehl spanner deployment create auf einem der Root-Server aus, um die Bereitstellung zu erstellen. Geben Sie das Basisverzeichnis mit dem Flag --base-dir an (mit demselben BASE_DIR, das beim Starten des Stammservers angegeben wurde) und geben Sie die Administratorpasswortdatei mit dem Flag --admin-password-file an:

    spanner deployment create \
    --config-file=deployment.yaml \
    --base-dir=BASE_DIR \
    --admin-password-file=admin_password.txt

In der Konsole für jede Maschine werden Meldungen angezeigt, die darauf hinweisen, dass die Bereitstellung jetzt TLS-Verschlüsselung umfasst. Alle Server kommunizieren über einen verschlüsselten Kanal miteinander.

Schritt 6 (optional): Load-Balancer konfigurieren

Um den Client-Traffic auf die Server in Ihrer Bereitstellung zu verteilen, richten Sie einen Load-Balancer ein. Achten Sie darauf, dass in der Load-Balancer-Konfiguration für die Systemdiagnose HTTPS anstelle von HTTP verwendet wird. Verwenden Sie die folgenden Konfigurationsdetails:

Parameter Wert
Protokoll TCP
Backend-IP Die IP-Adressen Ihrer Server.
Port 15000 (Das ist der Standardport. Wenn Sie im Flag --server-address einen anderen Port verwendet haben, verwenden Sie diesen Port.)
URL der Systemdiagnose https://IP_ADDRESS:15012/healthz
Balancing-Strategie „roundrobin“ (verteilt Anfragen sequenziell auf Server)

Schritt 7: Mit der Bereitstellung interagieren

Sie können von jeder VM aus über die Spanner Omni-Befehlszeile mit Ihrer Spanner Omni-Bereitstellung interagieren.

Sie müssen das folgende Flag in jeden Befehl einfügen, um eine verschlüsselte Verbindung herzustellen:

  • --ca-certificate-file=certs/ca-api.crt

Wenn Sie mTLS für Clients aktiviert haben, fügen Sie jedem Befehl auch das folgende Flag hinzu:

  • --client-certificate-directory=clientcerts

So melden Sie sich an und interagieren mit Ihrem Deployment:

  1. In Spanner Omni anmelden

    spanner auth login admin \
    --ca-certificate-file=certs/ca-api.crt \
    --deployment-endpoint=ENDPOINT

    Geben Sie bei entsprechender Aufforderung das in admin_password.txt konfigurierte Passwort ein.

    Successfully logged in as "admin"

  2. Datenbank erstellen

    spanner --deployment-endpoint=ENDPOINT databases create mydb --ca-certificate-file=certs/ca-api.crt

    Creating database...done.

  3. SQL-Shell öffnen

    spanner sql --database=mydb --ca-certificate-file=certs/ca-api.crt

    Connected.
spanner>

  4. Tabelle erstellen und Daten hinzufügen

    spanner> create table names (nameId INT64 NOT NULL, name String(100)) Primary Key (nameId);
Query OK, 0 rows affected (4.62 sec)

spanner> insert names (nameId, name) values (1, "Jack");
Query OK, 1 rows affected (0.18 sec)

  5. Daten überprüfen

    Datenbanken auflisten:

    spanner databases list --ca-certificate-file=certs/ca-api.crt

    NAME  STATE  VERSION_RETENTION_PERIOD  EARLIEST_VERSION_TIME  KMS_KEY_NAME  ENABLE_DROP_PROTECTION
mydb  READY  1h                        2025-02-07T12:25:30Z                 false

    Daten aus der Tabelle abrufen:

    spanner sql --database=mydb --ca-certificate-file=certs/ca-api.crt

    Connected.
spanner> show tables;
+----------------+
| Tables_in_mydb |
+----------------+
| names          |
+----------------+
1 rows in set (0.14 sec)

spanner> select * from names;
+--------+--------+
| nameId | name   |
+--------+--------+
| 1      | Jack   |
+--------+--------+
1 rows in set (18.69 msecs)

Schritt 8: (Optional) Bereitstellung skalieren

Sie können einer Zone Nicht-Root-Server hinzufügen, um die Kapazität der Zone zu erhöhen. Generieren Sie dazu das Serverzertifikat für die Nicht-Root-Server, wie in Schritt 2: Zertifikate generieren beschrieben, und starten Sie den Server mit dem folgenden Befehl:

spanner start \
    --server-address=NON_ROOT_MACHINE \
    --join-servers=ROOT_SERVER1,ROOT_SERVER2,ROOT_SERVER3 \
    --zone=us-central1-a \
    --base-dir=./spandir \
    --certificate-directory=${HOME}/.spanner/certs

Nächste Schritte