Configurare il motore colonnare in AlloyDB Omni

Seleziona una versione della documentazione:

Questa pagina descrive come attivare o disattivare il motore colonnare su un cluster di database AlloyDB Omni. Viene inoltre illustrato come configurare una dimensione iniziale appropriata per l'archivio a colonne.

Per una panoramica concettuale del motore colonnare AlloyDB, consulta Panoramica del motore colonnare AlloyDB Omni.

Attivare il motore colonnare

Per utilizzare il motore colonnare su un'istanza, imposta il flag dell'istanza google_columnar_engine.enabled su on.

Server singolo

Per impostare google_columnar_engine.enabled su on:

  1. Esegui il ALTER SYSTEM comando PostgreSQL:

    ALTER SYSTEM SET google_columnar_engine.enabled = 'on'

  2. Se vuoi modificare la configurazione del motore colonnare, segui le istruzioni nella sezione successiva prima di riavviare il server di database. In caso contrario, completa il passaggio seguente per riavviare subito il server di database.

  3. Affinché la modifica dei parametri di configurazione abbia effetto, riavvia il container in esecuzione con AlloyDB Omni.

    Docker 

      sudo docker restart CONTAINER_NAME

    Podman 

      sudo podman restart CONTAINER_NAME

Configurare le dimensioni dell'archivio a colonne

Quando il motore colonnare è attivato su un'istanza, AlloyDB Omni alloca una parte della memoria dell'istanza per archiviare i dati a colonne. L'allocazione di RAM ad alta velocità all'archivio a colonne garantisce che AlloyDB Omni possa accedere ai dati a colonne il più rapidamente possibile.

La cache di memoria e di archiviazione insieme rappresentano la capacità complessiva del motore colonnare.

Configurare la memoria

Puoi impostare l'allocazione su una dimensione fissa utilizzando il google_columnar_engine.memory_size_in_mb flag.

Server singolo

Per impostare il flag google_columnar_engine.memory_size_in_mb su un'istanza:

  1. Configura la memoria eseguendo il comando PostgreSQL ALTER SYSTEM:

    ALTER SYSTEM SET google_columnar_engine.memory_size_in_mb = COLUMN_MEMORY_SIZE;

    Sostituisci COLUMN_MEMORY_SIZE con la nuova dimensione dell'archivio a colonne, in megabyte, ad esempio 256.

  2. Affinché la modifica dei parametri di configurazione abbia effetto, riavvia il container in esecuzione con AlloyDB Omni.

    Docker 

    sudo docker restart CONTAINER_NAME

    Podman 

    sudo podman restart CONTAINER_NAME

Configurare la cache di archiviazione

Server singolo

Puoi configurare la cache di archiviazione del motore colonnare su dispositivi dedicati o condivisi.

Dispositivi dedicati

Sui dispositivi dedicati, per attivare la cache di archiviazione del motore colonnare AlloyDB Omni per un container a server singolo, devi eseguire il provisioning dei dischi e creare un file system, quindi montare la directory della cache all'interno di AlloyDB Omni e infine attivare la cache di archiviazione a colonne.

Eseguire il provisioning dei dischi e creare un file system

Per eseguire il provisioning dei dischi e creare un file system per la cache di archiviazione del motore colonnare AlloyDB Omni, crea un file system su uno o più dischi e lo monti all'interno di un container con AlloyDB Omni. Inoltre, puoi utilizzare utilità come mdadm o lvm per raggruppare la capacità utilizzando più dischi e utilizzare qualsiasi file system. I passaggi seguenti mostrano l'utilizzo di lvm e ext4 su un'istanza Compute Engine Ubuntu utilizzando SSD NVMe.

  1. Crea un gruppo di volumi da tutti i dispositivi fisici disponibili:

    nvme_prefix="STORAGE_PREFIX"
nvme_list=$(ls "$nvme_prefix"*)
sudo vgcreate VOLUME_GROUP ${nvme_list}

    Sostituisci quanto segue:

    • STORAGE_PREFIX: il prefisso del percorso dei dischi locali di destinazione collegati a una macchina virtuale utilizzando l'interfaccia NVMe (Nonvolatile Memory Express), ad esempio, su Google Cloud, i percorsi dei dispositivi NVMe iniziano sempre con /dev/nvme0n.
    • VOLUME_GROUP: il nome di un gruppo di volumi in cui sono combinati gli SSD, ad esempio omni-disk-cache-volume.

  2. Per creare un volume logico dalla capacità libera del gruppo di volumi del passaggio precedente, utilizza il seguente comando:

    sudo lvcreate -n LOGICAL_VOLUME -l 100%FREE VOLUME_GROUP

    Sostituisci LOGICAL_VOLUME con il nome di un volume logico trattato come una partizione da LVM, ad esempio omni_disk_cache_device.

  3. Crea il file system ext4 sul volume logico. Se necessario, puoi specificare altre opzioni ext4 soggette alla sicurezza dei dati. 
    sudo mkfs.ext4 /dev/VOLUME_GROUP/LOGICAL_VOLUME

  4. Per creare una directory che funge da punto di montaggio sulla macchina host e montare il file system, utilizza il seguente comando:

    sudo mkdir /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY
sudo mount /dev/VOLUME_GROUP/LOGICAL_VOLUME /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY

    Sostituisci OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY con il nome della directory o un percorso della directory che funge da punto di montaggio, ad esempio omni_columnar_storage_cache_directory.

Montare la directory della cache di archiviazione a colonne all'interno di AlloyDB Omni

Prima di attivare la cache del disco per AlloyDB Omni in esecuzione in un container, devi montare la directory della cache all'interno di AlloyDB Omni.

Per informazioni sull'installazione di AlloyDB Omni da un'immagine Docker e sulla sua personalizzazione, consulta Personalizzare l'installazione di AlloyDB Omni.

Per montare OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY all'interno del container Docker in cui è in esecuzione AlloyDB Omni, utilizza il seguente comando:

Docker

  sudo docker run --name CONTAINER_NAME 

    -e POSTGRES_PASSWORD=PASSWORD 

    -e PGDATA=/var/lib/postgresql/data/pgdata 

    -v DATA_DIR:/var/lib/postgresql/data 

    -v /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER 

    -d google/alloydbomni

Sostituisci quanto segue:

  • CONTAINER_NAME: il nome da assegnare al nuovo container AlloyDB Omni, ad esempio my-omni.
  • PASSWORD: la password dell'amministratore root del database PostgreSQL.
  • DATA_DIR: il percorso del file system che vuoi che AlloyDB Omni utilizzi per la directory dei dati.
  • CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: la directory della cache all'interno del container AlloyDB Omni che esegue il mapping al punto di montaggio sulla macchina host, ad esempio, in base al valore della directory della cache all'interno del container, /omni_disk_cache_directory, simile a OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY, o /disk/cache/inside/container.

Podman

  podman run --name CONTAINER_NAME 

    -e POSTGRES_PASSWORD=PASSWORD 

    -e PGDATA=/var/lib/postgresql/data/pgdata 

    -v DATA_DIR:/var/lib/postgresql/data 

    -v /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER 

    -d docker.io/google/alloydbomni

Sostituisci quanto segue:

  • CONTAINER_NAME: il nome da assegnare al nuovo container AlloyDB Omni, ad esempio my-omni.
  • PASSWORD: la password dell'amministratore root del database PostgreSQL.
  • CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: la directory della cache all'interno del container AlloyDB Omni che esegue il mapping al punto di montaggio sulla macchina host, ad esempio, in base al valore della directory della cache all'interno del container, /omni_columnar_storage_cache_directory, simile a OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY, o /disk/cache/inside/container.

Per concedere le autorizzazioni di accesso completo a OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY montato, utilizza i seguenti comandi:

Docker

  sudo docker exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo docker exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER

Podman

  sudo podman exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo podman exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER

Attivare la cache di archiviazione a colonne AlloyDB Omni per AlloyDB Omni in esecuzione in un container

Per attivare la cache di archiviazione a colonne AlloyDB Omni sui dispositivi dedicati per il database, imposta i parametri GUC (Grand Unified Configuration) appropriati dopo aver verificato che la directory della cache montata sia accessibile dall'interno del container Docker.

  1. Imposta la directory della cache di archiviazione a colonne:

    ALTER SYSTEM SET google_columnar_engine.omni_storage_cache_directory = OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY;

    Sostituisci OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY con il percorso assoluto della directory dedicata in cui vuoi che AlloyDB Omni memorizzi i file della cache di archiviazione del motore colonnare. Verifica che questa directory esista e disponga delle autorizzazioni di scrittura appropriate per l'utente del database.

  2. Configura le dimensioni della cache di archiviazione:

    ALTER SYSTEM SET google_columnar_engine.storage_cache_size = STORAGE_CACHE_SIZE;

    Sostituisci STORAGE_CACHE_SIZE con le dimensioni della cache di archiviazione a colonne che vuoi, in megabyte. Per impostazione predefinita, l'intera dimensione del dispositivo dedicato viene allocata al motore colonnare, senza influire sulla cache del disco. Il valore massimo consentito per questo flag è 1000 * google_columnar_engine.memory_size_in_mb, a seconda di quale è il valore minimo.

  3. Affinché la modifica dei parametri di configurazione abbia effetto, riavvia il container in esecuzione con AlloyDB Omni.

    Docker 

    sudo docker restart CONTAINER_NAME

    Podman 

    sudo podman restart CONTAINER_NAME

Dispositivi condivisi

Prima di configurare la cache di archiviazione a colonne sui dispositivi condivisi con la cache del disco, devi attivare la cache del disco di AlloyDB Omni.

Configura la cache di archiviazione sui dispositivi condivisi come segue:

  1. Configura la cache di archiviazione:

    ALTER SYSTEM SET google_columnar_engine.storage_cache_size = STORAGE_CACHE_SIZE;

    Sostituisci STORAGE_CACHE_SIZE con le dimensioni della cache di archiviazione che vuoi, in megabyte. Per impostazione predefinita, il 5% della cache del disco viene allocato al motore colonnare. Il valore massimo consentito per questo flag è il 50% della cache del disco totale o 1000 * google_columnar_engine.memory_size_in_mb, a seconda di quale è il valore minimo.

  2. Affinché la modifica dei parametri di configurazione abbia effetto, riavvia il container in esecuzione con AlloyDB Omni.

    Docker 

    sudo docker restart CONTAINER_NAME

    Podman 

    sudo podman restart CONTAINER_NAME

Attivare il join vettorializzato

Il motore colonnare ha una funzionalità di join vettorializzato che può migliorare le prestazioni dei join applicando l'elaborazione vettorializzata alle query idonee.

Dopo aver attivato il join vettorializzato, il pianificatore di query AlloyDB ha la possibilità di applicare l'operatore di join vettorializzato anziché l'operatore di hash join PostgreSQL standard. Il pianificatore prende questa decisione confrontando il costo di esecuzione della query utilizzando ogni metodo.

Per attivare il join vettorializzato su un'istanza, imposta il flag dell'istanza google_columnar_engine.enable_vectorized_join su on.

Per impostare questo flag su un'istanza, esegui il ALTER SYSTEM comando PostgreSQL:

ALTER SYSTEM SET google_columnar_engine.enable_vectorized_join = 'on';

Per impostazione predefinita, AlloyDB Omni alloca un thread alla funzionalità di join vettorializzato. Puoi aumentare il numero di thread disponibili per questa funzionalità impostando il google_columnar_engine.vectorized_join_threads flag su un valore maggiore. Il valore massimo è cpu_count * 2.

Aggiornare manualmente il motore colonnare

Per impostazione predefinita, quando il motore colonnare è attivato, aggiorna l'archivio a colonne in background.

Per aggiornare manualmente il motore a colonne, esegui la seguente query SQL:

SELECT google_columnar_engine_refresh(relation =>'TABLE_NAME');

Sostituisci TABLE_NAME con il nome della tabella o della vista materializzata che vuoi aggiornare manualmente.

Disattivare il motore colonnare

Per disattivare il motore colonnare su un'istanza, imposta il flag google_columnar_engine.enabled su off.

Server singolo

Per impostare google_columnar_engine.enabled su off:

  1. Esegui il ALTER SYSTEM comando PostgreSQL:
ALTER SYSTEM SET google_columnar_engine.enabled = 'off'
  1. Affinché la modifica dei parametri di configurazione abbia effetto, riavvia il container in esecuzione con AlloyDB Omni.

Docker

Per riavviare un container AlloyDB Omni, esegui il docker container restart comando:

  sudo docker restart CONTAINER_NAME

Sostituisci CONTAINER_NAME con il nome che hai assegnato al container AlloyDB Omni durante l'installazione.

Podman

Per riavviare un container AlloyDB Omni, esegui il podman container start comando:

  sudo podman restart CONTAINER_NAME

Sostituisci CONTAINER_NAME con il nome che hai assegnato al container AlloyDB Omni durante l'installazione.

Passaggi successivi