Quando le righe della tabella vengono aggiunte, eliminate o aggiornate, il motore colonnare non aggiorna immediatamente i dati nell'archivio di colonne. Contrassegna invece i contenuti interessati nell'archivio di colonne come non validi e le query vengono pianificate ed eseguite utilizzando sia i dati orientati alle colonne dell'archivio di colonne sia i dati orientati alle righe della cache di riga e dello spazio di archiviazione del database.
Nel tempo, man mano che un numero sempre maggiore di blocchi di dati diventa non valido, i miglioramenti delle prestazioni delle query forniti dal motore colonnare si riducono al punto che i dati colonnari devono essere aggiornati per recuperare i miglioramenti delle prestazioni delle query. Quando viene raggiunta questa soglia di aggiornamento, il motore colonnare utilizza un job in background per aggiornare i dati non validi nel column store. Per impostazione predefinita, il motore colonnare utilizza una soglia di aggiornamento di 50, il che indica che i contenuti specifici nel columnstore vengono contrassegnati per l'aggiornamento quando il 50% dei contenuti non è più valido. Puoi modificare questa soglia di aggiornamento per regolare l'overhead dell'aggiornamento automatico e potenzialmente ottenere prestazioni delle query in corso migliori per il workload dell'applicazione.
Inoltre, puoi aggiornare manualmente le tabelle e gli indici ScaNN caricati nel motore colonnare in qualsiasi momento. In genere, esegui un aggiornamento manuale quando vuoi che le modifiche a una tabella vengano applicate al columnstore il prima possibile dopo averle apportate.
Controlla la percentuale di dati non validi
Quando l'applicazione aggiunge, elimina o aggiorna righe in una tabella, il motore colonnare contrassegna i dati interessati nell'archivio di colonne come non validi. Puoi controllare la percentuale di dati non validi per le tabelle e le viste materializzate eseguendo una query sulla vista g_columnar_relations. In questo modo, puoi decidere se eseguire un aggiornamento manuale o modificare la soglia di aggiornamento automatico.
Per visualizzare la percentuale di annullamento convalida per tutte le relazioni nell'archivio colonnare, esegui questa query:
SELECT relation_name, invalid_percentage FROM g_columnar_relations;
Per controllare la percentuale di annullamento convalida per una tabella specifica, aggiungi una clausola WHERE alla query.
SELECT relation_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_relations;
WHERE
relation_name = TABLE_NAME
Sostituisci TABLE_NAME con una stringa contenente il nome della tabella o della vista materializzata. Se la risorsa si trova in uno schema diverso da public, specifica il nome dello schema utilizzando il formato SCHEMA_NAME.TABLE_NAME, ad esempio myschema.mytable.
Per controllare la percentuale di annullamento convalida per un indice specifico, aggiungi una clausola WHERE alla query.
SELECT index_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_indexes;
WHERE
index_name = INDEX_NAME
Modifica la soglia di aggiornamento del motore colonnare
Per modificare la soglia di aggiornamento del motore colonnare, devi modificare il valore del flag di database google_columnar_engine.refresh_threshold_percentage.
ALTER SYSTEM SET google_columnar_engine.refresh_threshold_percentage=THRESHOLD;
Sostituisci THRESHOLD con un
valore intero compreso tra 1 e 100. Questo valore specifica la percentuale di blocchi di dati nei contenuti che devono diventare non validi affinché i contenuti vengano contrassegnati per l'aggiornamento.
Aggiorna manualmente le tabelle e gli indici vettoriali nel column store
Puoi aggiornare manualmente le tabelle e gli indici vettoriali nel motore colonnare in qualsiasi momento utilizzando funzioni SQL dedicate. I tipi di indice supportati sono ScaNN e HNSW.
Per aggiornare i dati di una tabella nel motore colonnare, esegui la funzione google_columnar_engine_refresh.
SELECT google_columnar_engine_refresh(TABLE_NAME);
Sostituisci TABLE_NAME con una stringa contenente il nome della tabella o della vista materializzata. Se la risorsa si trova in uno schema diverso da public, specifica il nome dello schema utilizzando il formato SCHEMA_NAME.TABLE_NAME, ad esempio myschema.mytable.
Analogamente, per aggiornare manualmente un indice vettoriale nel motore colonnare, esegui la funzione google_columnar_engine_refresh_index.
SELECT google_columnar_engine_refresh_index(index => INDEX_NAME);
Sostituisci INDEX_NAME con una stringa contenente il nome dell'indice da aggiornare.