Quando le righe della tabella vengono aggiunte, eliminate o aggiornate, il motore colonnare non aggiorna immediatamente i dati nello spazio di archiviazione a colonne. Al contrario, contrassegna i contenuti interessati nello spazio di archiviazione a colonne come non validi e le query vengono pianificate ed eseguite utilizzando sia i dati orientati alle colonne dello spazio di archiviazione a colonne sia i dati orientati alle righe della cache delle righe e dell'archiviazione del database.
Nel corso del tempo, man mano che sempre più blocchi di dati diventano non validi, i miglioramenti delle prestazioni delle query forniti dal motore colonnare vengono ridotti al punto in cui i dati colonnari devono essere aggiornati per recuperare i miglioramenti delle prestazioni delle query. Quando viene raggiunta questa soglia di aggiornamento, il motore colonnare utilizza un job in background per aggiornare i dati non validi nello spazio di archiviazione a colonne. Per impostazione predefinita, il motore colonnare utilizza una soglia di aggiornamento di 50, il che indica che i contenuti specifici nello spazio di archiviazione a colonne vengono contrassegnati per l'aggiornamento quando il 50% dei contenuti è diventato non valido. Puoi modificare questa soglia di aggiornamento per regolare l'overhead dell'aggiornamento automatico e potenzialmente ottenere prestazioni delle query migliori e continue per il carico di lavoro dell'applicazione.
Inoltre, puoi aggiornare manualmente le tabelle e gli indici ScaNN caricati nel motore colonnare in qualsiasi momento. In genere, esegui un aggiornamento manuale quando vuoi che le modifiche apportate a una tabella vengano applicate nello spazio di archiviazione a colonne il prima possibile dopo averle apportate.
Controllare la percentuale di dati non validi
Quando l'applicazione aggiunge, elimina o aggiorna le righe di una tabella, il motore colonnare contrassegna i dati interessati nello spazio di archiviazione a colonne come non validi. Puoi controllare la percentuale di dati non validi per le tabelle e le viste materializzate eseguendo una query sulla vista g_columnar_relations. In questo modo, puoi decidere se eseguire un aggiornamento manuale o modificare la soglia di aggiornamento automatico.
Per visualizzare la percentuale di invalidazione per tutte le relazioni nello spazio di archiviazione colonnare, esegui la query seguente:
SELECT relation_name, invalid_percentage FROM g_columnar_relations;
Per controllare la percentuale di invalidazione per una tabella specifica, aggiungi una clausola WHERE alla query.
SELECT relation_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_relations;
WHERE
relation_name = TABLE_NAME
Sostituisci TABLE_NAME con una stringa contenente il nome della tabella o della vista materializzata. Se la risorsa si trova in uno schema diverso
da public, specifica il nome dello schema utilizzando il formato
SCHEMA_NAME.TABLE_NAME, ad esempio myschema.mytable.
Per controllare la percentuale di invalidazione per un indice specifico, aggiungi una clausola WHERE alla query.
SELECT index_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_indexes;
WHERE
index_name = INDEX_NAME
Modificare la soglia di aggiornamento del motore colonnare
Per modificare la soglia di aggiornamento del motore colonnare, devi modificare il valore del flag di database google_columnar_engine.refresh_threshold_percentage.
ALTER SYSTEM SET google_columnar_engine.refresh_threshold_percentage=THRESHOLD;
Sostituisci THRESHOLD con un
valore intero compreso tra 1 e 100. Questo valore specifica la percentuale di blocchi di dati nei contenuti che devono diventare non validi affinché i contenuti vengano contrassegnati per l'aggiornamento.
Aggiornare manualmente le tabelle e gli indici vettoriali nello spazio di archiviazione a colonne
Puoi aggiornare manualmente le tabelle e gli indici vettoriali nel motore colonnare in qualsiasi momento utilizzando le funzioni SQL dedicate. I tipi di indice supportati sono ScaNN e HNSW.
Per aggiornare i dati di una tabella nel motore colonnare, esegui la funzione google_columnar_engine_refresh.
SELECT google_columnar_engine_refresh(TABLE_NAME);
Sostituisci TABLE_NAME con una stringa contenente il nome della tabella o della vista materializzata. Se la risorsa si trova in uno schema diverso
da public, specifica il nome dello schema utilizzando il formato
SCHEMA_NAME.TABLE_NAME, ad esempio myschema.mytable.
Allo stesso modo, per aggiornare manualmente un indice vettoriale nel motore colonnare, esegui la funzione google_columnar_engine_refresh_index.
SELECT google_columnar_engine_refresh_index(index => INDEX_NAME);
Sostituisci INDEX_NAME con una stringa contenente il nome dell'indice da aggiornare.