Questo documento fa parte di una serie che illustra il disaster recovery (RE) in Google Cloud. Questo documento descrive come applicare le limitazioni a livello di località del documento Progettazione ripristino di emergenza per i workload con limitazioni a livello di località alle applicazioni di analisi dei dati. In particolare, questo documento descrive come i componenti che utilizzi in una piattaforma di analisi dei dati si inseriscono in un'architettura di RE che soddisfa le limitazioni di località a cui potrebbero essere soggetti i tuoi dati o le tue applicazioni.
La serie è composta dalle seguenti parti:
- Guida alla pianificazione del disaster recovery
- Componenti di base del disaster recovery
- Scenari di disaster recovery per i dati
- Scenari di disaster recovery per le applicazioni
- Progettazione ripristino di emergenza per i workload con limitazioni a livello di località
- Progettazione ripristino di emergenza per le interruzioni dell'infrastruttura cloud
- Casi d'uso del disaster recovery: applicazioni di analisi dei dati con limitazioni a livello di località (questo documento)
Questo documento è rivolto ad architetti di sistemi e responsabili IT. Si presume che tu abbia le seguenti conoscenze e competenze:
- Conoscenza di base dei servizi di analisi dei dati di Google Cloud , come Dataflow, Managed Service for Apache Spark, Managed Service for Apache Airflow, Pub/Sub, Cloud Storage e BigQuery.
- Conoscenza di base dei servizi di networking di Google Cloud come Cloud Interconnect e Cloud VPN.
- Familiarità con la pianificazione ripristino di emergenza.
- Familiarità con Apache Hive e Apache Spark.
Requisiti di località per una piattaforma di analisi dei dati
Le piattaforme di analisi dei dati sono in genere applicazioni complesse a più livelli che archiviano i dati at-rest. Queste applicazioni producono eventi che vengono elaborati e archiviati nel tuo sistema di analisi. Sia l'applicazione stessa sia i dati archiviati nel sistema potrebbero essere soggetti a normative sulla località. Queste normative variano non solo da un paese all'altro, ma anche da un settore verticale all'altro. Pertanto, prima di iniziare a progettare l'architettura di RE, devi avere una chiara comprensione dei requisiti di località dei dati.
Puoi determinare se la tua piattaforma di analisi dei dati ha requisiti di località rispondendo alle seguenti due domande:
- La tua applicazione deve essere distribuita in una regione specifica?
- I tuoi dati at-rest sono limitati a una regione specifica?
Se rispondi "no" a entrambe le domande, la tua piattaforma di analisi dei dati non ha requisiti specifici per la località. Poiché la tua piattaforma non ha requisiti di località, segui le indicazioni di RE per i servizi e i prodotti conformi descritte nella guida alla pianificazione del disaster recovery.
Tuttavia, se rispondi "Sì" a una delle domande, la tua applicazione è limitata alla località. Poiché la tua piattaforma di analisi è limitata alla località, devi porti la seguente domanda: Puoi utilizzare tecniche di crittografia per mitigare i requisiti dei dati at-rest?
Se puoi utilizzare tecniche di crittografia, puoi utilizzare i servizi multiregionali e a due regioni di Cloud External Key Manager e Cloud Key Management Service. Puoi anche seguire le tecniche standard di alta affidabilità e ripristino di emergenza (HA/RE) descritte in Scenari di disaster recovery per i dati.
Se non puoi utilizzare le tecniche di crittografia, devi utilizzare soluzioni personalizzate o offerte dei partner per la pianificazione RE. Per saperne di più sulle tecniche per gestire le limitazioni a livello di località per gli scenari di RE, consulta Progettazione ripristino di emergenza per i workload con limitazioni a livello di località.
Componenti di una piattaforma di analisi dei dati
Una volta compresi i requisiti di località, il passaggio successivo consiste nel comprendere i componenti utilizzati dalla piattaforma di analisi dei dati. Alcuni componenti comuni di una piattaforma di analisi dei dati sono database, data lake, pipeline di elaborazione e data warehouse, come descritto nel seguente elenco:
- Google Cloud offre una serie di servizi di database adatti a diversi casi d'uso.
Le definizioni di data lake, data warehouse e pipeline di elaborazione possono variare leggermente. Questo documento utilizza un insieme di definizioni che fanno riferimento ai servizi Google Cloud :
- Un data lake è una piattaforma scalabile e sicura per l'importazione e l'archiviazione di dati provenienti da più sistemi. Un tipico data lake potrebbe utilizzare Cloud Storage come repository di archiviazione centrale.
- Una pipeline di elaborazione è un processo end-to-end che acquisisce dati o eventi da uno o più sistemi, li trasforma e li carica in un altro sistema. La pipeline potrebbe seguire un processo di estrazione, trasformazione e caricamento (ETL) o di estrazione, caricamento e trasformazione (ELT). In genere, il sistema in cui vengono caricati i dati elaborati è un data warehouse. Pub/Sub, Dataflow e Managed Service for Apache Spark sono componenti di uso comune di una pipeline di elaborazione.
- Un data warehouse è un sistema aziendale utilizzato per l'analisi e il reporting dei dati, che di solito provengono da un database operativo. BigQuery è un sistema di data warehouse di uso comune in esecuzione su Google Cloud.
L'implementazione effettiva RE varia a seconda dei requisiti di località e dei componenti di analisi dei dati che utilizzi. Le sezioni seguenti illustrano questa variazione con due casi d'uso.
Caso d'uso batch: un job ETL periodico
Il primo caso d'uso descrive un processo di elaborazione batch in cui una piattaforma di vendita al dettaglio raccoglie periodicamente gli eventi di vendita come file da vari negozi e poi li scrive in un bucket Cloud Storage. Il seguente diagramma illustra l'architettura di analisi dei dati per il job batch di questo retailer.
L'architettura include le seguenti fasi e i seguenti componenti:
- La fase di importazione consiste nell'invio da parte dei negozi dei dati dei point of sale (POS) a Cloud Storage. Questi dati importati sono in attesa di elaborazione.
- La fase di orchestrazione utilizza Managed Airflow per orchestrare la pipeline batch end-to-end.
- La fase di elaborazione prevede l'esecuzione di un job Apache Spark su un cluster Managed Service for Apache Spark. Il job Apache Spark esegue un processo ETL sui dati importati. Questo processo ETL fornisce metriche aziendali.
- La fase del data lake prende i dati elaborati e archivia le informazioni nei seguenti componenti:
- I dati elaborati vengono comunemente archiviati in formati colonnari di Cloud Storage come Parquet e ORC, perché questi formati consentono un'archiviazione efficiente e un accesso più rapido per i workload analitici.
- I metadati relativi ai dati di processo (come database, tabelle, colonne e partizioni) vengono archiviati nel servizio metastore Hive fornito da Dataproc Metastore.
In scenari con limitazioni locali, potrebbe essere difficile fornire capacità di elaborazione e orchestrazione ridondanti per mantenere la disponibilità. Poiché i dati vengono elaborati in batch, le pipeline di elaborazione e Orchestration Pipelines possono essere ricreate e i job batch possono essere riavviati dopo la risoluzione di uno scenario di disaster recovery. Pertanto, per il ripristino di emergenza, l'attenzione principale è rivolta al recupero dei dati effettivi: i dati POS importati, i dati elaborati archiviati nel data lake e i metadati archiviati nel data lake.
Importazione in Cloud Storage
La prima considerazione da fare riguarda i requisiti di località per il bucket Cloud Storage utilizzato per l'importazione dei dati dal sistema POS. Utilizza queste informazioni sulla località quando valuti le seguenti opzioni:
- Se i requisiti di località consentono la presenza di dati at-rest in una delle località multiregionali o a due regioni, scegli il tipo di località corrispondente quando crei il bucket Cloud Storage. Il tipo di località che scegli definisce quali regioni Google Cloud vengono utilizzate per replicare i dati at-rest. Se si verifica un'interruzione in una delle regioni, i dati che si trovano nei bucket multiregionali o a due regioni sono comunque accessibili.
- Cloud Storage supporta anche le chiavi di crittografia gestite dal cliente (CMEK) e le chiavi di crittografia fornite dal cliente (CSEK). Alcune regole di località consentono di archiviare i dati at-rest in più località quando utilizzi CMEK o CSEK per la gestione delle chiavi. Se le regole della tua località consentono l'utilizzo di CMEK o CSEK, puoi progettare l'architettura di RE in modo da utilizzare le regioni Cloud Storage.
- I requisiti di località potrebbero non consentirti di utilizzare i tipi di località o la gestione delle chiavi di crittografia. Quando non puoi utilizzare i tipi di località o la gestione delle chiavi di crittografia, puoi utilizzare il comando
gcloud storage rsyncper sincronizzare i dati con un'altra località, ad esempio lo spazio di archiviazione on-premise o le soluzioni di archiviazione di un altro provider cloud.
In caso di emergenza, i dati POS importati nel bucket Cloud Storage potrebbero contenere dati non ancora elaborati e importati nel data lake. In alternativa, i dati POS potrebbero non essere importati nel bucket Cloud Storage. In questi casi, hai a disposizione le seguenti opzioni di disaster recovery:
Consenti al sistema POS di riprovare. Nel caso in cui il sistema non sia in grado di scrivere i dati POS in Cloud Storage, il processo di importazione dati non va a buon fine. Per mitigare questa situazione, puoi implementare una strategia di ripetizione per consentire al sistema POS di riprovare l'operazione di importazione dati. Poiché Cloud Storage offre un'elevata durabilità, l'importazione dati e la successiva pipeline di elaborazione riprenderanno con una perdita di dati minima o nulla dopo il ripristino del servizio Cloud Storage.
Crea copie dei dati importati. Cloud Storage supporta i tipi di località multiregionali e a due regioni. A seconda dei requisiti di località dei dati, potresti essere in grado di configurare un bucket Cloud Storage multiregionale o a due regioni per aumentare la disponibilità dei dati. Puoi anche utilizzare strumenti come il comando
gcloud storageGoogle Cloud CLI per sincronizzare i dati tra Cloud Storage e un'altra posizione.
Orchestration and processing of ingested POS data
Nel diagramma dell'architettura per il caso d'uso batch, Managed Airflow esegue i seguenti passaggi:
- Verifica che i nuovi file siano stati caricati nel bucket di importazione di Cloud Storage.
- Avvia un cluster Managed Service for Apache Spark temporaneo.
- Avvia un job Apache Spark per elaborare i dati.
- Elimina il cluster Managed Service for Apache Spark alla fine del job.
Managed Airflow utilizza file di grafo diretto aciclico (DAG) che definiscono queste serie di passaggi. Questi file DAG sono archiviati in un bucket Cloud Storage che non è mostrato nel diagramma dell'architettura. In termini di località a due regioni e multiregionale, le considerazioni sul RE per il bucket dei file DAG sono le stesse di quelle discusse per il bucket di importazione.
I cluster Managed Service for Apache Spark sono temporanei. In altre parole, i cluster esistono solo per la durata della fase di elaborazione. Questa natura temporanea significa che non devi fare nulla in modo esplicito per il RE per quanto riguarda i cluster Managed Service for Apache Spark.
Spazio di archiviazione del data lake con Cloud Storage
Il bucket Cloud Storage che utilizzi per il data lake ha le stesse considerazioni sulla località di quelle discusse per il bucket di importazione: considerazioni a due regioni e multiregionali, l'utilizzo della crittografia e l'utilizzo del comando gcloud CLI gcloud storage rsync.
Quando progetti il piano di RE per il tuo data lake, tieni presente i seguenti aspetti:
Dimensioni dei dati. Il volume di dati in un data lake può essere elevato. Il ripristino di un volume elevato di dati richiede tempo. In uno scenario di RE, devi considerare l'impatto del volume del data lake sul tempo necessario per ripristinare i dati in un punto che soddisfi i seguenti criteri:
- La tua applicazione è disponibile.
- Raggiungi il valore del tuo Recovery Time Objective (RTO).
- In questo modo, ottieni il checkpoint dei dati necessario per soddisfare il valore del tuo Recovery Point Objective (RPO).
Per l'attuale caso d'uso in batch, Cloud Storage viene utilizzato per la posizione del data lake e offre un'elevata durabilità. Tuttavia, gli attacchi ransomware sono in aumento. Per assicurarti di avere la possibilità di recuperare i dati da questi attacchi, è consigliabile seguire le best practice descritte in In che modo Cloud Storage offre una durabilità del 99,999999999%.
Dipendenza dai dati. I dati nei data lake vengono solitamente utilizzati da altri componenti di un sistema di analisi dei dati, come una pipeline di elaborazione. In uno scenario di RE, la pipeline di elaborazione e i dati da cui dipende devono condividere lo stesso RTO. In questo contesto, concentrati su per quanto tempo puoi permetterti che il sistema non sia disponibile.
Età dei dati. I dati storici potrebbero consentire un RPO più elevato. Questo tipo di dati potrebbe essere già stato analizzato o elaborato da altri componenti di analisi dei dati e potrebbe essere stato salvato in un altro componente con le proprie strategie di RE. Ad esempio, i record di vendita esportati in Cloud Storage vengono importati ogni giorno in BigQuery per l'analisi. Con strategie di RE adeguate per BigQuery, i record di vendita storici importati in BigQuery potrebbero avere obiettivi di recupero inferiori rispetto a quelli non importati.
Archiviazione dei metadati del data lake con Dataproc Metastore
Dataproc Metastore è un metastore Apache Hive completamente gestito, ad alta affidabilità, con ripristino automatico e serverless. Il metastore fornisce funzionalità di astrazione e rilevamento dei dati. In caso di emergenza, è possibile eseguire il backup e il ripristino del metastore. Il servizio Dataproc Metastore consente inoltre di esportare e importare i metadati. Puoi aggiungere un'attività per esportare il metastore e mantenere un backup esterno insieme al job ETL.
Se si verifica una situazione in cui i metadati non corrispondono, puoi ricreare il metastore dai dati stessi utilizzando il comando MSCK.
Caso d'uso di flussi di dati: Change Data Capture con ELT
Il secondo caso d'uso descrive una piattaforma di vendita al dettaglio che utilizza Change Data Capture (CDC) per aggiornare i sistemi di inventario di backend e monitorare le metriche di vendita in tempo reale. Il seguente diagramma mostra un'architettura in cui gli eventi di un database transazionale, come Cloud SQL, vengono elaborati e poi archiviati in un data warehouse.
L'architettura include le seguenti fasi e i seguenti componenti:
- La fase di importazione consiste nell'invio degli eventi di modifica in entrata a Pub/Sub. In qualità di servizio di distribuzione dei messaggi, Pub/Sub viene utilizzato per importare e distribuire in modo affidabile i dati di analisi dei flussi di dati. Pub/Sub offre gli ulteriori vantaggi di essere scalabile e serverless.
- La fase di elaborazione prevede l'utilizzo di Dataflow per eseguire un processo ELT sugli eventi importati.
- La fase di data warehouse utilizza BigQuery per archiviare gli eventi elaborati. L'operazione di unione inserisce o aggiorna un record in BigQuery. Questa operazione consente di mantenere aggiornate le informazioni archiviate in BigQuery con il database transazionale.
Sebbene questa architettura CDC non si basi su Managed Airflow, alcune architetture CDC richiedono Managed Airflow per orchestrare l'integrazione dello stream nei workload batch. In questi casi, il flusso di lavoro di Managed Airflow implementa controlli di integrità, backfill e proiezioni che non possono essere eseguiti in tempo reale a causa di vincoli di latenza. Le tecniche di RE per Managed Airflow sono descritte nel caso d'uso dell'elaborazione batch descritto in precedenza nel documento.
Per una pipeline di dati in streaming, devi considerare quanto segue quando pianifichi l'architettura di RE:
- Dipendenze della pipeline. Le pipeline di elaborazione ricevono l'input da uno o più sistemi (le origini). Le pipeline elaborano, trasformano e archiviano questi input in altri sistemi (sink). È importante progettare l'architettura di RE in modo da raggiungere l'RTO end-to-end. Devi assicurarti che l'RPO delle origini e dei sink di dati ti consenta di soddisfare l'RTO. Oltre a progettare l'architettura cloud in modo da soddisfare i requisiti di località, dovrai anche progettare le origini CDC di partenza in modo da consentire il rispetto dell'RTO end-to-end.
- Crittografia e località. Se la crittografia ti consente di mitigare le limitazioni di località, puoi utilizzare Cloud KMS per raggiungere i seguenti obiettivi:
- Gestisci le tue chiavi di crittografia.
- Sfrutta la funzionalità di crittografia dei singoli servizi.
- Eseguire il deployment dei servizi in regioni che altrimenti non sarebbero disponibili per l'utilizzo a causa di limitazioni di località.
- Regole di località sui dati in transito. Alcune regole di località potrebbero applicarsi solo ai dati at-rest, ma non ai dati in transito. Se le regole della tua località non si applicano ai dati in transito, progetta l'architettura di RE in modo da utilizzare le risorse di altre regioni per migliorare gli obiettivi di recupero. Puoi integrare l'approccio regionale con tecniche di crittografia.
Importazione in Pub/Sub
Se non hai limitazioni di località, puoi pubblicare messaggi nell'endpoint Pub/Sub globale. Gli endpoint Pub/Sub globali sono visibili e accessibili da qualsiasi localitàGoogle Cloud .
Se i requisiti della tua località consentono l'utilizzo della crittografia, è possibile configurare Pub/Sub per ottenere un livello di alta affidabilità simile a quello degli endpoint globali. Sebbene i messaggi Pub/Sub siano criptati conGoogle-owned and Google-managed encryption keys per impostazione predefinita, puoi configurare Pub/Sub in modo che utilizzi CMEK. Utilizzando Pub/Sub con CMEK, puoi soddisfare le regole di località relative alla crittografia, mantenendo al contempo un'alta affidabilità.
Alcune regole di località richiedono che i messaggi rimangano in una posizione specifica anche dopo la crittografia. Se le regole della tua località prevedono questa limitazione, puoi specificare la policy di archiviazione dei messaggi di un argomento Pub/Sub e limitarla a una regione. Se utilizzi questo approccio di archiviazione dei messaggi, i messaggi pubblicati in un argomento non vengono mai conservati al di fuori dell'insieme di regioni Google Cloud specificate. Se le regole della tua località consentono l'utilizzo di più di una regione Google Cloud , puoi aumentare la disponibilità del servizio attivando queste regioni nell'argomento Pub/Sub. Tieni presente che l'implementazione di una policy di archiviazione dei messaggi per limitare le località delle risorse Pub/Sub comporta dei compromessi in termini di disponibilità.
Una sottoscrizione Pub/Sub ti consente di archiviare i messaggi non confermati per un massimo di 7 giorni senza alcuna restrizione sul numero di messaggi. Se il tuo accordo sul livello del servizio consente dati ritardati, puoi memorizzare i dati nella tua sottoscrizione Pub/Sub se le pipeline smettono di funzionare. Quando le pipeline sono di nuovo in esecuzione, puoi elaborare gli eventi di cui è stato eseguito il backup. Questo design ha il vantaggio di avere un RPO basso. Per ulteriori informazioni sui limiti delle risorse per Pub/Sub, consulta Limiti delle risorse per le quote di Pub/Sub.
Elaborazione degli eventi con Dataflow
Dataflow è un servizio gestito per l'esecuzione di un'ampia varietà di pattern di trattamento dati. L'SDK Apache Beam è un modello di programmazione open source che consente di sviluppare pipeline sia batch che di streaming. Puoi creare le pipeline con un programma Apache Beam e poi eseguirle sul servizio Dataflow.
Quando progetti per le limitazioni di località, devi considerare dove si trovano le origini, i sink e i file temporanei. Se queste posizioni dei file si trovano al di fuori della regione del job, i dati potrebbero essere inviati tra regioni. Se le regole della tua località consentono l'elaborazione dei dati in una località diversa, progetta l'architettura di RE in modo da eseguire il deployment dei worker in altre regioni Google Cloud per fornire un'alta affidabilità.
Se le limitazioni relative alla località limitano l'elaborazione a una singola località, puoi creare un job Dataflow limitato a una regione o zona specifica. Quando invii un job Dataflow, puoi specificare i parametri endpoint regionale, regione worker e zona worker. Questi parametri controllano dove vengono eseguiti i deployment dei worker e dove vengono archiviati i metadati dei job.
Apache Beam fornisce un framework che consente di eseguire le pipeline su vari runner. Puoi progettare la tua architettura di RE in modo da sfruttare questa funzionalità. Ad esempio, potresti progettare un'architettura di RE in modo da avere una pipeline di backup che viene eseguita sul tuo cluster Spark on-premise locale utilizzando Apache Spark Runner. Per informazioni sulla capacità di un runner specifico di eseguire una determinata operazione della pipeline, consulta la matrice delle funzionalità di Beam.
Se la crittografia ti consente di mitigare le limitazioni di località, puoi utilizzare CMEK in Dataflow per criptare gli artefatti dello stato della pipeline e accedere alle origini e ai sink protetti con le chiavi Cloud KMS. Utilizzando la crittografia, puoi progettare un'architettura di RE che utilizza regioni che altrimenti non sarebbero disponibili a causa di limitazioni di località.
Data warehouse basato su BigQuery
I data warehouse supportano l'analisi e il processo decisionale. Oltre a contenere un database analitico, i data warehouse contengono più componenti e procedure analitiche.
Quando progetti il piano di RE per il tuo data warehouse, tieni conto delle seguenti caratteristiche:
Taglia. I data warehouse sono molto più grandi dei sistemi di elaborazione delle transazioni online (OLTP). Non è raro che i data warehouse contengano da terabyte a petabyte di dati. Devi considerare il tempo necessario per ripristinare questi dati per raggiungere i valori RPO e RTO. Quando pianifichi la tua strategia di RE, devi anche tenere conto dei costi associati al recupero di terabyte di dati. Per saperne di più sulle tecniche di mitigazione RE per BigQuery, consulta le informazioni su BigQuery nella sezione sui meccanismi di backup e ripristino per i servizi di database gestiti su Google Cloud.
Disponibilità. Quando crei un set di dati BigQuery, selezioni una località in cui archiviare i dati: regionale o multiregionale. Una località regionale è una singola posizione geografica specifica, ad esempio Iowa (
us-central1). Una località multiregionale è una grande area geografica, come gli Stati Uniti (US) o l'Europa (EU), che contiene due o più posizioni geografiche.Quando progetti il piano di RE per soddisfare le limitazioni relative alla località, il dominio in errore (ovvero se l'errore si verifica a livello di macchina, di zona o di regione) avrà un impatto diretto sul rispetto dell'RTO definito. Per saperne di più su questi domini in errore e su come influiscono sulla disponibilità, consulta Disponibilità e durabilità di BigQuery.
Natura dei dati. I data warehouse contengono informazioni storiche e la maggior parte dei dati meno recenti è spesso statica. Molti data warehouse sono progettati per essere solo in aggiunta. Se il tuo data warehouse è di tipo append-only, potresti essere in grado di raggiungere il tuo RTO ripristinando solo i dati che vengono aggiunti. In questo approccio, esegui il backup solo di questi dati aggiunti. In caso di disastro, potrai ripristinare i dati aggiunti e avere il tuo data warehouse disponibile per l'uso, ma con un sottoinsieme di dati.
Pattern di aggiunta e aggiornamento dei dati. I data warehouse vengono in genere aggiornati utilizzando pattern ETL o ELT. Quando hai percorsi di aggiornamento controllati, puoi riprodurre gli eventi di aggiornamento recenti da origini alternative.
I requisiti di località potrebbero limitare la possibilità di utilizzare una o più regioni per il data warehouse. Sebbene i set di dati BigQuery possano essere regionali, l'archiviazione multi-regione è il modo più semplice ed economico per garantire la disponibilità dei dati in caso di emergenza. Se l'archiviazione Multi-Regional Storage non è disponibile nella tua regione, ma puoi utilizzare un'altra regione, utilizza BigQuery Data Transfer Service per copiare il set di dati in un'altra regione. Se puoi utilizzare la crittografia per mitigare i requisiti di località, puoi gestire le tue chiavi di crittografia con Cloud KMS e BigQuery.
Se puoi utilizzare una sola regione, valuta la possibilità di eseguire il backup delle tabelle BigQuery. La soluzione più conveniente per eseguire il backup delle tabelle è utilizzare le esportazioni di BigQuery. Utilizza Cloud Scheduler o Managed Airflow per pianificare periodicamente un job di esportazione per la scrittura in Cloud Storage. Puoi utilizzare formati come Avro con compressione SNAPPY o JSON con compressione GZIP. Mentre progetti le tue strategie di esportazione, tieni presente i limiti sulle esportazioni.
Potresti anche voler archiviare i backup di BigQuery in formati colonnari come Parquet e ORC. Questi formati offrono un'elevata compressione e consentono anche l'interoperabilità con molti motori open source, come Hive e Presto, che potresti avere nei tuoi sistemi on-premise. Il seguente diagramma illustra il processo di esportazione dei dati BigQuery in un formato colonnare per l'archiviazione in una località on-premise.
In particolare, questo processo di esportazione dei dati di BigQuery in una posizione di archiviazione on-premise prevede i seguenti passaggi:
- I dati di BigQuery vengono inviati a un job Apache Spark su Managed Service for Apache Spark. L'utilizzo del job Apache Spark consente l'evoluzione dello schema.
- Dopo che il job Managed Service for Apache Spark ha elaborato i file BigQuery, i file elaborati vengono scritti in Cloud Storage e poi trasferiti in una località di RE on-premise.
- Cloud Interconnect viene utilizzato per connettere la tua rete Virtual Private Cloud alla tua rete on-premise.
- Il trasferimento alla località di RE on-premise può avvenire tramite il job Spark.
Se il design del tuo warehouse è di tipo append-only ed è partizionato per data, devi creare una copia delle partizioni richieste in una nuova tabella prima di eseguire un job di BigQuery Export sulla nuova tabella. Puoi quindi utilizzare uno strumento come il comando gcloud CLI gcloud storage per trasferire i file aggiornati nella posizione di backup on-premise o in un altro cloud.
(Potrebbero essere applicati costi per il traffico in uscita quando trasferisci dati fuori da Google Cloud.)
Ad esempio, hai un data warehouse di vendita costituito da una tabella orders di sola aggiunta in cui i nuovi ordini vengono aggiunti alla partizione che rappresenta la data corrente. Tuttavia, le norme sui resi potrebbero consentire la restituzione degli articoli entro 7 giorni. Pertanto, i record nella tabella orders degli ultimi 7 giorni potrebbero essere aggiornati. Le tue strategie di esportazione devono tenere conto delle norme sui resi. In questo esempio, qualsiasi job di esportazione per il backup della tabella orders deve esportare anche le partizioni che rappresentano gli ordini degli ultimi 7 giorni per evitare di perdere gli aggiornamenti dovuti ai resi.
Passaggi successivi
- Leggi altri articoli di questa serie sul RE:
- Guida alla pianificazione del disaster recovery
- Componenti di base del disaster recovery
- Scenari di disaster recovery per i dati
- Scenari di disaster recovery per le applicazioni
- Progettazione ripristino di emergenza per i workload con limitazioni a livello di località
- Progettazione ripristino di emergenza per le interruzioni dell'infrastruttura cloud
- Leggi il white paper: Scopri di più su residenza dei dati, trasparenza operativa e privacy per i clienti europei su Google Cloud.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.
Collaboratori
Autori:
- Grace Mollison | Solutions Lead
- Marco Ferrari | Cloud Solutions Architect