Questo documento descrive il disaster recovery (RE) e la pianificazione della continuità aziendale nel contesto dell'integrazione continua e della distribuzione continua (CI/CD). Fornisce inoltre indicazioni su come identificare e mitigare le dipendenze quando sviluppi un piano di continuità aziendale (BCP) completo. Il documento include best practice che puoi applicare al tuo BCP, indipendentemente dagli strumenti e dai processi che utilizzi. Il documento presuppone che tu abbia familiarità con le nozioni di base del ciclo di distribuzione del software e delle operazioni, CI/CD e RE.
Le pipeline CI/CD sono responsabili della creazione e del deployment delle applicazioni aziendali critiche. Pertanto, come l'infrastruttura dell'applicazione, il processo CI/CD richiede la pianificazione del RE e della continuità aziendale. Quando pensi al RE e alla continuità aziendale per CI/CD, è importante comprendere ogni fase del ciclo di distribuzione del software e delle operazioni e capire come funzionano insieme come un processo olistico.
Il seguente diagramma è una visualizzazione semplificata del ciclo di sviluppo e operazioni del software, che include le seguenti tre fasi:
- Inner loop di sviluppo: codice, prova e commit
- Integrazione continua: build, test e sicurezza
- Distribuzione continua: promozione, implementazione, rollback e metriche
Questo diagramma mostra anche che Google Kubernetes Engine (GKE), Cloud Run e Google Distributed Cloud sono possibili target di deployment del ciclo di sviluppo e delle operazioni del software.
Durante tutto il ciclo di sviluppo e operazioni del software, devi considerare l'impatto di un disastro sulla capacità dei team di gestire e mantenere le applicazioni business-critical. In questo modo potrai determinare il Recovery Time Objective (RTO) e il Recovery Point Objective (RPO) per gli strumenti della tua toolchain CI/CD.
Inoltre, la maggior parte delle organizzazioni dispone di molte pipeline CI/CD diverse per applicazioni e set di infrastrutture differenti e ogni pipeline ha requisiti unici per la pianificazione del RE e della continuità aziendale. La strategia di recupero che scegli per una pipeline varia in base all'RTO e all'RPO dei tuoi strumenti. Ad esempio, alcune pipeline sono più critiche di altre e avranno requisiti RTO e RPO inferiori. È importante identificare le pipeline business-critical nel tuo BCP, che dovrebbero anche ricevere maggiore attenzione quando implementi le best practice per testare ed eseguire le procedure di ripristino.
Poiché ogni processo CI/CD e la relativa toolchain sono diversi, gli obiettivi di questa guida sono aiutarti a identificare i single point of failure nel processo CI/CD e sviluppare un BCP completo. Le sezioni seguenti ti aiutano a:
- Comprendi cosa serve per eseguire il ripristino da un evento di RE che influisce sul processo CI/CD.
- Determina l'RTO e l'RPO per gli strumenti nel processo CI/CD.
- Comprendi le modalità di errore e le dipendenze del processo CI/CD.
- Scegli una strategia di recupero appropriata per gli strumenti della tua toolchain.
- Comprendere le best practice generali per l'implementazione di un piano di RE per il processo CI/CD.
Informazioni sul processo di continuità aziendale
La creazione di un BCP è fondamentale per garantire che la tua organizzazione possa continuare le sue operazioni in caso di interruzioni ed emergenze. Aiuta la tua organizzazione a tornare rapidamente a uno stato di operazioni normali per il processo CI/CD.
Le sezioni seguenti descrivono le fasi di alto livello che includono i passaggi necessari per creare un BCP efficace. Sebbene molti di questi passaggi si applichino in generale alla gestione dei programmi e al RE, alcuni sono più pertinenti alla pianificazione della business continuity per il processo CI/CD. I passaggi specificamente pertinenti alla pianificazione della continuità aziendale per CI/CD sono evidenziati nelle sezioni seguenti e costituiscono anche la base per le indicazioni nel resto di questo documento.
Avvio e pianificazione
In questa fase iniziale, i team tecnici e aziendali collaborano per stabilire le basi del processo di pianificazione della continuità aziendale e della sua manutenzione continua. I passaggi chiave di questa fase includono:
- Sostegno della dirigenza: assicurati che la dirigenza supporti e promuova lo sviluppo del BCP. Assegna un team dedicato o un individuo responsabile della supervisione del piano.
- Allocazione delle risorse: assegna il budget, il personale e le risorse necessari per lo sviluppo e l'implementazione del BCP.
- Ambito e obiettivi: definisci l'ambito del tuo BCP e i suoi obiettivi. Determina quali processi aziendali sono critici e devono essere affrontati nel piano.
- Analisi del rischio: identifica potenziali rischi e minacce che potrebbero interrompere la tua attività, come disastri naturali, violazioni della cybersicurezza o interruzioni della catena di fornitura.
- Analisi dell'impatto: valuta le potenziali conseguenze dei risultati di questa analisi del rischio sulle operazioni aziendali, sulle finanze, sulla reputazione e sulla soddisfazione del cliente.
Analisi dell'impatto sull'attività
In questa fase, i team aziendali e tecnici analizzano l'impatto aziendale delle interruzioni sui clienti e sull'organizzazione e assegnano la priorità al ripristino delle funzioni aziendali critiche. Queste funzioni aziendali vengono eseguite da strumenti diversi durante le varie fasi di un processo di build e deployment.
La business impact analysis è una fase importante del processo di pianificazione della business continuity per CI/CD, in particolare i passaggi per identificare le funzioni aziendali critiche e le dipendenze degli strumenti. Inoltre, comprendere la toolchain CI/CD, incluse le sue dipendenze e il suo funzionamento all'interno del ciclo di vita DevOps, è un elemento fondamentale per lo sviluppo di un BCP per il processo CI/CD.
I passaggi chiave della fase di analisi dell'impatto aziendale includono:
- Funzioni critiche: determina le funzioni e i processi aziendali chiave a cui dare la priorità per il ripristino. Ad esempio, se stabilisci che il deployment delle applicazioni è più critico dell'esecuzione degli unit test, darai la priorità al ripristino dei processi e degli strumenti di deployment delle applicazioni.
- Dipendenze: identifica le dipendenze interne ed esterne che potrebbero influire sul ripristino delle funzioni critiche. Le dipendenze sono particolarmente importanti per garantire il funzionamento continuo del processo CI/CD tramite la sua toolchain.
- RTO e RPO: definisci i limiti accettabili per i tempi di inattività e la perdita di dati per ogni funzione critica. Questi target RTO e RPO sono legati all'importanza di una funzione aziendale per la continuità operativa e coinvolgono strumenti specifici necessari per il corretto funzionamento della funzione aziendale.
Sviluppo della strategia
In questa fase, il team tecnico sviluppa strategie di ripristino per le funzioni aziendali critiche, come il ripristino delle operazioni e dei dati e la comunicazione con fornitori e stakeholder. Lo sviluppo della strategia è anche una parte fondamentale della pianificazione della continuità aziendale per il processo CI/CD, in particolare per la fase di selezione delle strategie di ripristino di alto livello per le funzioni critiche.
I passaggi chiave della fase di sviluppo della strategia includono:
- Strategie di ripristino: sviluppa strategie per il ripristino delle funzioni critiche. Queste strategie potrebbero prevedere sedi alternative, lavoro da remoto o sistemi di backup. Queste strategie sono legate ai target RTO e RPO per ogni funzione critica.
- Rapporti con fornitori e venditori: stabilisci piani di comunicazione e coordinamento con i fornitori e i venditori principali per mantenere attiva la catena di fornitura durante le interruzioni.
- Recupero dei dati e dell'IT: crea piani per il backup dei dati, il recupero dei sistemi IT e le misure di cybersicurezza.
- Piano di comunicazione: sviluppa un piano di comunicazione chiaro per gli stakeholder interni ed esterni durante e dopo un'interruzione.
Sviluppo del piano
In questa fase, il passaggio principale consiste nel documentare il BCP. Il team tecnico documenta gli strumenti, i processi, le strategie di recupero, la logica e le procedure per ogni funzione critica. La definizione del piano include anche la scrittura di istruzioni passo passo che i dipendenti devono seguire durante un'interruzione. Durante l'implementazione e la manutenzione continua, potrebbe essere necessario introdurre modifiche al piano, che deve essere trattato come un documento dinamico.
Implementazione
In questa fase, implementi il piano per la tua organizzazione utilizzando il BCP creato dal team tecnico. L'implementazione include la formazione dei dipendenti e i test iniziali del BCP. L'implementazione include anche l'utilizzo del piano in caso di interruzione per ripristinare le normali operazioni. I passaggi chiave per l'implementazione includono:
- Test e formazione iniziali: dopo aver documentato il BPC, testalo tramite simulazioni ed esercitazioni per identificare le lacune e migliorare l'efficacia. Forma i dipendenti sui loro ruoli e sulle loro responsabilità durante un'interruzione.
- Attivazione: quando si verifica un'interruzione, avvia il BCP in base agli attivatori e alle procedure predefiniti.
- Comunicazione: tieni informati gli stakeholder sulla situazione e sulle attività di ripristino.
Manutenzione e revisione
Questa fase non è un processo definito che si verifica una sola volta, ma rappresenta un impegno continuo che dovrebbe diventare una parte normale delle tue operazioni CI/CD. È importante rivedere, testare e aggiornare regolarmente il BCP all'interno della tua organizzazione in modo che rimanga pertinente e attuabile in caso di interruzione. I passaggi chiave della manutenzione e della revisione includono:
- Aggiornamenti regolari: rivedi e aggiorna periodicamente il BCP in modo che rimanga aggiornato ed efficace. Aggiornalo ogni volta che si verificano cambiamenti nel personale, nella tecnologia o nei processi aziendali.
- Lezioni apprese: dopo ogni interruzione o test, conduci un debriefing per identificare le lezioni apprese e le aree di miglioramento.
- Conformità legale: allinea il tuo BCP alle normative e agli standard di settore.
- Sensibilizzazione dei dipendenti: forma continuamente i dipendenti sul BCP e sui loro ruoli nella sua esecuzione.
Crea un processo di continuità aziendale per CI/CD
Questa sezione fornisce linee guida specifiche per la creazione di un BCP incentrato sul ripristino delle operazioni CI/CD. Il processo di pianificazione della continuità aziendale per CI/CD inizia con una comprensione approfondita della toolchain CI/CD e di come si collega al ciclo di vita delle operazioni e della distribuzione del software. Con questa comprensione come base, puoi pianificare il modo in cui la tua organizzazione recupererà le sue operazioni CI/CD da un'interruzione.
Per creare un processo di business continuity solido per il tuo processo CI/CD, devi seguire questi passaggi principali:
- Comprendi la toolchain
- Identifica dati e dipendenze
- Determina i target RTO e RPO
- Scegli una strategia di alto livello per la continuità aziendale
- Documenta il tuo BCP e implementa le best practice
- Testa gli scenari di errore e mantieni il piano
Le sezioni seguenti forniscono ulteriori dettagli su ciascuno di questi passaggi.
Informazioni sulla toolchain
Le toolchain CI/CD sono composte da molti strumenti individuali diversi e le possibili combinazioni di strumenti possono sembrare infinite. Tuttavia, comprendere la toolchain CI/CD e le relative dipendenze è fondamentale per la pianificazione della continuità aziendale per CI/CD. La missione principale del processo CI/CD è fornire il codice ai sistemi di produzione per l'utilizzo da parte degli utenti finali. Durante questo processo, vengono utilizzati molti sistemi e origini dati diversi; conoscere queste origini dati e dipendenze è fondamentale per sviluppare un BCP. Per iniziare a creare la tua strategia di RE, devi innanzitutto comprendere i diversi strumenti coinvolti nel processo CI/CD.
Per aiutarti a capire come valutare la tua toolchain e sviluppare il tuo BCP, questo documento utilizza l'esempio di un'applicazione Java aziendale eseguita su GKE. Il seguente diagramma mostra il primo livello di dati e sistemi nella toolchain. Questo primo livello sarebbe sotto il tuo controllo diretto e include quanto segue:
- La fonte delle tue applicazioni
- Strumenti nella tua piattaforma CI/CD, come Cloud Build o Cloud Deploy
- Interconnessioni di base dei diversi strumenti
Come mostrato nel diagramma, il flusso principale dell'applicazione di esempio è il seguente:
- Gli eventi di sviluppo del codice nel loop interno di sviluppo attivano Cloud Build.
- Cloud Build estrae il codice sorgente dell'applicazione dal repository di controllo del codice sorgente.
- Cloud Build identifica le dipendenze necessarie specificate nei file di configurazione di compilazione, ad esempio i file JAR di terze parti dal repository Java in Artifact Registry. Cloud Build estrae quindi queste dipendenze dalle relative posizioni di origine.
- Cloud Build esegue la build e la convalida necessaria, ad esempio l'analisi statica e i test delle unità.
- Se la build ha esito positivo, Cloud Build crea l'immagine container e ne esegue il push nel repository di container in Artifact Registry.
- Viene attivata una pipeline di Cloud Deploy, che estrae l'immagine container dal repository e ne esegue il deployment in un ambiente GKE.
Per comprendere gli strumenti utilizzati nel processo CI/CD, ti suggeriamo di creare un diagramma che mostri il processo CI/CD e gli strumenti utilizzati, simile all'esempio in questo documento. Puoi quindi utilizzare il diagramma per creare una tabella che acquisisca le informazioni chiave sulla tua toolchain CI/CD, come la fase del processo, lo scopo dello strumento, lo strumento stesso e i team interessati da un errore dello strumento. Questa tabella fornisce una mappatura degli strumenti nella tua toolchain e identifica gli strumenti con fasi specifiche del processo CI/CD. Pertanto, la tabella può aiutarti a ottenere una visione d'insieme della tua toolchain e del suo funzionamento.
Le tabelle seguenti mappano l'esempio di applicazione aziendale menzionato in precedenza a ogni strumento nel diagramma. Per fornire un esempio completo di come potrebbe essere una mappatura della toolchain, queste tabelle includono anche altri strumenti non menzionati nel diagramma, come strumenti di sicurezza o di test.
La prima tabella mappa gli strumenti utilizzati nella fase di CI del processo CI/CD:
| Integrazione continua | Origine | Strumenti utilizzati | Utenti principali | Utilizzo |
|---|---|---|---|---|
| Fase: controllo del codice sorgente |
|
|
|
|
| Fase: creazione |
|
Sviluppatori |
|
|
| Fase: test |
|
Sviluppatori |
Esegui test di unità e di integrazione in una piattaforma on demand coerente. |
|
| Fase: Sicurezza |
|
|
Esegui la scansione del codice per rilevare eventuali problemi di sicurezza. |
La seconda tabella si concentra sugli strumenti utilizzati nella fase CD del processo CI/CD:
| Deployment continuo | Origine | Strumenti utilizzati | Utenti principali | Utilizzo |
|---|---|---|---|---|
| Fase: deployment | File di configurazione del deployment |
|
Automatizza i deployment per promuovere, approvare e gestire il traffico in una piattaforma sicura e coerente. |
|
| Fase: test |
|
|
Sviluppatori |
Testa l'integrazione e le prestazioni per verificare la qualità e l'usabilità. |
| Fase: Logging |
|
|
Conserva i log per l'osservabilità e la risoluzione dei problemi. |
|
| Fase: monitoraggio | Monitoraggio dei file di configurazione, tra cui:
|
|
|
Man mano che continui a lavorare al tuo piano di continuità aziendale e la tua comprensione della toolchain CI/CD cresce, puoi aggiornare il diagramma e la tabella di mappatura.
Identifica i dati e le dipendenze
Dopo aver completato l'inventario di base e la mappa della toolchain CI/CD, il passaggio successivo consiste nell'acquisire eventuali dipendenze da metadati o configurazioni. Quando implementi il tuo BCP, è fondamentale che tu abbia una chiara comprensione delle dipendenze all'interno della tua toolchain CI/CD. Le dipendenze rientrano in genere in una delle due categorie seguenti: dipendenze interne (di primo ordine) e dipendenze esterne (di secondo o terzo ordine).
Dipendenze interne
Le dipendenze interne sono sistemi utilizzati dalla tua toolchain e che controlli direttamente. Anche le dipendenze interne vengono selezionate dai tuoi team. Questi sistemi includono lo strumento CI, l'archivio di gestione delle chiavi e il sistema di controllo del codice sorgente. Puoi considerare questi sistemi come il livello successivo alla toolchain stessa.
Ad esempio, il seguente diagramma mostra un esempio di come le dipendenze interne si inseriscono in una toolchain. Il diagramma espande il diagramma della toolchain di primo livello precedente per l'applicazione Java di esempio in modo da includere anche le dipendenze interne della toolchain: le credenziali dell'applicazione, il file deploy.yaml e il file cloudbuild.yaml.
Il diagramma mostra che, per funzionare correttamente nell'applicazione Java di esempio, strumenti come Cloud Build, Cloud Deploy e GKE devono accedere a dipendenze non della toolchain come cloudbuild.yaml, deploy.yaml e le credenziali dell'applicazione. Quando analizzi la tua toolchain CI/CD, valuti se uno strumento può essere eseguito autonomamente o se deve chiamare un'altra risorsa.
Considera le dipendenze interne documentate per l'applicazione Java di esempio.
Le credenziali vengono archiviate in Secret Manager, che non fa parte della toolchain, ma sono necessarie per l'avvio dell'applicazione al momento del deployment. Pertanto, le credenziali dell'applicazione sono incluse come dipendenza per GKE. È anche importante includere i file deploy.yaml e cloudbuild.yaml come dipendenze, anche se sono archiviati nel controllo del codice sorgente con il codice dell'applicazione, perché definiscono la pipeline CI/CD per l'applicazione.
Il BCP per l'applicazione Java di esempio deve tenere conto di queste dipendenze
dai file deploy.yaml e cloudbuild.yaml perché ricreano la
pipeline CI/CD dopo che gli strumenti sono stati implementati durante il processo di ripristino.
Inoltre, se queste dipendenze vengono compromesse, la funzione complessiva della pipeline ne risentirà anche se gli strumenti stessi sono ancora operativi.
Dipendenze esterne
Le dipendenze esterne sono sistemi esterni su cui si basa la tua toolchain per funzionare e non sono sotto il tuo controllo diretto. Le dipendenze esterne derivano dagli strumenti e dai framework di programmazione che hai selezionato. Puoi pensare alle dipendenze esterne come a un altro livello inferiore rispetto alle dipendenze interne. Esempi di dipendenze esterne includono repository npm o repository Maven e servizi di monitoraggio.
Anche se le dipendenze esterne non sono sotto il tuo controllo, puoi incorporarle nel tuo BCP. Il seguente diagramma aggiorna l'applicazione Java di esempio includendo dipendenze esterne oltre a quelle interne: librerie Java in Maven Central e immagini Docker in Docker Hub. Le librerie Java vengono utilizzate da Artifact Registry e le immagini Docker da Cloud Build.
Il diagramma mostra che le dipendenze esterne possono essere importanti per il processo CI/CD: sia Cloud Build che GKE si basano su due servizi esterni (Maven e Docker) per funzionare correttamente. Quando valuti la tua toolchain, documenta sia le dipendenze esterne a cui i tuoi strumenti devono accedere sia le procedure per la gestione delle interruzioni delle dipendenze.
Nell'applicazione Java di esempio, le librerie Java e le immagini Docker non possono essere controllate direttamente, ma puoi comunque includerle, insieme alle relative procedure di recupero, nel piano di continuità aziendale. Ad esempio, considera le librerie Java in Maven. Sebbene le librerie siano archiviate in un'origine esterna, puoi stabilire un processo per scaricare e aggiornare periodicamente le librerie Java in un repository Maven locale o in Artifact Registry. In questo modo, il processo di recupero non deve fare affidamento sulla disponibilità della fonte di terze parti.
Inoltre, è importante comprendere che le dipendenze esterne possono avere più di un livello. Ad esempio, puoi considerare i sistemi utilizzati dalle tue dipendenze interne come dipendenze di secondo ordine. Queste dipendenze di secondo ordine potrebbero avere le proprie dipendenze, che puoi considerare come dipendenze di terzo ordine. Tieni presente che potrebbe essere necessario documentare e tenere conto delle dipendenze esterne di secondo e terzo ordine nel tuo BCP per ripristinare le operazioni durante un'interruzione.
Determina i target RTO e RPO
Dopo aver compreso la toolchain e le dipendenze, definisci i target RTO e RPO per i tuoi strumenti. Gli strumenti del processo CI/CD eseguono ciascuno un'azione diversa che può avere un impatto diverso sull'attività. Pertanto, è importante abbinare la priorità degli obiettivi RTO e RPO della funzione aziendale al suo impatto sull'attività. Ad esempio, la creazione di nuove versioni delle applicazioni tramite la fase CI potrebbe avere un impatto minore rispetto al deployment delle applicazioni tramite la fase CD. Pertanto, gli strumenti di deployment potrebbero avere target RTO e RPO più lunghi rispetto ad altre funzioni.
Il seguente grafico a quattro quadranti è un esempio generale di come potresti determinare i target RTO e RPO per ogni componente della toolchain CI/CD. La toolchain mappata in questo grafico include strumenti come una pipeline IaC e origini dati di test. Gli strumenti non sono stati menzionati nei diagrammi precedenti per l'applicazione Java, ma sono inclusi qui per fornire un esempio più completo.
Il grafico mostra i quadranti in base al livello di impatto su sviluppatori e operazioni. Nel grafico, i componenti sono posizionati come segue:
- Impatto moderato sugli sviluppatori, impatto basso sulle operazioni: origini dati di test
- Impatto moderato sugli sviluppatori, impatto moderato sulle operazioni: Cloud Key Management Service, Cloud KMS
- Impatto moderato sugli sviluppatori, impatto elevato sulle operazioni: pipeline di deployment
- Impatto elevato sugli sviluppatori, impatto ridotto sulle operazioni: loop interno di sviluppo
- Impatto elevato sugli sviluppatori, impatto moderato sulle operazioni: pipeline CI, pipeline Infrastructure as Code (IaC)
- Impatto elevato sugli sviluppatori, impatto elevato sulle operazioni: gestione del controllo del codice sorgente (SCM), Artifact Registry
I componenti come la gestione del controllo del codice sorgente e Artifact Registry, che hanno un impatto elevato sugli sviluppatori e sulle operazioni, hanno l'impatto maggiore sull'attività. Questi componenti devono avere gli obiettivi RTO e RPO più bassi. I componenti negli altri quadranti hanno una priorità inferiore, il che significa che gli obiettivi RTO e RPO saranno più elevati. In generale, gli obiettivi RTO e RPO per i componenti della toolchain devono essere impostati in base alla quantità di dati o di perdita di configurazione che è possibile tollerare rispetto al tempo necessario per ripristinare il servizio per quel componente.
Ad esempio, considera le diverse posizioni di Artifact Registry e della pipeline IaC nel grafico. Un confronto tra questi due strumenti mostra che un'interruzione di Artifact Registry ha un impatto maggiore sulle operazioni aziendali rispetto a un'interruzione della pipeline IaC. Poiché un'interruzione di Artifact Registry influisce in modo significativo sulla tua capacità di eseguire il deployment o la scalabilità automatica della tua applicazione, i target RTO e RPO saranno inferiori rispetto ad altri strumenti. Al contrario, il grafico mostra che un'interruzione della pipeline IaC ha un impatto minore sulle operazioni aziendali rispetto ad altri strumenti. La pipeline IaC avrebbe quindi obiettivi RTO e RPO più elevati perché puoi utilizzare altri metodi per eseguire il deployment o l'aggiornamento dell'infrastruttura durante un'interruzione.
Scegli una strategia di alto livello per la continuità aziendale
I processi di continuità aziendale per le applicazioni di produzione spesso si basano su una delle tre strategie di RE comuni. Tuttavia, per CI/CD, puoi scegliere tra due strategie di alto livello per la continuità aziendale: attiva/passiva o backup/ripristino. La strategia che scegli dipende dai tuoi requisiti e dal tuo budget. Ogni strategia presenta dei compromessi in termini di complessità e costi e devi tenere conto di diverse considerazioni per il tuo processo CI/CD. Le sezioni seguenti forniscono ulteriori dettagli su ciascuna strategia e sui relativi compromessi.
Inoltre, quando si verificano eventi che interrompono il servizio, questi potrebbero influire su più elementi rispetto alla tua implementazione CI/CD. Devi anche considerare tutta l'infrastruttura di cui hai bisogno, tra cui rete, computing e spazio di archiviazione. Dovresti avere un piano di DR per questi componenti di base e testarlo regolarmente per assicurarti che sia efficace.
Attivo/passivo
Con la strategia attivo/passivo (o warm standby), le tue applicazioni e la pipeline CI/CD passiva sono speculari. Tuttavia, la pipeline passiva non gestisce effettivamente il workload dei clienti e le build o i deployment, quindi è in uno stato di scale down. Questa strategia è più appropriata per le applicazioni business-critical in cui è tollerabile un breve periodo di inattività.
Il seguente diagramma mostra una configurazione attiva/passiva per l'applicazione Java di esempio utilizzata in questo documento. La pipeline passiva duplica completamente la toolchain dell'applicazione in un'altra regione.
In questo esempio, region1 ospita la pipeline CI/CD attiva e region2 ha la controparte passiva. Il codice è ospitato su un fornitore di servizi Git esterno, come GitHub o GitLab. Un evento del repository (come un merge da una richiesta di pull) può attivare la pipeline CI/CD nella regione 1 per creare, testare ed eseguire il deployment nell'ambiente di produzione multiregionale.
Se si verifica un problema critico per la pipeline region1, ad esempio un'interruzione a livello di regione di un prodotto, il risultato potrebbe essere un deployment o una build non riusciti. Per risolvere rapidamente il problema, puoi aggiornare il trigger per il repository Git e passare alla pipeline region2, che diventa quella attiva. Una volta risolto il problema nella regione1, puoi mantenere la pipeline nella regione1 come passiva.
I vantaggi della strategia attiva/passiva includono:
- Tempo di inattività ridotto: poiché è stato eseguito il deployment della pipeline passiva, ma ne è stato fatto lo scale down, il tempo di inattività è limitato al tempo necessario per fare lo scale up della pipeline.
- Tolleranza configurabile per la perdita di dati: con questa strategia, la configurazione e l'artefatto devono essere sincronizzati periodicamente. Tuttavia, l'importo è configurabile in base ai tuoi requisiti, il che può ridurre la complessità.
Gli svantaggi di questa strategia includono:
- Costo: con un'infrastruttura duplicata, questa strategia aumenta il costo complessivo dell'infrastruttura CI/CD.
Backup/Ripristino
Con la strategia di backup/ripristino, crei la pipeline di failover solo quando necessario durante il ripristino degli incidenti. Questa strategia è più appropriata per i casi d'uso con priorità più bassa. Il seguente diagramma mostra una configurazione di backup/ripristino per l'applicazione Java di esempio. La configurazione di backup duplica solo parte della pipeline CI/CD dell'applicazione in una regione diversa.
Analogamente all'esempio precedente, region1 ospita la pipeline CI/CD attiva. Anziché avere una pipeline passiva in region2, region2 ha solo backup dei dati regionali necessari, come i pacchetti Maven e le immagini container. Se ospiti i repository di origine nella regione 1, devi anche sincronizzare i dati con le località di RE.
Analogamente, se si verifica un problema critico nella pipeline della regione1, ad esempio un'interruzione del prodotto a livello di regione, puoi ripristinare l'implementazione CI/CD nella regione2. Se il codice dell'infrastruttura è archiviato nel repository di codice dell'infrastruttura, puoi eseguire lo script di automazione dal repository e ricreare la pipeline CI/CD nella regione2.
Se l'interruzione è un evento su larga scala, potresti competere con altri clienti per le risorse cloud. Un modo per mitigare questa situazione è avere più opzioni per la località di RE. Ad esempio, se la pipeline della regione1 si trova in us-east1,
la regione di failover può essere us-east4, us-central1 o us-west1.
I vantaggi della strategia di backup/ripristino includono:
- Costo: questa strategia comporta il costo più basso perché esegui il deployment della pipeline di backup solo durante gli scenari di RE.
Gli svantaggi di questa strategia includono:
- Tempo di inattività: questa strategia richiede più tempo per l'implementazione perché crei la pipeline di failover quando ne hai bisogno. Anziché avere una pipeline predefinita, i servizi devono essere creati e configurati durante il ripristino degli incidenti. Anche il tempo di creazione degli artefatti e il tempo di recupero delle dipendenze esterne potrebbero essere notevolmente più lunghi.
Documenta il tuo BCP e implementa le best practice
Dopo aver mappato la toolchain CI/CD, identificato le sue dipendenze e determinato gli obiettivi RTO e RPO per le funzioni critiche, il passaggio successivo consiste nel documentare tutte le informazioni pertinenti in un BCP scritto. Quando crei il tuo BCP, documenta le strategie, i processi e le procedure per il ripristino di ogni funzione critica. Questo processo di documentazione include la scrittura di procedure passo passo che i dipendenti con ruoli specifici devono seguire durante un'interruzione.
Dopo aver definito il BCP, esegui il deployment o l'aggiornamento della toolchain CI/CD utilizzando le best practice per raggiungere i target RTO e RPO. Sebbene le toolchain CI/CD possano essere molto diverse, esistono due pattern chiave per le best practice che sono comuni indipendentemente dalla toolchain: una comprensione completa delle dipendenze e l'implementazione dell'automazione.
Per quanto riguarda le dipendenze, la maggior parte dei BCP riguarda i sistemi direttamente sotto il tuo controllo. Tuttavia, ricorda che le dipendenze esterne di secondo o terzo ordine potrebbero avere lo stesso impatto, quindi è importante implementare best practice e misure di ridondanza anche per queste dipendenze critiche. Le librerie Java esterne nell'applicazione di esempio sono un esempio di dipendenze di terzo ordine. Se non hai un repository locale o un backup per queste librerie, potresti non essere in grado di creare l'applicazione se la fonte esterna da cui estrai le librerie è disconnessa.
In termini di automazione, l'implementazione delle best practice deve essere incorporata nella strategia complessiva di IaC cloud. La soluzione IaC deve utilizzare strumenti come Terraform per eseguire automaticamente il provisioning delle risorse necessarie per l'implementazione CI/CD e per configurare i processi. Le pratiche IaC sono procedure di ripristino molto efficaci perché sono incorporate nel funzionamento quotidiano delle pipeline CI/CD. Inoltre, l'IaC promuove l'archiviazione dei file di configurazione nel controllo del codice sorgente, che a sua volta promuove l'adozione delle best practice per i backup.
Dopo aver implementato la toolchain in base al tuo BCP e alle best practice per le dipendenze e l'automazione, il processo CI/CD e le strategie di ripristino potrebbero cambiare. Assicurati di documentare eventuali modifiche alle strategie, ai processi e alle procedure di ripristino derivanti dalla revisione del BCP e dall'implementazione delle best practice.
Testa gli scenari di errore e mantieni il piano
È fondamentale rivedere, testare e aggiornare regolarmente il BCP su base continuativa. Il test del BCP e delle procedure di ripristino verifica che il piano sia ancora valido e che i target RPO e RTO documentati siano accettabili. Tuttavia, la cosa più importante è che i test, gli aggiornamenti e la manutenzione regolari rendono l'esecuzione del BCP parte delle normali operazioni. Utilizzando Google Cloud, puoi testare gli scenari di ripristino a un costo minimo. Per facilitare i test, ti consigliamo di procedere come segue:
- Automatizza il provisioning dell'infrastruttura con uno strumento IaC: puoi utilizzare strumenti come Terraform per automatizzare il provisioning dell'infrastruttura CI/CD.
- Monitora ed esegui il debug dei test con Cloud Logging e Cloud Monitoring: Google Cloud Observability fornisce strumenti di logging e monitoraggio a cui puoi accedere tramite chiamate API, il che significa che puoi automatizzare il deployment degli scenari di ripristino reagendo alle metriche. Quando progetti i test, assicurati di aver implementato un monitoraggio e un sistema di avvisi adeguati che possano attivare le azioni di ripristino appropriate.
- Esegui i test nel tuo BCP: ad esempio, puoi verificare se le autorizzazioni e l'accesso utente funzionano nell'ambiente di RE come nell'ambiente di produzione. Puoi eseguire test di integrazione e test funzionali sull'ambiente di RE. Puoi anche eseguire un test in cui il tuo percorso di accesso abituale a Google Cloud non funziona.
In Google, testiamo regolarmente il nostro BCP attraverso un processo chiamato DiRT (Disaster Recovery Testing). Questi test aiutano Google a verificare gli impatti, l'automazione e a individuare i rischi non considerati. Le modifiche all'automazione e al BCP che devono essere implementate sono un risultato importante del DiRT.
Best practice
In questa sezione, scoprirai alcune best practice che puoi implementare per raggiungere i tuoi obiettivi RTO e RPO. Queste best practice si applicano in generale al RE per CI/CD e non a strumenti specifici. Indipendentemente dall'implementazione, devi testare regolarmente il tuo BCP per assicurarti che l'alta affidabilità, l'RTO e l'RPO soddisfino i tuoi requisiti. Se si verifica un incidente o un disastro, devi anche eseguire un'analisi retrospettiva e analizzare il processo per poterlo migliorare.
Alta affidabilità
Per ogni strumento, devi impegnarti a implementare le best practice per l'alta affidabilità. Seguire le best practice per l'alta affidabilità consente di adottare un approccio più proattivo al processo CI/CD, poiché queste best practice lo rendono più resiliente agli errori. Queste strategie proattive devono essere utilizzate con controlli e procedure più reattivi sia per il ripristino che per il backup.
Di seguito sono riportate alcune best practice per ottenere l'alta affidabilità. Tuttavia, consulta la documentazione dettagliata di ogni strumento della tua pipeline CI/CD per best practice più dettagliate:
- Servizi gestiti: l'utilizzo di servizi gestiti trasferisce la responsabilità operativa a Google Cloud.
- Scalabilità automatica: ove possibile, utilizza la scalabilità automatica. Un aspetto chiave della scalabilità automatica è che le istanze worker vengono create in modo dinamico, quindi il recupero dei nodi con errori è automatico.
- Deployment globali e multiregionali: ove possibile, utilizza deployment globali e multiregionali anziché deployment regionali. Ad esempio, puoi configurare Artifact Registry per l'archiviazione multiregionale.
- Dipendenze: comprendi tutte le dipendenze dei tuoi strumenti e assicurati che siano ad alta affidabilità. Ad esempio, puoi memorizzare nella cache tutte le librerie di terze parti nel tuo Artifact Registry.
Procedure di backup
Quando implementi il DR per CI/CD, alcuni strumenti e processi sono più adatti alle strategie di backup/ripristino. Una strategia di backup completa è il primo passo per controlli reattivi efficaci. I backup ti consentono di ripristinare la pipeline CI/CD con un'interruzione minima in caso di malintenzionati o scenari di emergenza.
Come punto di partenza, dovresti implementare le tre best practice riportate di seguito. Tuttavia, per best practice di backup più dettagliate, consulta la documentazione di ogni strumento del tuo processo CI/CD.
- Controllo del codice sorgente: archivia i file di configurazione e tutto ciò che codifichi, come script e policy di automazione, nel controllo del codice sorgente. Gli esempi includono
cloudbuild.yamle i file YAML di Kubernetes. - Ridondanza: assicurati che non esista un single point of failure per l'accesso ai secret, come password, certificati e chiavi API. Esempi di pratiche da evitare includono il fatto che una sola persona conosca la password o l'archiviazione della chiave API su un solo server in una regione specifica.
- Backup: verifica spesso la completezza e l'accuratezza dei backup. I servizi gestiti come Backup per GKE ti aiuteranno a semplificare la procedura di verifica.
Procedure di recupero
RE richiede anche procedure di ripristino per integrare i processi di backup. Le procedure di ripristino, combinate con backup completi, determineranno la rapidità con cui sarai in grado di rispondere agli scenari di emergenza.
Gestione delle dipendenze
La pipeline CI/CD può avere molte dipendenze, che possono anche essere fonti di errori. Un elenco completo delle dipendenze deve essere identificato come descritto in precedenza in questo documento in Identifica dati e dipendenze. Tuttavia, le due origini più comuni delle dipendenze sono le seguenti:
- Artefatti dell'applicazione: ad esempio pacchetti, librerie e immagini
- Sistemi esterni: ad esempio, sistemi di gestione dei ticket e di notifica
Un modo per mitigare i rischi delle dipendenze è adottare la pratica del vendoring. Il vendoring di pacchetti o immagini di applicazioni è il processo di creazione e archiviazione di copie di questi elementi in un repository privato. Il vendoring rimuove la dipendenza da fonti esterne per questi pacchetti o immagini e può anche contribuire a impedire l'inserimento di malware nella catena di fornitura del software.
Alcuni dei vantaggi del vendoring di pacchetti o immagini di applicazioni sono i seguenti:
- Sicurezza: il vendoring rimuove la dipendenza da origini esterne per i pacchetti o le immagini dell'applicazione, il che può aiutare a prevenire gli attacchi di inserimento di malware.
- Controllo: vendendo i propri pacchetti o immagini, le organizzazioni possono avere un maggiore controllo sulla fonte di questi pacchetti e immagini.
- Conformità: il vendoring può aiutare le organizzazioni a rispettare le normative di settore, come la Certificazione del modello di maturità della cybersicurezza.
Se il tuo team decide di utilizzare pacchetti o immagini di applicazioni di fornitori, segui questi passaggi principali:
- Identifica i pacchetti o le immagini dell'applicazione che devono essere venduti.
- Crea un repository privato per archiviare i pacchetti o le immagini vendored.
- Scarica i pacchetti o le immagini dalla fonte originale e archiviali nel repository privato.
- Verifica l'integrità dei pacchetti o delle immagini.
- Aggiorna i pacchetti o le immagini del fornitore in base alle tue esigenze.
Le pipeline CI/CD spesso chiamano sistemi di terze parti per eseguire azioni come l'esecuzione di scansioni, la registrazione di ticket o l'invio di notifiche. Nella maggior parte dei casi, questi sistemi di terze parti hanno le proprie strategie di RE che dovrebbero essere implementate. Tuttavia, in alcuni casi potrebbero non avere un piano di RE adeguato e queste istanze devono essere chiaramente documentate nel BCP. Devi quindi decidere se queste fasi della pipeline possono essere saltate per motivi di disponibilità o se è accettabile causare tempi di inattività per la pipeline CI/CD.
Monitoraggio e notifiche
La pipeline CI/CD è esattamente come i sistemi di produzione delle applicazioni, quindi devi anche implementare tecniche di monitoraggio e notifica per gli strumenti CI/CD. Come best practice, ti consigliamo di implementare dashboard e notifiche di avviso. Il repository di esempio di GitHub per Cloud Monitoring contiene molti esempi di dashboard e policy di avviso.
Puoi anche implementare livelli di monitoraggio aggiuntivi, come gli indicatori del livello del servizio (SLI) e gli obiettivi del livello di servizio (SLO). Questi livelli di monitoraggio aiutano a monitorare l'integrità e le prestazioni complessive delle pipeline CI/CD. Ad esempio, è possibile implementare gli SLO per monitorare la latenza delle fasi di build e deployment. Questi SLO aiutano i team a creare e rilasciare applicazioni alla velocità e alla frequenza che preferisci.
Procedure di accesso di emergenza
Durante un'emergenza, potrebbe essere necessario che i team operativi intervengano al di fuori delle procedure standard e ottengano l'accesso di emergenza a sistemi e strumenti. Queste azioni di emergenza sono talvolta definite procedure di deployment di emergenza. Come punto di partenza, dovresti implementare queste tre best practice:
- Definisci un piano e una procedura di escalation chiari. Un piano chiaro aiuta il team operativo a sapere quando deve utilizzare le procedure di accesso di emergenza.
- Assicurati che più persone abbiano accesso a informazioni critiche, come configurazioni e secret.
- Sviluppa metodi di controllo automatici per monitorare quando sono state utilizzate le procedure di accesso di emergenza e chi le ha utilizzate.
Passaggi successivi
- Scopri di più sui prodotti Google Cloud utilizzati in questo documento:
- Consulta la guida alla pianificazione del disaster recovery.
- Prova le altre funzionalità di Google Cloud completando i nostri tutorial.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.
Collaboratori
Autori:
- Ben Good | Solutions Architect
- Xiang Shen | Solutions Architect
Altri collaboratori:
- Marco Ferrari | Cloud Solutions Architect
- Anuradha Bajpai | Solutions Architect
- Rodd Zurcher | Solutions Architect