Questa pagina illustra le pratiche comuni per componenti specifici dell'architettura di Looker e descrive come configurarli all'interno di un deployment.
Looker ha una serie di dipendenze per l'hosting del server, la gestione dei workload ad hoc e pianificati, il monitoraggio dello sviluppo iterativo dei modelli e così via. Queste dipendenze sono definite componenti in questa pagina e ogni componente è descritto in dettaglio nelle sezioni seguenti:
- Configurazione host
- Configurazione della JVM
- Opzioni di avvio di Looker
- Database interno (backend)
- Servizio Git
- Rete
Configurazione host
Sistema operativo e distribuzione
Looker funziona bene sulle versioni più comuni di Linux: RedHat, SUSE e Debian/Ubuntu. I derivati di queste distribuzioni progettati e ottimizzati per l'esecuzione in un determinato ambiente sono generalmente accettabili. Ad esempio, le distribuzioni Google Cloud o AWS di Linux sono compatibili con Looker. Debian/Ubuntu è la varietà di Linux più utilizzata nella community di Looker e queste sono le versioni più familiari per l'assistenza di Looker. Il modo più semplice è utilizzare Debian/Ubuntu o un sistema operativo per un cloud provider specifico derivato da Debian/Ubuntu.
Looker viene eseguito nella macchina virtuale Java (JVM). Quando scegli una distribuzione, valuta se le versioni di OpenJDK 11 sono aggiornate. Le distribuzioni Linux meno recenti potrebbero essere in grado di eseguire Looker, ma la versione e le librerie Java richieste da Looker per funzionalità specifiche devono essere aggiornate. Se la JVM non contiene tutte le librerie e le versioni di Looker consigliate, Looker non funzionerà normalmente. Looker richiede Java HotSpot 1.8 update 161+ o Java OpenJDK 11.0.12+.
CPU e memoria
I nodi 4x16 (4 CPU e 16 GB di RAM) sono sufficienti per un sistema di sviluppo o un'istanza di test di base di Looker utilizzata da un piccolo team. Tuttavia, per l'uso in produzione, questo non è solitamente sufficiente. In base alla nostra esperienza, i nodi 16x64 (16 CPU e 64 GB di RAM) rappresentano un buon equilibrio tra prezzo e prestazioni. Più di 64 GB di RAM possono influire sulle prestazioni, poiché gli eventi di garbage collection sono a thread singolo e interrompono l'esecuzione di tutti gli altri thread.
Spazio di archiviazione su disco
100 GB di spazio su disco sono in genere più che sufficienti per un sistema di produzione.
Considerazioni sui cluster
Looker viene eseguito su una JVM Java e Java può avere difficoltà a gestire una memoria superiore a 64 GB. Come regola generale, se è necessaria una maggiore capacità, devi aggiungere altri nodi 16x64 al cluster anziché aumentare le dimensioni dei nodi oltre 16x64. Potremmo anche preferire l'utilizzo di un'architettura in cluster per una maggiore disponibilità.
In un cluster, i nodi di Looker devono condividere alcune parti del file system. I dati condivisi includono:
- Modelli LookML
- I modelli LookML dello sviluppatore
- Connettività del server Git
Poiché il file system è condiviso e ospita un numero di repository Git, la gestione dell'accesso simultaneo e del blocco dei file è fondamentale. Il file system deve essere conforme a POSIX. È noto che Network File System (NFS) funziona ed è facilmente disponibile con Linux. Devi creare un'istanza Linux aggiuntiva e configurare NFS per condividere il disco. L'NFS predefinito è potenzialmente un single point of failure, quindi valuta la possibilità di una configurazione di failover o di alta affidabilità.
Anche i metadati di Looker devono essere centralizzati, quindi è necessario eseguire la migrazione del database interno a MySQL. Può essere un servizio MySQL o un deployment MySQL dedicato. La sezione Database interno (backend) di questa pagina fornisce maggiori dettagli.
Configurazione JVM
Le impostazioni della JVM di Looker sono definite all'interno dello script di avvio di Looker. Dopo eventuali aggiornamenti, è necessario riavviare Looker affinché le modifiche vengano applicate. Le configurazioni predefinite sono le seguenti:
java \
-XX:+UseG1GC -XX:MaxGCPauseMillis=2000 \
-Xms$JAVAMEM -Xmx$JAVAMEM \
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps \
-Xloggc:/tmp/gc.log ${JAVAARGS} \
-jar looker.jar start ${LOOKERARGS}
Risorse
Le impostazioni delle risorse sono definite nello script di avvio di Looker.
JAVAMEM="2300m" METAMEM="800m"
L'allocazione della memoria per la JVM deve tenere conto dell'overhead del sistema operativo su cui è in esecuzione Looker. La regola generale è che alla JVM può essere allocato fino al 60% della memoria totale, ma esistono delle eccezioni a seconda delle dimensioni della macchina. Per le macchine con un minimo di 8 GB di memoria totale, consigliamo un'allocazione di 4-5 GB per Java e 800 MB per Meta. Per le macchine più grandi, è possibile allocare una percentuale di memoria inferiore per il sistema operativo. Ad esempio, per le macchine con 60 GB di memoria totale, consigliamo un'allocazione di 36 GB a Java e 1 GB a Meta. È importante notare che l'allocazione della memoria di Java deve in genere essere scalata in base alla memoria totale della macchina, ma Meta dovrebbe essere sufficiente con 1 GB.
Inoltre, poiché Looker condivide le risorse di sistema con altri processi come Chromium per il rendering, la quantità di allocazione della memoria allocata a Java deve essere selezionata nel contesto del carico di rendering previsto e delle dimensioni della macchina. Se si prevede che il carico di rendering sia basso, è possibile allocare a Java una quota maggiore della memoria totale. Ad esempio, su una macchina con 60 GB di memoria totale, Java potrebbe essere allocato in sicurezza a 46 GB, un valore superiore al 60% consigliato in generale. Le allocazioni esatte delle risorse appropriate per ogni deployment variano, quindi utilizza il 60% come base di riferimento e modifica in base all'utilizzo.
Garbage collection
Looker preferisce utilizzare il garbage collector più moderno disponibile per la sua versione di Java. Per impostazione predefinita, il timeout della garbage collection è di 2 secondi, ma può essere modificato modificando la seguente opzione nella configurazione di avvio:
-XX:MaxGCPauseMillis=2000
Su una macchina più grande con più core, il timeout della garbage collection potrebbe essere ridotto.
Log
Per impostazione predefinita, i log di garbage collection di Looker sono archiviati in /tmp/gc.log. Puoi modificare questa impostazione modificando la seguente opzione nella configurazione di avvio:
-Xloggc:/tmp/gc.log
JMX
La gestione di Looker potrebbe richiedere il monitoraggio per perfezionare l'allocazione delle risorse. Ti consigliamo di utilizzare JMX per monitorare l'utilizzo della memoria della JVM.
Opzioni di avvio di Looker
Le opzioni di avvio sono memorizzate in un file denominato lookerstart.cfg. Questo file viene utilizzato nello script shell che avvia Looker.
Pool di thread
In quanto applicazione multi-thread, Looker dispone di un numero di pool di thread. Questi pool di thread vanno dal server web principale a sottoservizi specializzati come la pianificazione, il rendering e le connessioni a database esterni. A seconda dei flussi di lavoro della tua attività, potrebbe essere necessario modificare questi pool rispetto alla configurazione predefinita. In particolare, esistono considerazioni speciali per le topologie dei cluster menzionate nella pagina Modelli e pratiche di architettura dell'infrastruttura ospitata dal cliente.
Opzioni di throughput di pianificazione elevato
Per tutti i nodi non scheduler, aggiungi --scheduler-threads=0 alla variabile di ambiente LOOKERARGS in lookerstart.cfg. Senza thread dello scheduler, su questi nodi non verranno eseguiti job pianificati.
Per tutti i nodi scheduler dedicati, aggiungi --scheduler-threads=<n> alla variabile di ambiente LOOKERARGS in lookerstart.cfg. Looker inizia con 10 thread dello scheduler per impostazione predefinita, ma questo numero può essere aumentato a <n>. Con <n> thread dello scheduler, ogni nodo sarà in grado di eseguire <n> job di pianificazione simultanei. In genere, si consiglia di mantenere <n> inferiore al doppio del numero di CPU. L'host consigliato più grande è quello con 16 CPU e 64 GB di memoria, quindi il limite superiore dei thread dello scheduler deve essere inferiore a 32.
Opzioni di throughput di rendering elevato
Per tutti i nodi non di rendering, aggiungi --concurrent-render-jobs=0 alla variabile di ambiente LOOKERARGS in lookerstart.cfg. Senza nodi di rendering, non verranno eseguiti job di rendering su questi nodi.
Per tutti i nodi di rendering dedicati, aggiungi --concurrent-render-jobs=<n> alla variabile di ambiente LOOKERARGS in lookerstart.cfg. Looker inizia con due thread di rendering per impostazione predefinita, ma questo numero può essere aumentato a <n>. Con <n> thread di rendering, ogni nodo sarà in grado di eseguire <n> job di rendering simultanei.
Ogni job di rendering può utilizzare una quantità significativa di memoria. Prevedi un budget di circa 2 GB per job di rendering. Ad esempio, se al processo principale di Looker (Java) viene allocato il 60% della memoria totale e il 20% della memoria rimanente è riservato al sistema operativo, l'ultimo 20% rimane per i job di rendering. Su una macchina da 64 GB, rimangono 12 GB, sufficienti per 6 job di rendering simultanei. Se un nodo è dedicato al rendering e non è incluso nel pool del bilanciatore del carico che gestisce i job interattivi, la memoria del processo principale di Looker può essere ridotta per consentire un maggior numero di job di rendering. Su una macchina da 64 GB, si potrebbe allocare circa il 30% (20 GB) al processo principale di Looker. Riservando il 20% per l'utilizzo generale del sistema operativo, rimane il 50% (32 GB) per il rendering, sufficiente per 16 job di rendering simultanei.
Database interno (backend)
Il server Looker conserva le informazioni sulla propria configurazione, sulle connessioni al database, sugli utenti, sui gruppi e sui ruoli, sulle cartelle, sui Look e sulle dashboard definiti dall'utente e su vari altri dati in un database interno.
Per un'istanza di Looker autonoma di dimensioni moderate, questi dati vengono archiviati in un database HyperSQL in memoria incorporato nel processo di Looker stesso. I dati di questo database sono archiviati nel file <looker install directory>/.db/looker.script. Sebbene sia comodo e leggero, questo database presenta problemi di prestazioni in caso di utilizzo intensivo. Pertanto, ti consigliamo di iniziare con un database MySQL remoto. Se non è possibile, ti consigliamo di eseguire la migrazione a un database MySQL remoto quando il file ~/looker/.db/looker.script raggiunge i 600 MB. I cluster devono utilizzare un database MySQL.
Il server Looker esegue molte piccole operazioni di lettura e scrittura nel database MySQL. Ogni volta che un utente esegue un Look o un'esplorazione, Looker controlla il database per verificare che l'utente abbia ancora eseguito l'accesso, che disponga dei privilegi per accedere ai dati, che disponga dei privilegi per eseguire il Look o l'esplorazione e così via. Looker scriverà anche i dati nel database MySQL, ad esempio l'SQL effettivo eseguito e l'ora di inizio e di fine della richiesta. Una singola interazione tra un utente e l'applicazione Looker potrebbe comportare 15 o 20 piccole operazioni di lettura e scrittura nel database MySQL.
MySQL
Il server MySQL deve essere della versione 8.0.X o 8.4.X. La versione 8.4.X è supportata a partire da Looker 26.6 ed è consigliata. Configura il server in modo che utilizzi il set di caratteri utf8mb4, le regole di confronto utf8mb4_general_ci e il motore di archiviazione InnoDB. Per le istruzioni di configurazione e i passaggi per eseguire la migrazione dei dati da un database HyperSQL esistente a MySQL, consulta Migrazione del database di backend di Looker a MySQL.
Quando configuri Looker per l'utilizzo di MySQL, devi creare un file YAML contenente le informazioni di connessione. Assegna al file YAML il nome looker-db.yml e aggiungi l'impostazione -d looker-db.yml nella sezione LOOKERARGS del file lookerstart.cfg.
MariaDB
MySQL ha una doppia licenza ed è disponibile sia come prodotto open source sia come prodotto commerciale. Oracle ha continuato a migliorare MySQL e MySQL è stato sottoposto a fork come MariaDB. Le versioni di MySQL equivalenti a MariaDB sono note per funzionare con Looker, ma non sono sviluppate o testate dai team di progettazione di Looker; pertanto, la funzionalità non è supportata o garantita.
Versioni cloud
Se ospiti Looker nella tua infrastruttura cloud, è logico ospitare il database MySQL nella stessa infrastruttura cloud. I tre principali fornitori di cloud: Amazon AWS, Microsoft Azure e Google Cloud. I cloud provider gestiscono gran parte della manutenzione e della configurazione del database MySQL e offrono servizi come l'assistenza per la gestione dei backup e il recupero rapido. Questi prodotti sono noti per funzionare bene con Looker.
Query di Attività di sistema
Il database MySQL viene utilizzato per archiviare informazioni su come gli utenti utilizzano Looker. Qualsiasi utente di Looker che dispone dell'autorizzazione per visualizzare il modello Attività del sistema ha accesso a una serie di dashboard di Looker predefinite per analizzare questi dati. Gli utenti possono anche accedere alle esplorazioni dei metadati di Looker per creare analisi aggiuntive. Il database MySQL viene utilizzato principalmente per query "operative" di piccole dimensioni e veloci. Le query "analitiche" di grandi dimensioni e lente generate dal modello Attività di sistema possono competere con queste query operative e rallentare Looker. Inoltre, le query di manutenzione automatica in background (pulizie intensive) che hanno come target tabelle di metadati di grandi dimensioni contenenti anni di cronologia possono consumare un numero significativo di IOP del database e influire sulle prestazioni complessive. Consulta la sezione Manutenzione del database di backend e conservazione dei metadati per le best practice per la gestione delle tabelle dei metadati.
In questi casi, è possibile replicare il database MySQL in un altro database. Sia i sistemi autogestiti sia alcuni sistemi gestiti nel cloud forniscono la configurazione di base della replica in altri database. La configurazione della replica non rientra nell'ambito di questo documento.
Per utilizzare la replica per le query di Attività del sistema, creerai una copia del file looker-db.yml, ad esempio denominata looker-usage-db.yml, la modificherai in modo che punti alla replica e aggiungerai l'impostazione --internal-analytics-connection-file looker-usage-db.yml alla sezione LOOKERARGS del file lookerstart.cfg.
Le query di Attività del sistema possono essere eseguite su un'istanza MySQL o su un database Google BigQuery. Non vengono testati con altri database.
Manutenzione del database di backend e conservazione dei metadati
Le istanze di Looker ospitate dal cliente con un database di backend autogestito (come MySQL) eseguono attività di manutenzione in background automatizzate, tra cui pulizie intensive delle tabelle dei metadati (ad esempio, le tabelle della cronologia delle query). Nel corso di diversi anni di utilizzo, queste tabelle possono accumulare milioni di record obsoleti. L'esecuzione di processi di pulizia automatizzati su queste tabelle di grandi dimensioni può esaurire le operazioni di I/O al secondo (IOP) disponibili e peggiorare notevolmente le prestazioni del database di backend, compromettendo il sistema di produzione.
Se il tuo sistema sta riscontrando un utilizzo elevato di IOPS a causa di una pulizia attiva, devi consentire il completamento del processo di pulizia intensiva automatizzato. Per evitare un futuro peggioramento delle prestazioni e mantenere le tabelle dei metadati di dimensioni ragionevoli, gli amministratori devono implementare le seguenti best practice:
- Riduci la conservazione dei metadati: limita le dimensioni di queste tabelle riducendo il parametro Extract History Retention Days nel pannello **Amministratore** di Looker a 90 giorni o meno.
-
Esegui la manutenzione fisica: esegui una pulizia manuale dei record delle tabelle più grandi (ad esempio la tabella della cronologia delle query) e poi un comando MySQL
OPTIMIZE TABLEper recuperare spazio su disco fisico e ricostruire gli indici delle tabelle. -
Verifica la configurazione della memoria: verifica che la configurazione della memoria del database (ad esempio il pool di buffer InnoDB) sia sufficiente per gestire query intensive. I cluster molto attivi potrebbero richiedere l'ottimizzazione di
innodb_buffer_pool_size(consulta la sezione Configurazione delle prestazioni di MySQL più avanti in questa pagina).
Configurazione delle prestazioni di MySQL
Oltre alle impostazioni necessarie per eseguire la migrazione del database di backend di Looker a MySQL, i cluster molto attivi possono trarre vantaggio da un'ulteriore ottimizzazione e configurazione. Queste impostazioni possono essere applicate al file /etc/my.cnf o tramite la console Google Cloud per le istanze gestite nel cloud.
Il file di configurazione my.cnf è diviso in più parti. Le seguenti modifiche alle impostazioni descritte in questa sezione vengono apportate nella parte [mysqld].
Imposta le dimensioni del pool di buffer InnoDB
La dimensione del pool di buffer InnoDB è la RAM totale utilizzata per archiviare lo stato dei file di dati InnoDB in memoria. Se il server è dedicato all'esecuzione di MySQL, innodb_buffer_pool_size deve essere impostato sul 50%-70% della memoria di sistema totale.
Se la dimensione totale del database è ridotta, è consentito impostare il pool di buffer InnoDB sulla dimensione del database anziché sul 50% o più della memoria.
In questo esempio, un server ha 64 GB di memoria, pertanto il pool di buffer InnoDB deve essere compreso tra 32 GB e 45 GB. In genere, più grande è, meglio è.
[mysqld] ... innodb_buffer_pool_size=45G
Imposta le istanze del pool di buffer InnoDB
Quando più thread tentano di eseguire ricerche in un pool di buffer di grandi dimensioni, potrebbero entrare in conflitto. Per evitare questo problema, il pool di buffer è suddiviso in unità più piccole a cui possono accedere thread diversi senza conflitti. Per impostazione predefinita, il pool di buffer è diviso in 8 istanze. Questo crea il potenziale per un collo di bottiglia di 8 thread. Aumentando il numero di istanze del pool di buffer si riduce la probabilità di un collo di bottiglia. Il flag innodb_buffer_pool_instances deve essere impostato in modo che ogni pool di buffer riceva almeno 1 GB di memoria.
[mysqld] ... innodb_buffer_pool_instances=32
Ottimizza il file di log InnoDB
Quando viene eseguito il commit di una transazione, il database ha la possibilità di aggiornare i dati nel file effettivo o di salvare i dettagli della transazione nel log. Se il database si arresta in modo anomalo prima che i file di dati siano stati aggiornati, il file di log può essere "riprodotto" per applicare le modifiche. La scrittura nel file di log è una piccola operazione di aggiunta. È efficiente aggiungere dati al log al momento del commit, quindi raggruppare più modifiche ai file di dati e scriverle in un'unica operazione di I/O. Quando il file di log è pieno, il database deve sospendere l'elaborazione delle nuove transazioni e riscrivere tutti i dati modificati sul disco.
Come regola generale, il file di log InnoDB deve essere abbastanza grande da contenere 1 ora di transazioni.
In genere esistono due file di log InnoDB. Dovrebbero essere circa il 25% del pool di buffer InnoDB. Per un database di esempio con un pool di buffer da 32 GB, i file di log InnoDB devono avere un totale di 8 GB o 4 GB per file.
[mysqld] ... innodb_log_file_size=8GB
Configura la capacità IO InnoDB
MySQL limiterà la velocità con cui le scritture vengono registrate sul disco per non sovraccaricare il server. I valori predefiniti sono conservativi per la maggior parte dei server. Per ottenere le migliori prestazioni, utilizza l'utilità sysbench per misurare la velocità di scrittura casuale sul disco dati, quindi utilizza questo valore per configurare la capacità di I/O in modo che MySQL scriva i dati più rapidamente.
In un sistema ospitato nel cloud, il fornitore di servizi cloud dovrebbe essere in grado di segnalare le prestazioni dei dischi utilizzati per il datastore. Per un server MySQL in hosting autonomo, misura la velocità delle scritture casuali sul disco dati in operazioni di I/O al secondo (IOPS). L'utilità Linux sysbench è un modo per misurarla. Utilizza questo valore per innodb_io_capacity_max e un valore compreso tra la metà e tre quarti di questo valore per innodb_io_capacity. Pertanto, nell'esempio seguente, vedremmo i valori se misurassimo 800 IOPS.
[mysqld] ... innodb_io_capacity=500 innodb_io_capacity_max=800
Configura i thread InnoDB
MySQL aprirà almeno un thread per ogni client gestito. Se molti client sono connessi contemporaneamente, ciò può comportare l'elaborazione di un numero enorme di thread. Ciò può far sì che il sistema dedichi più tempo allo swapping che all'elaborazione.
Per determinare il numero ideale di thread, è necessario eseguire un benchmarking. Per eseguire il test, imposta il numero di thread tra il numero di CPU (o core della CPU) sul sistema e 4 volte il numero di CPU. Per un sistema a 16 core, questo valore è probabilmente compreso tra 16 e 64.
[mysqld] ... innodb_thread_concurrency=32
Durabilità delle transazioni
Un valore di transazione pari a 1 forza MySQL a scrivere su disco per ogni transazione. Se il server si arresta in modo anomalo, la transazione non andrà persa, ma le prestazioni del database ne risentiranno. L'impostazione di questo valore su 0 o 2 può migliorare le prestazioni, ma comporta il rischio di perdere un paio di secondi di transazioni di dati.
[mysqld] ... innodb_flush_log_at_trx_commit=1
Imposta il metodo di flush
Il sistema operativo normalmente esegue il buffering delle scritture sul disco. Poiché sia MySQL che il sistema operativo eseguono il buffering, si verifica una riduzione delle prestazioni. La riduzione del metodo di flush di un livello di buffering può migliorare le prestazioni.
[mysqld] ... innodb_flush_method=O_DIRECT
Abilita un file per tabella
Per impostazione predefinita, MySQL utilizza un singolo file di dati per tutti i dati. L'impostazione innodb_file_per_table creerà un file separato per ogni tabella, migliorando le prestazioni e la gestione dei dati.
[mysqld] ... innodb_file_per_table=ON
Disabilita le statistiche sui metadati
Questa impostazione disattiva la raccolta di statistiche sulle tabelle dei metadati interni, migliorando le prestazioni di lettura.
[mysqld] ... innodb_stats_on_metadata=OFF
Disattiva la cache delle query
La cache delle query è deprecata, quindi l'impostazione di query_cache_size e query_cache_type su 0 la disabilita.
[mysqld] ... query_cache_size=0 query_cache_type=0
Ingrandisci il buffer di join
join_buffer viene utilizzato per eseguire join in memoria. Aumentando questo valore, puoi migliorare alcune operazioni.
[mysqld] ... join_buffer_size=512KB
Aumenta le dimensioni della tabella temporanea e dell'heap massimo
tmp_table_size e max_heap_table_size impostano valori predefiniti ragionevoli per le tabelle temporanee in memoria, prima che vengano forzate su disco.
[mysqld ... tmp_table_size=32MB max_heap_table_size=32MB
Regola la cache delle tabelle aperte
L'impostazione table_open_cache determina le dimensioni della cache che contiene i descrittori dei file per le tabelle aperte. L'impostazione table_open_cache_instances suddivide la cache in un numero di parti più piccole. Esiste un potenziale conflitto di thread in table_open_cache, quindi la suddivisione in parti più piccole aiuta ad aumentare la concorrenza.
[mysqld] ... table_open_cache=2048 table_open_cache_instances=16
Servizio Git
Looker è progettato per funzionare con un servizio Git per fornire la gestione delle versioni dei file LookML. Sono supportati i principali servizi di hosting Git, tra cui GitHub, GitLab e Bitbucket. I fornitori di servizi Git offrono un valore aggiunto, ad esempio una GUI per visualizzare le modifiche al codice e il supporto per flussi di lavoro come richieste di pull e approvazioni delle modifiche. Se necessario, Git può essere eseguito su un server Linux semplice.
Se un servizio di hosting Git non è appropriato per il tuo deployment a causa delle regole di sicurezza, molti di questi fornitori di servizi offrono versioni che possono essere eseguite nel tuo ambiente. GitLab, in particolare, è comunemente ospitato autonomamente e può essere utilizzato come prodotto open source senza costi di licenza o come prodotto con licenza supportato. GitHub Enterprise è disponibile come servizio in hosting autonomo ed è un prodotto commerciale supportato.
Le sezioni seguenti elencano le sfumature per i fornitori di servizi più comuni.
GitHub/GitHub Enterprise
La pagina della documentazione Configurazione e test di una connessione Git utilizza GitHub come esempio.
GitLab/gitlab.com
Per i passaggi di configurazione dettagliati per GitLab, consulta il post della community di Looker Utilizzo di GitLab per il controllo della versione in Looker. Se il repository è contenuto in sottogruppi, questi possono essere aggiunti all'URL del repository utilizzando il formato HTTPS o SSH:
https://gitlab.com/accountname/subgroup/reponame git@gitlab.com:accountname/subgroup/reponame.git
Inoltre, esistono tre modi diversi per archiviare le chiavi SSH generate da Looker in GitLab: come chiave SSH utente, come chiave di deployment del repository o come chiave di deployment condivisa globale. Una spiegazione più approfondita è disponibile nella documentazione di GitLab.
Google Cloud Origine
Per i passaggi per configurare Git con Cloud Source Repositories, consulta il post della community Utilizzo di Cloud Source Repositories per il controllo della versione in Looker.
Bitbucket Cloud
Per i passaggi per configurare Git con Bitbucket Cloud, consulta il post della community Utilizzo di Bitbucket per il controllo della versione in Looker. A partire da agosto 2021, Bitbucket Cloud non supporta i secret sui webhook di deployment.
Bitbucket Server
Per utilizzare le richieste di pull con Bitbucket Server, potrebbe essere necessario completare i seguenti passaggi:
- Quando apri una richiesta di pull, Looker utilizza automaticamente il numero di porta predefinito (7999) nell'URL. Se utilizzi un numero di porta personalizzato, dovrai sostituirlo manualmente nell'URL.
- Dovrai accedere al webhook di deployment del progetto per sincronizzare il branch di produzione in Looker con il branch principale del repository.
Phabricator diffusion
Per i passaggi relativi alla configurazione di Git con Phabricator, consulta il post della community Configurazione di Phabricator e Looker per il controllo della versione.
Rete
Connessioni in entrata
Applicazione web Looker
Per impostazione predefinita, Looker rimane in ascolto delle richieste HTTPS sulla porta 9999. Looker utilizza un certificato autofirmato con un CN di self-signed.looker.com. In alternativa, il server Looker può essere configurato per eseguire le seguenti operazioni:
- Accetta le connessioni HTTP da un bilanciatore del carico/proxy di terminazione SSL con il flag di avvio
--ssl-provided-externally-by=<s>. Il valore deve essere impostato sull'indirizzo IP del proxy o su un nome host che può essere risolto localmente nell'indirizzo IP del proxy. Looker accetterà connessioni HTTP solo da questo indirizzo IP. - Utilizza un certificato SSL fornito dal cliente con il flag di avvio
--ssl-keystore=<s>.
API Looker
L'API Looker rimane in ascolto sulla porta 19999. Se l'installazione richiede l'accesso all'API, il bilanciatore del carico deve disporre delle regole di forwarding necessarie. Si applicano le stesse considerazioni SSL dell'applicazione web principale. Ti consigliamo di utilizzare una porta diversa da quella dell'applicazione web.
Bilanciatori del carico
Un bilanciatore del carico viene spesso utilizzato per accettare una richiesta HTTPS sulla porta 443 utilizzando il certificato del cliente, quindi inoltrare la richiesta al nodo del server Looker sulla porta 9999 utilizzando il certificato autofirmato o HTTP. Se i bilanciatori del carico utilizzano il certificato autofirmato di Looker, devono essere configurati in modo da accettarlo.
Connessioni inattive e timeout
Quando un utente avvia una richiesta di grandi dimensioni in Looker, potrebbe generare una query che potrebbe essere costosa da eseguire sul database. Se l'utente abbandona la richiesta in qualsiasi modo, ad esempio chiudendo il coperchio del laptop, disconnettendosi dalla rete o chiudendo la scheda nel browser, Looker vuole saperlo e terminare la query del database.
Per gestire questa situazione, quando l'applicazione web client effettua una richiesta per eseguire una query sul database, il browser apre una connessione socket utilizzando una richiesta HTTP di lunga durata al server Looker. Questa connessione rimarrà aperta e inattiva. Questo socket verrà disconnesso se l'applicazione web client viene terminata o disconnessa in qualsiasi modo. Il server rileverà la disconnessione e annullerà tutte le query di database correlate.
I bilanciatori del carico spesso rilevano queste connessioni inattive aperte e le interrompono. Per eseguire Looker in modo efficace, il bilanciatore del carico deve essere configurato in modo da consentire a questa connessione di rimanere aperta per tutto il tempo necessario per la query più lunga che un utente potrebbe eseguire. Si consiglia un timeout di almeno 60 minuti.
Connessioni in uscita
I server Looker possono avere accesso in uscita illimitato a tutte le risorse, incluso l'internet pubblico. In questo modo, vengono semplificate molte attività, ad esempio l'installazione di Chromium, che richiede l'accesso ai Package Repository per la distribuzione Linux.
Di seguito sono riportate le connessioni in uscita che Looker potrebbe dover effettuare.
Connessione al database interno
Per impostazione predefinita, MySQL rimane in ascolto delle connessioni sulla porta 3306. I nodi Looker devono essere in grado di avviare connessioni a MySQL su questa porta. A seconda di come è ospitato il repository, potrebbe essere necessario attraversare un firewall.
Servizi esterni
I server di telemetria e licenze di Looker sono disponibili tramite HTTPS sulla rete internet pubblica. Potrebbe essere necessario aggiungere alla lista consentita il traffico da un nodo Looker a ping.looker.com:443 e license.looker.com:443.
Connessioni al data warehouse
I database ospitati nel cloud potrebbero richiedere una connessione tramite internet pubblico. Ad esempio, se utilizzi BigQuery, potrebbe essere necessario aggiungere accounts.google.com:443 e www.googleapis.com:443 a una lista consentita. Se il database si trova al di fuori della tua infrastruttura, consulta l'host del database per i dettagli della rete.
Servizi SMTP
Per impostazione predefinita, Looker invia la posta in uscita utilizzando SendGrid. Potrebbe essere necessario aggiungere smtp.sendgrid.net:587 a una lista consentita. Le impostazioni SMTP possono essere modificate nella configurazione per utilizzare anche un gestore di posta diverso.
Hub azioni, server azioni e webhook
Molte destinazioni dello scheduler, in particolare i webhook e quelle abilitate nel pannello di amministrazione di Looker, prevedono l'invio di dati tramite richieste HTTPS.
- Per i webhook, queste destinazioni vengono specificate in fase di runtime dagli utenti e potrebbero essere in contrasto con l'obiettivo di applicare un firewall alle connessioni in uscita.
- Per un hub azioni, queste richieste vengono inviate a
actions.looker.com. I dettagli sono disponibili nella nostra documentazione sulla configurazione dell'hub azioni di Looker. - Per altri server di azioni, queste richieste vengono inviate ai domini specificati nella configurazione del server di azioni dagli amministratori nel pannello di amministrazione di Looker.
Server proxy
Se non è possibile raggiungere direttamente la rete internet pubblica, Looker può essere configurato in modo da utilizzare un server proxy per le richieste HTTP(S) aggiungendo una riga simile alla seguente a lookerstart.cfg:
JAVAARGS="-Dhttp.proxyHost=myproxy.example.com -Dhttp.proxyPort=8080 -Dhttp.nonProxyHosts=127.0.0.1|localhost -Dhttps.proxyHost=myproxy.example.com -Dhttps.proxyPort=8080"
Tieni presente che le comunicazioni tra nodi avvengono tramite HTTPS, quindi se utilizzi un server proxy e la tua istanza è in cluster, in genere devi aggiungere gli IP/nomi host per tutti i nodi del cluster all'argomento Dhttp.nonProxyHosts.
Comunicazioni tra nodi
Identificatore host interno
All'interno di un cluster, ogni nodo deve essere in grado di comunicare con gli altri nodi. Per consentire ciò, il nome host o l'indirizzo IP di ogni nodo viene specificato nella configurazione di avvio. All'avvio del nodo, questo valore verrà scritto nel repository MySQL. Gli altri membri del cluster possono quindi fare riferimento a questi valori per comunicare con questo nodo. Per specificare il nome host o l'indirizzo IP nella configurazione di avvio, aggiungi -H node1.looker.example.com alla variabile di ambiente LOOKERARGS in lookerstart.cfg.
Poiché il nome host deve essere univoco per nodo, il file lookerstart.cfg deve essere univoco in ogni istanza. In alternativa all'impostazione come hardcoded del nome host o dell'indirizzo IP, è possibile utilizzare il comando hostname -I o hostname --fqdn per trovarli in fase di runtime. Per implementare questa operazione, aggiungi -H $(hostname -I) o -H $(hostname --fqdn) alla variabile di ambiente LOOKERARGS in lookerstart.cfg.
Porte interne
Oltre alle porte 9999 e 19999, utilizzate rispettivamente per i server web e server API, i nodi del cluster comunicheranno tra loro tramite un servizio message broker, che utilizza le porte 1551 e 61616. Le porte 9999 e 19999 devono essere aperte al traffico degli utenti finali, mentre le porte 1551 e 61616 devono essere aperte tra i nodi del cluster.