Looker Blocks

I Looker Blocks sono modelli dei dati predefiniti per pattern di analisi e origini dati comuni. Consentono di riutilizzare il lavoro già svolto da altri invece di partire da zero, personalizzando poi i blocchi in base alle esatte specifiche. Da pattern SQL ottimizzati a modelli dei dati completamente strutturati, i Looker Blocks possono essere un punto di partenza per una modellazione rapida e flessibile dei dati in Looker.

Puoi ottenere i blocchi da personalizzare e aggiungere alla tua istanza Looker da una serie di origini, tra cui:

  • Looker Marketplace autonomo, dove puoi sfogliare i blocchi e accedere al relativo codice sorgente.
  • Looker Marketplace accessibile dalla tua istanza Looker. Da questo Marketplace puoi sfogliare e installare i Looker Blocks, chiamati "modelli", direttamente nella tua istanza Looker. Per ulteriori informazioni sull'installazione degli strumenti da Looker Marketplace, consulta la pagina della documentazione Utilizzo di Looker Marketplace.

Tipi di Looker Blocks

I Looker Blocks offrono una serie di funzionalità, tra cui:

  • Per i blocchi di dati, che includono sia set di dati pubblici che modelli LookML completi, è necessario copiare il modello LookML da un repository GitHub per accedere alle tabelle modellate. Questi blocchi non sono personalizzabili. Per istruzioni dettagliate, consulta Uso dei blocchi di dati in questa pagina.

  • Le applicazioni di raccolta dati, come Segment e Snowplow, tengono traccia degli eventi in un formato relativamente standardizzato. Questo consente di creare pattern di progettazione modellizzati, in grado di supportare la pulizia dei dati, la trasformazione e l'analisi dei dati e disponibili per qualsiasi cliente utilizzi queste applicazioni.

  • Altre applicazioni web, come Salesforce, ti consentono di aggiungere campi personalizzati per gli utenti interni. Naturalmente, questo produce dati in un formato meno standardizzato. Ne consegue che, da parte nostra, possiamo modellizzare parte del modello dei dati per consentire l'analisi, ma sarà necessario provvedere a personalizzare la porzione non standardizzata.

  • Esistono anche blocchi per informazioni aziendali generali. Si tratta di pattern di progettazione SQL o LookML ottimizzati e indipendenti dall'origine dati. Ad esempio, molte società vogliono analizzare il lifetime value di un cliente nel corso del tempo. Questi pattern si basano su alcuni presupposti incorporati, ma possono essere personalizzati per soddisfare esigenze aziendali specifiche. I pattern riflettono il punto di vista di Looker su quale sia il modo migliore per svolgere determinati tipi di analisi.

I Looker Blocks sono sfogliabili nella directory dell'istanza pubblica di Looker Marketplace all'indirizzo marketplace.looker.com.

Installazione di un Looker Block

Per installare un Looker Block da Marketplace associato alla tua istanza Looker, segui le istruzioni per l'installazione di uno strumento da Marketplace.

Per installare un Looker Block da marketplace.looker.com, segui le istruzioni riportate nel codice sorgente del blocco.

Ogni Looker Block ha istruzioni per l'uso specifiche.

Standardizzazione e personalizzazione

Il grado di personalizzazione del blocco può dipendere dal livello di standardizzazione dello schema del database. La maggior parte dei Looker Blocks richiede un certo grado di personalizzazione per adattarsi allo schema dei dati.

Alcuni blocchi mostrano sia le esplorazioni sia le viste nello stesso file. Questo per facilitare la visualizzazione, ma in generale ti consigliamo di copiare le sezioni appropriate di LookML nei punti appropriati del modello dei dati. Per ulteriori informazioni, consulta la pagina della documentazione Tipi di file in un progetto LookML.

In alcuni casi, potrebbe essere necessario creare nuovi file LookML nel modello dei dati per ospitare gli esempi.

Uso dei blocchi di dati

I blocchi di dati sono un tipo speciale di Looker Block che fornisce sia il set di dati che il modello dei dati. I blocchi di dati includono origini dati pubbliche, tra cui:

  • Dati demografici: metriche demografiche comuni dell'American Community Survey a livello di stato, contea, codice postale e perfino di isolato.
  • Dati meteorologici: rapporti sul meteo negli Stati Uniti a livello di codice postale, dal 1920 al giorno precedente. Questo blocco viene aggiornato ogni notte.

La procedura per accedere al set di dati di un blocco di dati varia a seconda dello schema del database. Le sezioni seguenti contengono istruzioni per accedere ai set di dati su questi database:

Accesso ai set di dati su Google BigQuery

Se hai un account Google BigQuery esistente, puoi accedere ai set di dati ospitati da BigQuery di Looker. Vai alla sezione Aggiunta di blocchi di dati ai progetti in questa pagina.

Se non hai ancora un account Google BigQuery, puoi configurare una prova senza costi e poi accedere ai set di dati pubblici di Looker su BigQuery.

Accesso ai set di dati su altri database

I dati trasformati per i set di dati Amazon Redshift, MySQL, PostgreSQL o Oracle sono disponibili pubblicamente sia in Google Cloud Servizi sia in S3, in modo che tu possa importarli direttamente nel database di tua scelta.

Abbiamo anche reso disponibile il linguaggio di definizione dei dati (DDL) per ciascuno dei set di dati nel repository GitHub. Potrebbe essere necessario modificare le istruzioni DDL per i tipi di dati nel database selezionato, ma dovrebbero fornire un'idea dei tipi di colonne per ogni tabella.

Scarica i dati direttamente da una di queste località:

Accesso al modello LookML

Crea un fork di uno dei nostri repository GitHub in un nuovo repository GitHub (ospitato da Looker o dalla tua azienda) che puoi poi estendere o perfezionare all'interno della tua istanza:

Aggiunta di blocchi di dati ai progetti

Oltre al metodo descritto in questa sezione, puoi anche utilizzare i perfezionamenti LookML per basarti sul LookML di viste ed esplorazioni nei tuoi progetti.

Per aggiungere un blocco di dati al progetto:

  1. Aggiungi un nuovo progetto alla tua istanza Looker.

  2. Crea un fork o copia i repository GitHub menzionati in precedenza per accedere al LookML predefinito. Assicurati di creare un nuovo repository GitHub.

  3. Rimuovi dal repository gli altri file di dialetto del database. I Looker Blocks in genere contengono file per Google BigQuery, Amazon Redshift e Snowflake. Ad esempio, se stai configurando i data block su Google BigQuery, avrai bisogno solo dei file di vista di Google BigQuery, del file Explore di Google BigQuery e del file del modello di Google BigQuery.

  4. Sostituisci il nome della connessione nel file del modello con la connessione al database in cui si trovano i dati per i blocchi di dati. Se utilizzi Google BigQuery o Snowflake, utilizza la connessione al database da cui estenderai o perfezionerai.

    Tutta la logica di join esiste in un file .explore in ciascuno dei repository. Questo è il file che includerai nei passaggi seguenti, dopo aver configurato il file manifest del progetto.

  5. Nel progetto Looker principale in cui estenderai o perfezionerai i blocchi di dati, crea un file manifest del progetto.

  6. Aggiungi il seguente LookML al file manifest del progetto per fare riferimento ai blocchi di dati nel progetto Looker principale:

    project_name: "<your_project_name\>"

    local_dependency: {
      project: "<project_name_of_datablock\>"
    }

Considerazioni e opzioni di configurazione

Google BigQuery: assicurati di utilizzare il set corretto di file modellati. Se utilizzi Google BigQuery, ti consigliamo di fare riferimento a tutti i file con _bq_ nel nome file. Potrebbe essere necessario adattare i nostri dialetti del modello di Google BigQuery al tuo dialetto del database.

Estensioni: tutti i nostri progetti sono stati configurati per consentire le estensioni dai file di esplorazione, poiché le estensioni dei modelli potrebbero causare problemi con più connessioni.

Unione di tabelle derivate: ti consigliamo di consultare la nostra documentazione per le tabelle derivate native. Puoi lasciare che Looker scriva SQL per te a diversi livelli di aggregazione sui nostri set di dati disponibili pubblicamente e unirli al tuo modello.

Unione di set di risultati: puoi anche scegliere di unire i set di risultati dei nostri set di dati con i tuoi dati combinando i set di risultati delle query.

Esempio di configurazione del set di dati demografici

  1. Accedi ai dati scaricando i dati non elaborati dai nostri bucket S3 o Google Cloud Servizi oppure connettendoti a un database Looker.

  2. Importa il modello Blocco di dati demografici da LookML come progetto separato nella tua istanza Looker.

  3. Utilizza il parametro include per inserire il file di vista.

  4. Quindi estendi o perfeziona il file di vista oppure utilizza le tabelle derivate native per ottenere i dati al livello di aggregazione necessario per le esplorazioni.

    Nel nostro esempio, poiché i dati demografici si trovano a un livello di aggregazione diverso rispetto al nostro set di dati di e-commerce (gruppo di isolati rispetto al codice postale), utilizziamo le tabelle derivate integrate per aggregare le statistiche a livello di codice postale. In questo modo si eliminano le unioni molti-a-molti complesse:

      include: "/american_community_survey/bq.explore"

  view: zipcode_income_facts {
    derived_table: {
      persist_for: "10000 hours"
      explore_source: fast_facts {
        column: ZCTA5 { field: tract_zcta_map.ZCTA5 }
        column: income_household { field: bg_facts.avg_income_house }
        column: total_population { field: bg_facts.total_population }
      }
    }
    dimension: ZCTA5 {}
    dimension: income_household {
      hidden: yes
    }

  5. Unisci i file di visualizzazione nel modello:

      include: "acs*.view"

  explore: order_items {
    join: users {
      sql_on: ${users.id} = ${order_items.user_id} ;;
      type: left_outer
      relationship: many_to_one
    }

    join: zipcode_income_facts {
      sql_on: ${users.zip} = ${zipcode_income_facts.ZCTA5} ;;
      type: left_outer
      relationship: many_to_one
    }
  }

  6. Esplora e visualize i dati.