Modello SequenceFile di Cloud Storage a Bigtable

Il modello Cloud Storage SequenceFile to Bigtable è una pipeline che legge i dati dai file SequenceFile in un bucket Cloud Storage e scrive i dati in una tabella Bigtable. Puoi utilizzare il modello per copiare i dati da Cloud Storage a Bigtable.

Requisiti della pipeline

  • La tabella Bigtable deve esistere.
  • I file SequenceFile di input devono esistere in un bucket Cloud Storage prima dell'esecuzione della pipeline.
  • I file SequenceFile di input devono essere stati esportati da Bigtable o HBase.

Parametri del modello

Parametri obbligatori

  • bigtableProject: l'ID del progetto Google Cloud che contiene l'istanza Bigtable in cui vuoi scrivere i dati.
  • bigtableInstanceId: l'ID dell'istanza Bigtable che contiene la tabella.
  • bigtableTableId: l'ID della tabella Bigtable da importare.
  • sourcePattern: il pattern del percorso Cloud Storage della posizione dei dati. Ad esempio, gs://your-bucket/your-path/prefix*.

Parametri facoltativi

  • bigtableAppProfileId: l'ID del profilo applicazione Bigtable da utilizzare per l'importazione. Se non specifichi un profilo applicazione, Bigtable utilizza il profilo applicazione predefinito dell'istanza (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile).
  • mutationThrottleLatencyMs: facoltativo. Imposta la limitazione della latenza delle mutazioni (attiva la funzionalità). Valore in millisecondi. Il valore predefinito è 0.

Esegui il modello

Console

  1. Vai alla pagina Crea job da modello di Dataflow.
    2. Vai a Crea job da modello
  2. Nel campo Nome job, inserisci un nome job univoco.
  3. (Facoltativo) Per Endpoint regionale, seleziona un valore dal menu a discesa. La regione predefinita è us-central1.

    Per un elenco delle regioni in cui puoi eseguire un job Dataflow, consulta Località di Dataflow.

  4. Dal menu a discesa Modello Dataflow, seleziona il modello File SequenceFile su Cloud Storage in Cloud Bigtable.
  5. Inserisci i valori dei parametri nei campi dei parametri forniti.
  6. Fai clic su Esegui job.

gcloud

Esegui il modello nella shell o nel terminale:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

Sostituisci quanto segue:

  • JOB_NAME: un nome job univoco a tua scelta
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • REGION_NAME: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • BIGTABLE_PROJECT_ID: l'ID del Google Cloud progetto dell'istanza Bigtable da cui vuoi leggere i dati
  • INSTANCE_ID: l'ID dell'istanza Bigtable che contiene la tabella
  • TABLE_ID: l'ID della tabella Bigtable da esportare
  • APPLICATION_PROFILE_ID: l'ID del profilo applicazione Bigtable da utilizzare per l'esportazione
  • SOURCE_PATTERN: il pattern del percorso Cloud Storage in cui si trovano i dati, ad esempio gs://mybucket/somefolder/prefix*

API

Per eseguire il modello utilizzando l'API REST, invia una richiesta HTTP POST. Per saperne di più sull' API e sui suoi ambiti di autorizzazione, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto in cui vuoi eseguire il job Dataflow Google Cloud
  • JOB_NAME: un nome job univoco a tua scelta
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • LOCATION: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • BIGTABLE_PROJECT_ID: l'ID del Google Cloud progetto dell'istanza Bigtable da cui vuoi leggere i dati
  • INSTANCE_ID: l'ID dell'istanza Bigtable che contiene la tabella
  • TABLE_ID: l'ID della tabella Bigtable da esportare
  • APPLICATION_PROFILE_ID: l'ID del profilo applicazione Bigtable da utilizzare per l'esportazione
  • SOURCE_PATTERN: il pattern del percorso Cloud Storage in cui si trovano i dati, ad esempio gs://mybucket/somefolder/prefix*

Passaggi successivi