Menjalankan DAG Analisis Data di Google Cloud menggunakan data dari AWS

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Tutorial ini adalah modifikasi dari Menjalankan DAG Analisis Data di Google Cloud yang menunjukkan cara menghubungkan lingkungan Managed Airflow Anda ke Amazon Web Services untuk memanfaatkan data yang disimpan di sana. Tutorial ini menunjukkan cara menggunakan Managed Airflow untuk membuat DAG Apache Airflow. DAG ini menggabungkan data dari set data publik BigQuery dan file CSV yang disimpan di bucket Amazon Web Services (AWS) S3, lalu menjalankan tugas batch Managed Service untuk Apache Spark untuk memproses data gabungan.

Set data publik BigQuery dalam tutorial ini adalah ghcn_d, database terintegrasi ringkasan iklim di seluruh dunia. File CSV berisi informasi tentang tanggal dan nama hari libur di Amerika Serikat dari tahun 1997 hingga 2021.

Pertanyaan yang ingin kami jawab menggunakan DAG adalah: "Seberapa hangat suhu di Chicago pada hari Thanksgiving selama 25 tahun terakhir?"

Tujuan

  • Membuat lingkungan Managed Airflow dalam konfigurasi default
  • Membuat bucket di AWS S3
  • Membuat set data BigQuery kosong
  • Membuat bucket Cloud Storage baru
  • Membuat dan menjalankan DAG yang mencakup tugas berikut:
    • Memuat set data eksternal dari S3 ke Cloud Storage
    • Memuat set data eksternal dari Cloud Storage ke BigQuery
    • Menggabungkan dua set data di BigQuery
    • Menjalankan tugas PySpark analisis data

Sebelum memulai

Mengelola izin di AWS

  1. Buat akun AWS.

  2. Ikuti bagian "Membuat kebijakan dengan editor visual" dari tutorial AWS Membuat Kebijakan IAM untuk membuat kebijakan IAM yang disesuaikan untuk AWS S3 dengan konfigurasi berikut:

    • Layanan: S3
    • ListAllMyBuckets (s3:ListAllMyBuckets), untuk melihat bucket S3 Anda
    • CreateBucket (s3:CreateBucket), untuk membuat bucket
    • PutBucketOwnershipControls (s3:PutBucketOwnershipControls), untuk membuat bucket
    • ListBucket (s3:ListBucket), untuk memberikan izin mencantumkan objek di bucket S3
    • PutObject (s3:PutObject), untuk mengupload file ke bucket
    • GetBucketVersioning (s3:GetBucketVersioning), untuk menghapus objek di bucket
    • DeleteObject (s3:DeleteObject), untuk menghapus objek di bucket
    • ListBucketVersions (s3:ListBucketVersions), untuk menghapus bucket
    • DeleteBucket (s3:DeleteBucket), untuk menghapus bucket
    • Resource: Pilih "Any" di samping "bucket" dan "object" untuk memberikan izin ke resource jenis tersebut.
    • Tag: Tidak ada
    • Nama: TutorialPolicy

    Lihat daftar tindakan yang didukung di Amazon S3 untuk mengetahui informasi selengkapnya tentang setiap konfigurasi.

  3. Tambahkan kebijakan IAM TutorialPolicy ke identitas Anda.

Mengaktifkan API

Aktifkan API berikut:

Konsol

Aktifkan Managed Service untuk Apache Spark, Managed Airflow, BigQuery, Cloud Storage API.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

Aktifkan API

gcloud

Aktifkan Managed Service untuk Apache Spark, Managed Airflow, BigQuery, Cloud Storage API:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran. 

gcloud services enable dataproc.googleapis.com  composer.googleapis.com  bigquery.googleapis.com  storage.googleapis.com

Memberikan izin

Berikan peran dan izin berikut ke akun pengguna Anda:

Membuat dan menyiapkan lingkungan Managed Airflow

  1. Buat lingkungan Managed Airflow dengan parameter default:

    • Pilih region berbasis Amerika Serikat.
    • Pilih versi Managed Airflow terbaru.

  2. Berikan peran berikut ke akun layanan yang digunakan di lingkungan Managed Airflow Anda agar worker Airflow dapat menjalankan tugas DAG dengan berhasil:

    • BigQuery User (roles/bigquery.user)
    • BigQuery Data Owner (roles/bigquery.dataOwner)
    • Service Account User (roles/iam.serviceAccountUser)
    • Dataproc Editor (roles/dataproc.editor)
    • Dataproc Worker (roles/dataproc.worker)

Membuat dan mengubah resource terkait di Google Cloud

  1. Instal paket apache-airflow-providers-amazon PyPI di lingkungan Managed Airflow Anda.

  2. Buat set data BigQuery kosong dengan parameter berikut:

    • Nama: holiday_weather
    • Region: US

  3. Buat bucket Cloud Storage baru di multiregion US.

  4. Jalankan perintah berikut untuk mengaktifkan Akses Google Pribadi di subnet default di region tempat Anda ingin menjalankan Managed Service untuk Apache Spark guna memenuhi persyaratan jaringan. Sebaiknya gunakan region yang sama dengan lingkungan Managed Airflow Anda.

    gcloud compute networks subnets update default \
    --region DATAPROC_SERVERLESS_REGION \
    --enable-private-ip-google-access

Membuat resource terkait di AWS

Buat bucket S3 dengan setelan default di region pilihan Anda.

Menghubungkan ke AWS dari Managed Airflow

  1. Dapatkan ID kunci akses AWS dan kunci akses rahasia Anda

  2. Tambahkan koneksi AWS S3 Anda menggunakan UI Airflow:

    1. Buka Admin > Connections.

    2. Buat koneksi baru dengan konfigurasi berikut:

      • Connection Id: aws_s3_connection
      • Connection Type: Amazon S3
      • Extras (or Extra Fields JSON): {"aws_access_key_id":"your_aws_access_key_id", "aws_secret_access_key": "your_aws_secret_access_key"}

Pemrosesan data menggunakan Managed Service untuk Apache Spark

Bagian ini menjelaskan cara memproses data dengan Managed Service untuk Apache Spark.

Mempelajari Contoh Tugas PySpark

Kode yang ditampilkan di bawah adalah contoh tugas PySpark yang mengonversi suhu dari persepuluh derajat Celsius menjadi derajat Celsius. Tugas ini mengonversi data suhu dari set data ke format yang berbeda.

import sys


from py4j.protocol import Py4JJavaError
from pyspark.sql import SparkSession
from pyspark.sql.functions import col


if __name__ == "__main__":
    BUCKET_NAME = sys.argv[1]
    READ_TABLE = sys.argv[2]
    WRITE_TABLE = sys.argv[3]

    # Create a SparkSession, viewable via the Spark UI
    spark = SparkSession.builder.appName("data_processing").getOrCreate()

    # Load data into dataframe if READ_TABLE exists
    try:
        df = spark.read.format("bigquery").load(READ_TABLE)
    except Py4JJavaError as e:
        raise Exception(f"Error reading {READ_TABLE}") from e

    # Convert temperature from tenths of a degree in celsius to degrees celsius
    df = df.withColumn("value", col("value") / 10)
    # Display sample of rows
    df.show(n=20)

    # Write results to GCS
    if "--dry-run" in sys.argv:
        print("Data will not be uploaded to BigQuery")
    else:
        # Set GCS temp location
        temp_path = BUCKET_NAME

        # Saving the data to BigQuery using the "indirect path" method and the spark-bigquery connector
        # Uses the "overwrite" SaveMode to ensure DAG doesn't fail when being re-run
        # See https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html#save-modes
        # for other save mode options
        df.write.format("bigquery").option("temporaryGcsBucket", temp_path).mode(
            "overwrite"
        ).save(WRITE_TABLE)
        print("Data written to BigQuery")

Mengupload file PySpark ke Cloud Storage

Untuk mengupload file PySpark ke Cloud Storage:

  1. Simpan data_analytics_process.py ke komputer lokal Anda.

  2. Di Google Cloud konsol, buka halaman Browser Cloud Storage:

    Buka browser Cloud Storage

  3. Klik nama bucket yang Anda buat sebelumnya.

  4. Di tab Objects untuk bucket, klik tombol Upload files , pilih data_analytics_process.py dalam dialog yang muncul, lalu klik Open.

Mengupload file CSV ke AWS S3

Untuk mengupload file holidays.csv:

  1. Simpan holidays.csv di komputer lokal Anda.
  2. Ikuti panduan AWS untuk mengupload file ke bucket Anda.

DAG analisis data

Bagian ini menjelaskan cara mengonfigurasi dan menggunakan DAG analisis data.

Mempelajari contoh DAG

DAG menggunakan beberapa operator untuk mengubah dan menyatukan data:

import datetime

from airflow import models
from airflow.providers.google.cloud.operators import dataproc
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import (
    GCSToBigQueryOperator,
)
from airflow.providers.google.cloud.transfers.s3_to_gcs import S3ToGCSOperator
from airflow.utils.task_group import TaskGroup

PROJECT_NAME = "{{var.value.gcp_project}}"
REGION = "{{var.value.gce_region}}"

# BigQuery configs
BQ_DESTINATION_DATASET_NAME = "holiday_weather"
BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
BQ_NORMALIZED_TABLE_NAME = "holidays_weather_normalized"

# Dataproc configs
BUCKET_NAME = "{{var.value.gcs_bucket}}"
PYSPARK_JAR = "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"
PROCESSING_PYTHON_FILE = f"gs://{BUCKET_NAME}/data_analytics_process.py"

# S3 configs
S3_BUCKET_NAME = "{{var.value.s3_bucket}}"

BATCH_ID = "data-processing-{{ ts_nodash | lower}}"  # Dataproc serverless only allows lowercase characters
BATCH_CONFIG = {
    "pyspark_batch": {
        "jar_file_uris": [PYSPARK_JAR],
        "main_python_file_uri": PROCESSING_PYTHON_FILE,
        "args": [
            BUCKET_NAME,
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_DESTINATION_TABLE_NAME}",
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_NORMALIZED_TABLE_NAME}",
        ],
    },
    "environment_config": {
        "execution_config": {
            "service_account": "{{var.value.dataproc_service_account}}"
        }
    },
}

yesterday = datetime.datetime.combine(
    datetime.datetime.today() - datetime.timedelta(1), datetime.datetime.min.time()
)

default_dag_args = {
    # Setting start date as yesterday starts the DAG immediately when it is
    # detected in the Cloud Storage bucket.
    "start_date": yesterday,
    # To email on failure or retry set 'email' arg to your email and enable
    # emailing here.
    "email_on_failure": False,
    "email_on_retry": False,
}

with models.DAG(
    "s3_to_gcs_dag",
    # Continue to run DAG once per day
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    s3_to_gcs_op = S3ToGCSOperator(
        task_id="s3_to_gcs",
        bucket=S3_BUCKET_NAME,
        gcp_conn_id="google_cloud_default",
        aws_conn_id="aws_s3_connection",
        dest_gcs=f"gs://{BUCKET_NAME}",
    )

    create_batch = dataproc.DataprocCreateBatchOperator(
        task_id="create_batch",
        project_id=PROJECT_NAME,
        region=REGION,
        batch=BATCH_CONFIG,
        batch_id=BATCH_ID,
    )

    load_external_dataset = GCSToBigQueryOperator(
        task_id="run_bq_external_ingestion",
        bucket=BUCKET_NAME,
        source_objects=["holidays.csv"],
        destination_project_dataset_table=f"{BQ_DESTINATION_DATASET_NAME}.holidays",
        source_format="CSV",
        schema_fields=[
            {"name": "Date", "type": "DATE"},
            {"name": "Holiday", "type": "STRING"},
        ],
        skip_leading_rows=1,
        write_disposition="WRITE_TRUNCATE",
    )

    with TaskGroup("join_bq_datasets") as bq_join_group:
        for year in range(1997, 2022):
            BQ_DATASET_NAME = f"bigquery-public-data.ghcn_d.ghcnd_{str(year)}"
            BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
            # Specifically query a Chicago weather station
            WEATHER_HOLIDAYS_JOIN_QUERY = f"""
            SELECT Holidays.Date, Holiday, id, element, value
            FROM `{PROJECT_NAME}.holiday_weather.holidays` AS Holidays
            JOIN (SELECT id, date, element, value FROM {BQ_DATASET_NAME} AS Table
            WHERE Table.element="TMAX" AND Table.id="USW00094846") AS Weather
            ON Holidays.Date = Weather.Date;
            """

            # For demo purposes we are using WRITE_APPEND
            # but if you run the DAG repeatedly it will continue to append
            # Your use case may be different, see the Job docs
            # https://cloud.google.com/bigquery/docs/reference/rest/v2/Job
            # for alternative values for the writeDisposition
            # or consider using partitioned tables
            # https://cloud.google.com/bigquery/docs/partitioned-tables
            bq_join_holidays_weather_data = BigQueryInsertJobOperator(
                task_id=f"bq_join_holidays_weather_data_{str(year)}",
                configuration={
                    "query": {
                        "query": WEATHER_HOLIDAYS_JOIN_QUERY,
                        "useLegacySql": False,
                        "destinationTable": {
                            "projectId": PROJECT_NAME,
                            "datasetId": BQ_DESTINATION_DATASET_NAME,
                            "tableId": BQ_DESTINATION_TABLE_NAME,
                        },
                        "writeDisposition": "WRITE_APPEND",
                    }
                },
                location="US",
            )

        s3_to_gcs_op >> load_external_dataset >> bq_join_group >> create_batch

Menggunakan UI Airflow untuk menambahkan variabel

Di Airflow, variabel adalah cara universal untuk menyimpan dan mengambil setelan atau konfigurasi arbitrer sebagai penyimpanan nilai kunci sederhana. DAG ini menggunakan variabel Airflow untuk menyimpan nilai umum. Untuk menambahkannya ke lingkungan Anda:

  1. Akses UI Airflow dari Google Cloud konsol.

  2. Buka Admin > Variables.

  3. Tambahkan variabel berikut:

    • s3_bucket: nama bucket S3 yang Anda buat sebelumnya.

    • gcp_project: project ID Anda.

    • gcs_bucket: nama bucket yang Anda buat sebelumnya (tanpa awalan gs://).

    • gce_region: region tempat Anda ingin menjalankan tugas Managed Service untuk Apache Spark yang memenuhi persyaratan jaringan Managed Service untuk Apache Spark . Ini adalah region tempat Anda mengaktifkan Akses Google Pribadi sebelumnya.

    • dataproc_service_account: akun layanan untuk lingkungan Managed Airflow Anda. Anda dapat menemukan akun layanan ini di tab konfigurasi lingkungan untuk lingkungan Managed Airflow Anda.

Mengupload DAG ke bucket lingkungan Anda

Managed Airflow menjadwalkan DAG yang berada di folder /dags di bucket lingkungan Anda. Untuk mengupload DAG menggunakan Google Cloud konsol:

  1. Di komputer lokal Anda, simpan s3togcsoperator_tutorial.py.

  2. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  3. Dalam daftar lingkungan, di kolom DAG folder , klik link DAGs. Folder DAG lingkungan Anda akan terbuka.

  4. Klik Upload files.

  5. Pilih s3togcsoperator_tutorial.py di komputer lokal Anda, lalu klik Open.

Memicu DAG

  1. Di lingkungan Managed Airflow Anda, klik tab DAGs.

  2. Klik DAG ID s3_to_gcs_dag.

  3. Klik Trigger DAG.

  4. Tunggu sekitar lima hingga sepuluh menit hingga Anda melihat tanda centang hijau yang menunjukkan bahwa tugas telah berhasil diselesaikan.

Memvalidasi keberhasilan DAG

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik nama project Anda.

  3. Klik holidays_weather_joined.

  4. Klik preview untuk melihat tabel hasil. Perhatikan bahwa angka di kolom nilai dalam persepuluh derajat Celsius.

  5. Klik holidays_weather_normalized.

  6. Klik preview untuk melihat tabel hasil. Perhatikan bahwa angka di kolom nilai dalam derajat Celsius.

Pembersihan

Hapus setiap resource yang Anda buat untuk tutorial ini:

Langkah berikutnya