הפעלת DAG של ניתוח נתונים ב-Google Cloud באמצעות נתונים מ-AWS

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

המדריך הזה הוא גרסה שונה של המדריך Run a Data Analytics DAG in Google Cloud. במדריך הזה מוסבר איך לקשר את סביבת Managed Airflow ל-Amazon Web Services כדי להשתמש בנתונים שמאוחסנים שם. במדריך הזה נסביר איך להשתמש ב-Managed Airflow כדי ליצור DAG של Apache Airflow. ה-DAG מצטרף לנתונים ממערך נתונים ציבורי של BigQuery ומקובץ CSV שמאוחסן בקטגוריה של Amazon Web Services (AWS) S3, ואז מריץ משימת אצווה של Managed Service for Apache Spark כדי לעבד את הנתונים שצורפו.

מערך הנתונים הציבורי של BigQuery במדריך הזה הוא ghcn_d, מסד נתונים משולב של סיכומי אקלים ברחבי העולם. קובץ ה-CSV מכיל מידע על התאריכים והשמות של חגים בארה"ב משנת 1997 עד 2021.

השאלה שאנחנו רוצים לענות עליה באמצעות ה-DAG היא: "מה הייתה הטמפרטורה בשיקגו בחג ההודיה ב-25 השנים האחרונות?"

מטרות

  • יצירת סביבת Managed Airflow בהגדרת ברירת המחדל
  • יצירת קטגוריה ב-AWS S3
  • יצירת מערך נתונים ריק ב-BigQuery
  • יצירת קטגוריה של Cloud Storage
  • יוצרים ומריצים DAG שכולל את המשימות הבאות:
    • טעינת מערך נתונים חיצוני מ-S3 ל-Cloud Storage
    • טעינת מערך נתונים חיצוני מ-Cloud Storage ל-BigQuery
    • צירוף של שני מערכי נתונים ב-BigQuery
    • הרצת משימת ניתוח נתונים ב-PySpark

לפני שמתחילים

ניהול הרשאות ב-AWS

  1. יוצרים חשבון AWS.

  2. פועלים לפי ההוראות שבקטע 'יצירת מדיניות באמצעות כלי העריכה החזותי' במדריך יצירת מדיניות IAM ב-AWS כדי ליצור מדיניות IAM מותאמת אישית ל-AWS S3 עם ההגדרה הבאה:

    • שירות: S3
    • ‫ListAllMyBuckets ‏ (s3:ListAllMyBuckets), לצפייה בקטגוריית S3
    • ‫CreateBucket (s3:CreateBucket), ליצירת קטגוריה
    • ‫PutBucketOwnershipControls ‏ (s3:PutBucketOwnershipControls), ליצירת קטגוריה
    • ‫ListBucket ‏ (s3:ListBucket), למתן הרשאה להצגת רשימה של אובייקטים בקטגוריית S3
    • ‫PutObject ‏ (s3:PutObject), להעלאת קבצים לקטגוריה
    • ‫GetBucketVersioning ‏ (s3:GetBucketVersioning), למחיקת אובייקט בקטגוריה
    • ‫DeleteObject ‏ (s3:DeleteObject), למחיקת אובייקט בדלי
    • ‫ListBucketVersions (s3:ListBucketVersions), למחיקת קטגוריה
    • ‫DeleteBucket (s3:DeleteBucket), למחיקת קטגוריה
    • משאבים: בוחרים באפשרות 'כל' לצד 'מאגר' ו'אובייקט' כדי להעניק הרשאות לכל המשאבים מהסוג הזה.
    • תג: ללא
    • שם: TutorialPolicy

    למידע נוסף על כל הגדרה, אפשר לעיין ברשימת הפעולות שנתמכות ב-Amazon S3.

  3. מוסיפים את מדיניות ה-IAM‏ TutorialPolicy לזהות.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API הבאים:

המסוף

מפעילים את ממשקי ה-API של Managed Service for Apache Spark,‏ Managed Airflow,‏ BigQuery ו-Cloud Storage.

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

הפעלת ממשקי ה-API

gcloud

מפעילים את ממשקי ה-API של Managed Service for Apache Spark,‏ Managed Airflow,‏ BigQuery ו-Cloud Storage:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים 

gcloud services enable dataproc.googleapis.com  composer.googleapis.com  bigquery.googleapis.com  storage.googleapis.com

מתן הרשאות

מקצים לחשבון המשתמש את התפקידים וההרשאות הבאים:

יצירה והכנה של סביבת Managed Airflow

  1. יצירת סביבת Managed Airflow עם פרמטרים שמוגדרים כברירת מחדל:

  2. כדי שעובדי Airflow יוכלו להריץ בהצלחה משימות DAG, צריך להקצות לחשבון השירות שבו משתמשים בסביבת Airflow המנוהלת את התפקידים הבאים:

    • BigQuery User (roles/bigquery.user)
    • בעלים של נתונים ב-BigQuery (roles/bigquery.dataOwner)
    • משתמש בחשבון שירות (roles/iam.serviceAccountUser)
    • Dataproc Editor (roles/dataproc.editor)
    • ‫Dataproc Worker (roles/dataproc.worker)

יצירה ושינוי של משאבים קשורים ב- Google Cloud

  1. מתקינים את apache-airflow-providers-amazon PyPI package בסביבת Managed Airflow.

  2. יוצרים מערך נתונים ריק ב-BigQuery עם הפרמטרים הבאים:

    • Name (שם): holiday_weather
    • אזור: US

  3. יוצרים קטגוריה חדשה של Cloud Storage US במספר אזורים.

  4. מריצים את הפקודה הבאה כדי להפעיל גישה פרטית ל-Google ברשת המשנה שמוגדרת כברירת מחדל באזור שבו רוצים להריץ את Managed Service for Apache Spark כדי לעמוד בדרישות הרשת. מומלץ להשתמש באותו אזור שבו נמצא סביבת Managed Airflow.

    gcloud compute networks subnets update default \
    --region DATAPROC_SERVERLESS_REGION \
    --enable-private-ip-google-access

יצירת משאבים קשורים ב-AWS

יוצרים קטגוריית S3 עם הגדרות ברירת מחדל באזור המועדף.

התחברות ל-AWS מ-Managed Airflow

  1. איך מקבלים את מזהה מפתח הגישה ואת מפתח הגישה הסודי של AWS

  2. מוסיפים את החיבור ל-AWS S3 באמצעות ממשק המשתמש של Airflow:

    1. עוברים אל ניהול > קישורים.

    2. יוצרים חיבור חדש עם ההגדרות הבאות:

      • מזהה החיבור: aws_s3_connection
      • סוג החיבור: Amazon S3
      • נתונים נוספים (או JSON של שדות נוספים): {"aws_access_key_id":"your_aws_access_key_id", "aws_secret_access_key": "your_aws_secret_access_key"}

עיבוד נתונים באמצעות Managed Service for Apache Spark

בקטע הזה מתואר עיבוד נתונים באמצעות Managed Service for Apache Spark.

דוגמה לעבודת PySpark

הקוד שמוצג בהמשך הוא דוגמה לעבודת PySpark שממירה טמפרטורה ממעלות צלזיוס חלקי 10 למעלות צלזיוס. העבודה הזו ממירה נתוני טמפרטורה ממערך הנתונים לפורמט אחר.

import sys


from py4j.protocol import Py4JJavaError
from pyspark.sql import SparkSession
from pyspark.sql.functions import col


if __name__ == "__main__":
    BUCKET_NAME = sys.argv[1]
    READ_TABLE = sys.argv[2]
    WRITE_TABLE = sys.argv[3]

    # Create a SparkSession, viewable via the Spark UI
    spark = SparkSession.builder.appName("data_processing").getOrCreate()

    # Load data into dataframe if READ_TABLE exists
    try:
        df = spark.read.format("bigquery").load(READ_TABLE)
    except Py4JJavaError as e:
        raise Exception(f"Error reading {READ_TABLE}") from e

    # Convert temperature from tenths of a degree in celsius to degrees celsius
    df = df.withColumn("value", col("value") / 10)
    # Display sample of rows
    df.show(n=20)

    # Write results to GCS
    if "--dry-run" in sys.argv:
        print("Data will not be uploaded to BigQuery")
    else:
        # Set GCS temp location
        temp_path = BUCKET_NAME

        # Saving the data to BigQuery using the "indirect path" method and the spark-bigquery connector
        # Uses the "overwrite" SaveMode to ensure DAG doesn't fail when being re-run
        # See https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html#save-modes
        # for other save mode options
        df.write.format("bigquery").option("temporaryGcsBucket", temp_path).mode(
            "overwrite"
        ).save(WRITE_TABLE)
        print("Data written to BigQuery")

העלאת קובץ PySpark ל-Cloud Storage

כדי להעלות את קובץ PySpark ל-Cloud Storage:

  1. שומרים את data_analytics_process.py במחשב המקומי.

  2. במסוף Google Cloud , עוברים לדף Cloud Storage browser:

    כניסה לדף Cloud Storage browser

  3. לוחצים על שם הקטגוריה שיצרתם קודם.

  4. בכרטיסייה Objects של הדלי, לוחצים על הלחצן Upload files, בוחרים את הקובץ data_analytics_process.py בתיבת הדו-שיח שמופיעה ולוחצים על Open.

העלאת קובץ ה-CSV ל-AWS S3

כדי להעלות את הקובץ holidays.csv:

  1. שומרים את holidays.csv במחשב המקומי.
  2. פועלים לפי המדריך של AWS כדי להעלות את הקובץ ל-bucket.

DAG של ניתוח נתונים

בקטע הזה מוסבר איך להגדיר את ה-DAG של ניתוח הנתונים ואיך להשתמש בו.

עיון בדוגמה ל-DAG

ה-DAG משתמש בכמה אופרטורים כדי לשנות את הנתונים ולאחד אותם:

  • ‫S3ToGCSOperator מעביר את הקובץ holidays.csv מהקטגוריה של AWS S3 לקטגוריה של Cloud Storage.

  • הפעולה GCSToBigQueryOperator מעכלת את הקובץ holidays.csv מ-Cloud Storage לטבלה חדשה במערך הנתונים holidays_weather של BigQuery שיצרתם קודם.

  • ‫DataprocCreateBatchOperator יוצר ומריץ משימת PySpark באצווה באמצעות Managed Service for Apache Spark.

  • הפונקציה BigQueryInsertJobOperator מצטרפת לנתונים מ-holidays.csv בעמודה Date עם נתוני מזג האוויר ממערך הנתונים הציבורי של BigQuery‏ ghcn_d. המשימות BigQueryInsertJobOperator נוצרות באופן דינמי באמצעות לולאת for, והמשימות האלה נמצאות ב-TaskGroup כדי לשפר את הקריאות בתצוגת הגרף של ממשק המשתמש של Airflow.

import datetime

from airflow import models
from airflow.providers.google.cloud.operators import dataproc
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import (
    GCSToBigQueryOperator,
)
from airflow.providers.google.cloud.transfers.s3_to_gcs import S3ToGCSOperator
from airflow.utils.task_group import TaskGroup

PROJECT_NAME = "{{var.value.gcp_project}}"
REGION = "{{var.value.gce_region}}"

# BigQuery configs
BQ_DESTINATION_DATASET_NAME = "holiday_weather"
BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
BQ_NORMALIZED_TABLE_NAME = "holidays_weather_normalized"

# Dataproc configs
BUCKET_NAME = "{{var.value.gcs_bucket}}"
PYSPARK_JAR = "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"
PROCESSING_PYTHON_FILE = f"gs://{BUCKET_NAME}/data_analytics_process.py"

# S3 configs
S3_BUCKET_NAME = "{{var.value.s3_bucket}}"

BATCH_ID = "data-processing-{{ ts_nodash | lower}}"  # Dataproc serverless only allows lowercase characters
BATCH_CONFIG = {
    "pyspark_batch": {
        "jar_file_uris": [PYSPARK_JAR],
        "main_python_file_uri": PROCESSING_PYTHON_FILE,
        "args": [
            BUCKET_NAME,
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_DESTINATION_TABLE_NAME}",
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_NORMALIZED_TABLE_NAME}",
        ],
    },
    "environment_config": {
        "execution_config": {
            "service_account": "{{var.value.dataproc_service_account}}"
        }
    },
}

yesterday = datetime.datetime.combine(
    datetime.datetime.today() - datetime.timedelta(1), datetime.datetime.min.time()
)

default_dag_args = {
    # Setting start date as yesterday starts the DAG immediately when it is
    # detected in the Cloud Storage bucket.
    "start_date": yesterday,
    # To email on failure or retry set 'email' arg to your email and enable
    # emailing here.
    "email_on_failure": False,
    "email_on_retry": False,
}

with models.DAG(
    "s3_to_gcs_dag",
    # Continue to run DAG once per day
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    s3_to_gcs_op = S3ToGCSOperator(
        task_id="s3_to_gcs",
        bucket=S3_BUCKET_NAME,
        gcp_conn_id="google_cloud_default",
        aws_conn_id="aws_s3_connection",
        dest_gcs=f"gs://{BUCKET_NAME}",
    )

    create_batch = dataproc.DataprocCreateBatchOperator(
        task_id="create_batch",
        project_id=PROJECT_NAME,
        region=REGION,
        batch=BATCH_CONFIG,
        batch_id=BATCH_ID,
    )

    load_external_dataset = GCSToBigQueryOperator(
        task_id="run_bq_external_ingestion",
        bucket=BUCKET_NAME,
        source_objects=["holidays.csv"],
        destination_project_dataset_table=f"{BQ_DESTINATION_DATASET_NAME}.holidays",
        source_format="CSV",
        schema_fields=[
            {"name": "Date", "type": "DATE"},
            {"name": "Holiday", "type": "STRING"},
        ],
        skip_leading_rows=1,
        write_disposition="WRITE_TRUNCATE",
    )

    with TaskGroup("join_bq_datasets") as bq_join_group:
        for year in range(1997, 2022):
            BQ_DATASET_NAME = f"bigquery-public-data.ghcn_d.ghcnd_{str(year)}"
            BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
            # Specifically query a Chicago weather station
            WEATHER_HOLIDAYS_JOIN_QUERY = f"""
            SELECT Holidays.Date, Holiday, id, element, value
            FROM `{PROJECT_NAME}.holiday_weather.holidays` AS Holidays
            JOIN (SELECT id, date, element, value FROM {BQ_DATASET_NAME} AS Table
            WHERE Table.element="TMAX" AND Table.id="USW00094846") AS Weather
            ON Holidays.Date = Weather.Date;
            """

            # For demo purposes we are using WRITE_APPEND
            # but if you run the DAG repeatedly it will continue to append
            # Your use case may be different, see the Job docs
            # https://cloud.google.com/bigquery/docs/reference/rest/v2/Job
            # for alternative values for the writeDisposition
            # or consider using partitioned tables
            # https://cloud.google.com/bigquery/docs/partitioned-tables
            bq_join_holidays_weather_data = BigQueryInsertJobOperator(
                task_id=f"bq_join_holidays_weather_data_{str(year)}",
                configuration={
                    "query": {
                        "query": WEATHER_HOLIDAYS_JOIN_QUERY,
                        "useLegacySql": False,
                        "destinationTable": {
                            "projectId": PROJECT_NAME,
                            "datasetId": BQ_DESTINATION_DATASET_NAME,
                            "tableId": BQ_DESTINATION_TABLE_NAME,
                        },
                        "writeDisposition": "WRITE_APPEND",
                    }
                },
                location="US",
            )

        s3_to_gcs_op >> load_external_dataset >> bq_join_group >> create_batch

שימוש בממשק המשתמש של Airflow כדי להוסיף משתנים

ב-Airflow, משתנים הם דרך אוניברסלית לאחסון ולאחזור של הגדרות או תצורות שרירותיות כמאגר פשוט של זוגות מפתח/ערך. ב-DAG הזה נעשה שימוש במשתני Airflow כדי לאחסן ערכים נפוצים. כדי להוסיף אותם לסביבה:

  1. גישה לממשק המשתמש של Airflow מתוך Google Cloud console.

  2. עוברים אל ניהול > משתנים.

  3. מוסיפים את המשתנים הבאים:

    • ‫s3_bucket: השם של קטגוריית ה-S3 שיצרתם קודם.

    • gcp_project: מזהה הפרויקט.

    • ‫gcs_bucket: השם של הקטגוריה שיצרתם קודם (בלי הקידומת gs://).

    • ‫gce_region: האזור שבו רוצים להריץ את העבודה של Managed Service for Apache Spark שעומדת בדרישות הרשת של Managed Service for Apache Spark. זהו האזור שבו הפעלתם גישה פרטית ל-Google קודם לכן.

    • ‫dataproc_service_account: חשבון השירות של סביבת Managed Airflow. אפשר למצוא את חשבון השירות הזה בכרטיסייה Environment configuration בסביבת Managed Airflow.

העלאת ה-DAG לקטגוריה של הסביבה

‫Managed Airflow מתזמן DAG שנמצאים בתיקייה /dags בדלי של הסביבה. כדי להעלות את ה-DAG באמצעותGoogle Cloud המסוף:

  1. במחשב המקומי, שומרים את הקובץ s3togcsoperator_tutorial.py.

  2. במסוף Google Cloud , עוברים לדף Environments.

    מעבר אל Environments

  3. ברשימת הסביבות, בעמודה DAG folder (תיקיית DAG), לוחצים על הקישור DAGs. תיפתח תיקיית ה-DAG של הסביבה.

  4. לוחצים על Upload files.

  5. בוחרים באפשרות s3togcsoperator_tutorial.py במחשב המקומי ולוחצים על פתיחה.

הפעלת ה-DAG

  1. בסביבת Managed Airflow, לוחצים על הכרטיסייה DAGs.

  2. לוחצים על מזהה ה-DAG s3_to_gcs_dag.

  3. לוחצים על Trigger DAG (הפעלת DAG).

  4. מחכים כחמש עד עשר דקות עד שרואים סימן וי ירוק שמציין שהמשימות הושלמו בהצלחה.

אימות ההצלחה של ה-DAG

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית Explorer, לוחצים על שם הפרויקט.

  3. לחץ על holidays_weather_joined.

  4. לוחצים על 'תצוגה מקדימה' כדי לראות את הטבלה שנוצרה. שימו לב שהמספרים בעמודת הערך הם עשיריות של מעלות צלזיוס.

  5. לחץ על holidays_weather_normalized.

  6. לוחצים על 'תצוגה מקדימה' כדי לראות את הטבלה שנוצרה. שימו לב שהמספרים בעמודת הערך הם במעלות צלזיוס.

הסרת המשאבים

מוחקים משאבים ספציפיים שיצרתם במדריך הזה:

המאמרים הבאים