Memvisualisasikan grafik menggunakan BigQuery DataFrames

Anda dapat menggunakan library visualisasi BigQuery DataFrames untuk memetakan berbagai jenis grafik guna mengeksplorasi dan memahami data Anda secara visual. bigframes.pandas API memungkinkan Anda menggabungkan operasi statistik lanjutan dengan alat plotting Python yang sudah dikenal, termasuk pengambilan sampel bawaan untuk set data besar.

Histogram

Contoh berikut membaca data dari tabel bigquery-public-data.ml_datasets.penguins untuk memplot histogram pada distribusi kedalaman culmen penguin:

import bigframes.pandas as bpd

penguins = bpd.read_gbq("bigquery-public-data.ml_datasets.penguins")
penguins["culmen_depth_mm"].plot.hist(bins=40)

Diagram garis

Contoh berikut menggunakan data dari tabel bigquery-public-data.noaa_gsod.gsod2021 untuk memetakan diagram garis perubahan suhu median sepanjang tahun:

import bigframes.pandas as bpd

noaa_surface = bpd.read_gbq("bigquery-public-data.noaa_gsod.gsod2021")

# Calculate median temperature for each day
noaa_surface_median_temps = noaa_surface[["date", "temp"]].groupby("date").median()

noaa_surface_median_temps.plot.line()

Diagram area

Contoh berikut menggunakan tabel bigquery-public-data.usa_names.usa_1910_2013 untuk melacak popularitas nama dalam sejarah AS dan berfokus pada nama Mary, Emily, dan Lisa:

import bigframes.pandas as bpd

usa_names = bpd.read_gbq("bigquery-public-data.usa_names.usa_1910_2013")

# Count the occurences of the target names each year. The result is a dataframe with a multi-index.
name_counts = (
    usa_names[usa_names["name"].isin(("Mary", "Emily", "Lisa"))]
    .groupby(("year", "name"))["number"]
    .sum()
)

# Flatten the index of the dataframe so that the counts for each name has their own columns.
name_counts = name_counts.unstack(level=1).fillna(0)

name_counts.plot.area(stacked=False, alpha=0.5)

Diagram batang

Contoh berikut menggunakan tabel bigquery-public-data.ml_datasets.penguins untuk memvisualisasikan distribusi jenis kelamin penguin:

import bigframes.pandas as bpd

penguins = bpd.read_gbq("bigquery-public-data.ml_datasets.penguins")

penguin_count_by_sex = (
    penguins[penguins["sex"].isin(("MALE", "FEMALE"))]
    .groupby("sex")["species"]
    .count()
)
penguin_count_by_sex.plot.bar()

Diagram sebar

Contoh berikut menggunakan tabel bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2021 untuk mempelajari hubungan antara jumlah tarif taksi dan jarak perjalanan:

import bigframes.pandas as bpd

taxi_trips = bpd.read_gbq(
    "bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2021"
).dropna()

# Data Cleaning
taxi_trips = taxi_trips[
    taxi_trips["trip_distance"].between(0, 10, inclusive="right")
]
taxi_trips = taxi_trips[taxi_trips["fare_amount"].between(0, 50, inclusive="right")]

# If you are using partial ordering mode, you will also need to assign an order to your dataset.
# Otherwise, the next line can be skipped.
taxi_trips = taxi_trips.sort_values("pickup_datetime")

taxi_trips.plot.scatter(x="trip_distance", y="fare_amount", alpha=0.5)

Memvisualisasikan set data besar

BigQuery DataFrames mendownload data ke komputer lokal Anda untuk visualisasi. Jumlah titik data yang akan didownload dibatasi hingga 1.000 secara default. Jika jumlah titik data melebihi batas, BigQuery DataFrames akan mengambil sampel jumlah titik data secara acak yang sama dengan batas tersebut.

Anda dapat mengganti batas ini dengan menetapkan parameter sampling_n saat membuat plot grafik, seperti yang ditunjukkan dalam contoh berikut:

import bigframes.pandas as bpd

noaa_surface = bpd.read_gbq("bigquery-public-data.noaa_gsod.gsod2021")

# Calculate median temperature for each day
noaa_surface_median_temps = noaa_surface[["date", "temp"]].groupby("date").median()

noaa_surface_median_temps.plot.line(sampling_n=40)

Catatan: Parameter sampling_n tidak berpengaruh pada histogram karena BigQuery DataFrames mengelompokkan data di sisi server untuk histogram.

Pembuatan plot lanjutan dengan parameter pandas dan Matplotlib

Anda dapat meneruskan lebih banyak parameter untuk menyesuaikan grafik seperti yang dapat Anda lakukan dengan pandas, karena library plotting BigQuery DataFrames didukung oleh pandas dan Matplotlib. Bagian berikut menjelaskan contohnya.

Tren popularitas nama dengan subplot

Dengan menggunakan data histori nama dari contoh diagram area, contoh berikut membuat grafik individual untuk setiap nama dengan menetapkan subplots=True dalam panggilan fungsi plot.area():

import bigframes.pandas as bpd

usa_names = bpd.read_gbq("bigquery-public-data.usa_names.usa_1910_2013")

# Count the occurences of the target names each year. The result is a dataframe with a multi-index.
name_counts = (
    usa_names[usa_names["name"].isin(("Mary", "Emily", "Lisa"))]
    .groupby(("year", "name"))["number"]
    .sum()
)

# Flatten the index of the dataframe so that the counts for each name has their own columns.
name_counts = name_counts.unstack(level=1).fillna(0)

name_counts.plot.area(subplots=True, alpha=0.5)

Diagram sebar perjalanan taksi dengan beberapa dimensi

Dengan menggunakan data dari contoh diagram sebar, contoh berikut mengganti nama label untuk sumbu x dan sumbu y, menggunakan parameter passenger_count untuk ukuran titik, menggunakan titik warna dengan parameter tip_amount, dan mengubah ukuran gambar:

import bigframes.pandas as bpd

taxi_trips = bpd.read_gbq(
    "bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2021"
).dropna()

# Data Cleaning
taxi_trips = taxi_trips[
    taxi_trips["trip_distance"].between(0, 10, inclusive="right")
]
taxi_trips = taxi_trips[taxi_trips["fare_amount"].between(0, 50, inclusive="right")]

# If you are using partial ordering mode, you also need to assign an order to your dataset.
# Otherwise, the next line can be skipped.
taxi_trips = taxi_trips.sort_values("pickup_datetime")

taxi_trips["passenger_count_scaled"] = taxi_trips["passenger_count"] * 30

taxi_trips.plot.scatter(
    x="trip_distance",
    xlabel="trip distance (miles)",
    y="fare_amount",
    ylabel="fare amount (usd)",
    alpha=0.5,
    s="passenger_count_scaled",
    label="passenger_count",
    c="tip_amount",
    cmap="jet",
    colorbar=True,
    legend=True,
    figsize=(15, 7),
    sampling_n=1000,
)

Langkah berikutnya

• Pelajari BigQuery DataFrames.
• Pelajari cara menggunakan BigQuery DataFrames di dbt.
• Pelajari referensi BigQuery DataFrames API.