Integrasi dengan YouTube (DV360)

Halaman ini menjelaskan konfigurasi yang diperlukan untuk mengambil data dari YouTube dengan Display & Video 360 (DV360) sebagai sumber data beban kerja pemasaran Cortex Framework Data Foundation.

DV360 adalah platform iklan dari Google untuk mengelola iklan YouTube bersama saluran digital lainnya, yang menawarkan kontrol dan efisiensi yang lebih besar kepada pengiklan dalam upaya pemasaran mereka.

Diagram berikut menjelaskan cara data DV360 tersedia melalui beban kerja pemasaran Cortex Framework Data Foundation:

Gambar 1. Sumber data DV360.

Catatan: Untuk mengakses file konfigurasi, tampilan dan model analisis untuk sumber data DV360, lihat direktori sumber data.

File konfigurasi

File config.json mengonfigurasi setelan yang diperlukan untuk terhubung ke sumber data guna mentransfer data dari berbagai beban kerja. File ini berisi parameter berikut untuk DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

Tabel berikut menjelaskan nilai untuk setiap parameter pemasaran:

Parameter	Arti	Nilai Default	Deskripsi
marketing.deployDV360	Men-deploy DV360	true	Jalankan deployment untuk sumber data DV360.
marketing.DV360.deployCDC	Men-deploy skrip CDC untuk DV360	true	Buat skrip pemrosesan CDC DV360 untuk dijalankan sebagai DAG di Managed Service for Apache Airflow.
marketing.DV360.datasets.cdc	Set data CDC untuk DV360	-	Set data CDC untuk DV360.
marketing.DV360.datasets.raw	Set data mentah untuk DV360	-	Set data mentah untuk DV360.
marketing.DV360.datasets.reporting	Set data pelaporan untuk DV360	REPORTING_DV360	Set data pelaporan untuk DV360.

Model Data

Bagian ini menjelaskan Model Data YouTube (dengan DV360) menggunakan Diagram Hubungan Entitas (ERD).

Gambar 2. YouTube (dengan DV360): Diagram Hubungan Entitas.

Tampilan pelaporan

Objek biru dalam ERD merepresentasikan tampilan pelaporan yang berisi metrik gabungan. Lihat skrip di src/marketing/src/DV360/src/reporting/ddls.

Menyiapkan Ekstraksi data mentah DV360

Cortex Framework berintegrasi dengan DV360 menggunakan fitur Pelaporan Instannya. Pelaporan Instan adalah fitur siap pakai DV360 yang andal dan berbiaya rendah yang memungkinkan laporan yang lebih besar dan lebih kompleks disimpan, dijadwalkan, dan didownload ke file dan lokasi yang berbeda. Setiap laporan secara berkala membuat tabel data ekspor di BigQuery dengan awalan nama tabel yang dikonfigurasi sama, yang berisi data untuk rentang tanggal yang dipilih, pada frekuensi yang dipilih.

Catatan: Google akan memigrasikan semua laporan Pelaporan Offline ke Pelaporan Instan mulai Juli 2024. Fitur Ekspor ke BigQuery berfungsi dengan cara yang sama di antara kedua jenis pelaporan. Anda bertanggung jawab untuk mengelola semua laporan Pelaporan Instan. Cortex Framework tidak mengonfigurasi atau mengontrol perilakunya.

Izin

Agar berhasil mengekspor data mentah dari DV360 menggunakan Pelaporan Instan, orang dengan izin berikut diperlukan:

• DV360:
  • Akses standar untuk Partner atau Pengiklan yang dipilih.
• Google Cloud:
  • BigQuery User yang ditetapkan ke akun layanan DV360.
  • BigQuery Data Editor yang ditetapkan ke akun layanan DV360.

Siapkan

Ikuti langkah-langkah berikut untuk menyiapkan ekspor tabel mentah dari DV360.

1. Identifikasi akun layanan yang diperlukan oleh DV360 BigQuery Exporter dengan melihat bagian detail izin Link BigQuery Exporter Account. Lihat Gambar 2 untuk referensi selengkapnya.
   Gambar 2. Mengidentifikasi akun layanan di bagian Tautkan Akun Pengekspor BigQuery
2. Dapatkan izin Google Cloud . Seseorang dengan peran BigQuery Administrator perlu memberikan peran BigQuery User dan BigQuery Data Editor ke akun layanan DV360 yang diidentifikasi pada langkah sebelumnya.
3. Tautkan BigQuery ke DV360, dengan menentukan set data Mentah yang ingin Anda gunakan dalam proses tersebut. Ikuti petunjuk di bagian Pelaporan offline > Aktifkan BigQuery.

4. Buka Pelaporan Instan dan buat satu laporan untuk setiap baris dalam tabel berikut, dengan kolom persis seperti yang ditampilkan. Untuk informasi selengkapnya tentang file definisi skema kolom mendetail di bagian src/DV360/config/table_schema, lihat bagian Skema tabel mentah ke CDC.

   1. Tambahkan minimal satu filter Partner atau Pengiklan. Pastikan ini sesuai dengan izin link BigQuery Anda di langkah 3.
   Catatan: Anda mungkin perlu menyiapkan beberapa laporan atau ekspor jika mengekspor beberapa Partner atau Pengiklan.
   1. Pilih Zona waktu pengiklan sebagai setelan zona waktu laporan. Untuk mengetahui informasi selengkapnya, lihat bagian Pertimbangan tambahan.
   Catatan: Jika akun atau link BigQuery Anda hanya memiliki Akses pengiklan, Anda tidak dapat menyertakan filter Partner, jika tidak opsi Ekspor ke BigQuery akan dinonaktifkan hingga filter Partner dihapus.

   Awalan Tabel	Kolom yang akan disertakan
   lineitem_details	Tanggal ID Item Baris Item Baris ID Kampanye Kampanye Jenis Item Baris Tanggal Mulai Item Baris Tanggal Akhir Item Baris	Tayangan
   lineitem_insights	Tanggal ID Item Baris Jenis Perangkat Browser Lingkungan Negara ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Kampanye Kampanye ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris Jenis Item Baris Tanggal Mulai Item Baris Tanggal Akhir Item Baris	Tayangan Klik Pendapatan (USD) Keterlibatan Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_age_gender	Tanggal ID Grup Iklan YouTube Usia (YouTube) Gender ID Item Baris ID Partner Partner Mata Uang Partner AdvertiserID Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris AdGroup YouTube	Pendapatan (USD) Tayangan Klik Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_audience	Tanggal ID Grup Iklan YouTube Segmen audiens Jenis segmen audiens ID Item Baris ID Partner Partner PartnerCurrency ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (PartnerCurrency) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_adformat	Tanggal ID Grup Iklan YouTube Format Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik AdGroup YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_placement	Tanggal ID Grup Iklan YouTube Penempatan (Semua Channel YouTube) Nama Penempatan (Semua Channel YouTube) ID Item Baris PartnerID Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Grup Iklan YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (PartnerCurrency) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   adgroup_insights_by_adtype	Tanggal ID Grup Iklan YouTube Jenis Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan Mata Uang Pengiklan ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris	Tayangan Klik AdGroup YouTube Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (Mata Uang Pengiklan) TrueView: Penayangan
   ad_insights	Tanggal ID Iklan YouTube ID Item Baris ID Partner Partner Mata Uang Partner ID pengiklan Pengiklan AdvertiserCurrency ID Pesanan Pemasangan Iklan Perjanjian Pemasangan Iklan Item Baris ID Grup Iklan YouTube AdGroup YouTube Iklan YouTube	Tayangan Klik Pendapatan (USD) Engagement (YouTube) Pendapatan (Mata Uang Partner) Pendapatan (AdvCurrency) TrueView: Penayangan

5. Siapkan jadwal dan isi data historis. Pastikan Anda menggunakan link BigQuery yang sama seperti yang dikonfigurasi di langkah 1, serta awalan tabel persis seperti yang ditunjukkan pada tabel sebelumnya. Untuk informasi selengkapnya, lihat bagian Pertimbangan tambahan.

6. • Memicu proses pengisian ulang secara manual, atau menunggu ekspor terjadwal dimulai. Bagaimanapun, data Anda akan otomatis masuk ke set data Mentah yang dikonfigurasi untuk penautan BigQuery Anda.

Pertimbangan lainnya

Mengenai pemilihan zona waktu:

• Untuk beberapa jenis laporan, Anda memiliki opsi untuk memilih zona waktu Pengiklan atau zona waktu UTC untuk tanggal pada saat menyiapkan ekspor. Namun, laporan terkait YouTube hanya mendukung zona waktu Pengiklan. Oleh karena itu, pastikan untuk memilih setelan zona waktu Pengiklan saat menyiapkan ekspor.

• Karena ekspor laporan telah diagregasi sebelumnya ke tingkat harian, Cortex Framework menggunakan tanggal yang diberikan secara langsung tanpa konversi zona waktu. Anda bertanggung jawab untuk menafsirkan informasi zona waktu yang dilaporkan.

Terkait penjadwalan dan pengisian ulang data historis:

• Sebaiknya pilih 7 hari terakhir sebagai rentang tanggal ekspor dan Harian sebagai frekuensi ekspor. Memilih rentang tanggal ekspor dan frekuensi ekspor diperlukan untuk menyeimbangkan akurasi data dan biaya penyimpanan, meskipun setelan apa pun akan berfungsi dengan proses CDC kami.

• Pelaporan Instan mendukung ekspor data hingga 14 hari saat mengekspor ke BigQuery, meskipun DV360 terkadang melakukan pembaruan kecil pada data, hingga 31 hari setelah tanggal laporan. Jika Anda menyiapkan ekspor untuk beberapa Pengiklan, tanggal setiap pengiklan akan berada di zona waktunya sendiri.

• Jika data historis diperlukan, sebagai tugas satu kali yang tidak terjadwal, Pelaporan Instan memungkinkan ekspor data hingga 2 tahun ke tabel BigQuery secara langsung. Pastikan untuk melakukannya setidaknya sekali, secara manual dari UI DV360.

Keaktualan dan Penundaan Data

Sebagai aturan umum, keaktualan data untuk sumber data Cortex Framework dibatasi oleh koneksi upstream yang diizinkan, serta frekuensi eksekusi DAG Anda. Sesuaikan frekuensi eksekusi DAG agar selaras dengan frekuensi upstream, batasan resource, dan kebutuhan bisnis Anda.

Dengan Pelaporan Instan DV360, keaktualan data bergantung pada setelan frekuensi ekspor saat BigQuery Export disiapkan, yang bisa harian, mingguan, atau bulanan.

Konfigurasi

Bagian ini menjelaskan konfigurasi untuk proses data.

Koneksi Managed Service untuk Apache Airflow

Buat koneksi berikut di Managed Airflow. Lihat detail selengkapnya di dokumentasi Managed Airflow.

Nama Koneksi	Tujuan
dv360_cdc_bq	Untuk Transfer set data mentah > set data CDC.
dv360_reporting_bq	Untuk transfer set data CDC > Set data pelaporan.

Skema tabel mentah ke CDC

Direktori src/DV360/config/table_schema berisi satu file skema per kumpulan tabel (diidentifikasi dengan awalan yang sama), yang diekspor dari DV360. Setiap file skema berisi dua kolom: ColumnName dan ColumnDataType.

Catatan: Jika kasus penggunaan Anda menyertakan kolom tambahan dalam ekspor Pelaporan Instan, pastikan untuk menyertakannya dalam file skema yang sesuai.

Setelan penyerapan

File src/DV360/config/ingestion_settings.yaml berisi setelan lebih lanjut yang mengontrol pipeline data Source to CDC.

Sumber ke tabel CDC

Bagian ini memiliki entri yang mengontrol cara penyerapan tabel yang diekspor DV360 dan perilaku proses CDC yang relevan. Setiap entri sesuai dengan satu laporan Pelaporan Instan, yang diidentifikasi berdasarkan awalan ekspor.

Parameter berikut mengontrol setelan untuk Source to CDC untuk setiap entri:

Parameter	Deskripsi
base_table	Tabel dalam set data CDC tempat data mentah setelah transformasi CDC disimpan (misalnya, customer).
load_frequency	Seberapa sering DAG untuk entitas ini dijalankan untuk mengisi tabel CDC. Untuk mengetahui informasi selengkapnya tentang kemungkinan nilai, lihat dokumentasi Airflow.
raw_table_prefix	Awalan yang digunakan oleh laporan Pelaporan Instan yang sesuai untuk menyiapkan BigQuery Export ini.
row_identifiers	Kolom (dipisahkan dengan koma) yang membentuk data unik untuk tabel ini.
partition_details	Opsional: Jika Anda ingin tabel ini dipartisi untuk pertimbangan performa. Untuk mengetahui informasi selengkapnya, lihat Partisi Tabel.
cluster_details	Opsional: Jika Anda ingin tabel ini dikelompokkan untuk pertimbangan performa, lihat informasi selengkapnya di Setelan Cluster.

Setelan pelaporan

Anda dapat mengonfigurasi dan mengontrol cara Cortex Framework membuat data untuk lapisan pelaporan akhir DV360 menggunakan file setelan pelaporan src/DV360/config/reporting_settings.yaml. File ini mengontrol cara objek BigQuery lapisan pelaporan (tabel, tampilan, fungsi, atau prosedur tersimpan) dibuat.

Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan file setelan pelaporan.

Apa langkah selanjutnya?

• Untuk mengetahui informasi selengkapnya tentang sumber data dan workload lainnya, lihat Sumber data dan workload.
• Untuk mengetahui informasi selengkapnya tentang langkah-langkah deployment di lingkungan produksi, lihat Prasyarat deployment Data Foundation Cortex Framework.