Ringkasan sink gabungan

Sink gabungan memungkinkan Anda mengumpulkan dan merutekan entri log dari semua resource dalam folder atau organisasi ke tujuan yang didukung. Anda dapat menggunakan sink gabungan untuk menyimpan data log di lokasi pusat dan mengontrol apakah resource turunan menyimpan salinan duplikat.

Tentang sink gabungan

Sink gabungan adalah sink tingkat folder atau organisasi yang merutekan entri log dari resource tempat sink ditentukan dan semua resource turunannya. Seperti sink level project, sink gabungan memiliki tujuan dan filter yang menentukan entri log yang akan dirutekan, tetapi sink level project hanya merutekan entri log dari satu project.

Jenis sink gabungan

Anda dapat membuat dua jenis sink gabungan—penyadap dan non-penyadap—bergantung pada apakah Anda ingin resource turunan juga merutekan entri log. Jika sink gabungan ada dalam hierarki resource entri log, Router Log akan mengirim entri log ke sink tersebut terlebih dahulu, dan jenis sink akan menentukan apa yang terjadi selanjutnya:

Mengintersepsi sink gabungan

Sink gabungan yang mencegat mencegah entri log dirutekan ke sink di resource turunan, kecuali untuk sink _Required di resource tempat entri log berasal. Sink gabungan yang mencegat dapat berguna untuk mencegah salinan duplikat entri log disimpan di beberapa tempat.

Misalnya, Anda perlu mengaktifkan log audit Akses Data untuk tujuan audit. Untuk menyederhanakan analisis, Anda ingin menyimpan log ini di lokasi pusat. Namun, untuk alasan keamanan dan biaya, Anda juga ingin mencegah log ini disimpan di level project. Untuk skenario ini, Anda dapat membuat sink gabungan yang mencegat.

Sink gabungan yang tidak mencegat

Sink gabungan yang tidak menyadap tidak memengaruhi cara entri log dirutekan ke sink lainnya. Artinya, meskipun entri log cocok dengan filter sink gabungan yang tidak menyadap, entri log tersebut kemudian diteruskan ke sink lain dalam hierarki resource entri log. Sink gabungan yang tidak menyadap memungkinkan Anda mempertahankan visibilitas entri log di resource tempat entri tersebut dibuat.

Misalnya, Anda dapat membuat sink gabungan yang tidak menyadap yang merutekan semua entri log yang dibuat dari folder yang ada dalam organisasi ke bucket log pusat. Entri log disimpan di bucket log pusat. Namun, karena sink tidak melakukan intersepsi, Router Log juga mengirimkan entri log ke sink log di resource tempat entri log tersebut dibuat.

Contoh pemilihan rute

Bagian ini menggambarkan bagaimana entri log yang berasal dari suatu project dapat mengalir melalui sink di hierarki resource-nya.

Contoh: Tidak ada sink gabungan

Jika tidak ada sink gabungan dalam hierarki resource entri log, entri log akan dikirim ke sink log dalam project tempat entri log berasal. Sink level project merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Contoh: Sink gabungan yang tidak menyadap ada

Asumsikan bahwa sink gabungan yang tidak mengintersepsi ada dalam hierarki resource untuk entri log. Setelah Router Log mengirim entri log ke sink gabungan yang tidak mencegat, hal berikut akan terjadi:

  1. Sink gabungan non-intersepsi merutekan entri log ke tujuan sink saat entri log cocok dengan filter penyertaan, tetapi tidak cocok dengan filter pengecualian apa pun.

  2. Router Log mengirimkan entri log ke sink log dalam project tempat entri log berasal.

    Sink level project merutekan entri log ke tujuan sink jika entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Contoh: Sink gabungan yang mengintersepsi ada

Asumsikan bahwa sink gabungan yang mengintersepsi ada dalam hierarki resource untuk entri log. Setelah Router Log mengirim entri log ke sink gabungan yang mencegat, salah satu hal berikut akan terjadi:

  • Entri log cocok dengan filter penyertaan, tetapi tidak cocok dengan filter pengecualian apa pun:

    1. Entri log dirutekan ke tujuan sink gabungan yang mencegat.
    2. Entri log dikirim ke sink _Required di project tempat entri log berasal.

  • Entri log tidak cocok dengan filter penyertaan atau cocok dengan setidaknya satu filter pengecualian:

    1. Entri log tidak dirutekan oleh sink gabungan yang mencegat.

    2. Router Log mengirimkan entri log ke sink log dalam project tempat entri log berasal.

      Sink level project merutekan entri log ke tujuan sink saat entri log cocok dengan filter penyertaan sink, tetapi tidak cocok dengan filter pengecualian sink.

Tujuan yang didukung untuk sink gabungan

Bagian ini mencantumkan tujuan yang didukung untuk sink gabungan.

Mengintersepsi sink

Tujuan sink gabungan yang mencegat harus berupa Google Cloud project.

Sink log di project tujuan mengalihkan entri log ke tujuannya. Semua tujuan kecuali project didukung. Misalnya, sink log di project tujuan dapat merutekan ulang entri log ke bucket log.

Tujuan yang tidak mencegat

Bagian ini menjelaskan tujuan yang didukung untuk sink gabungan non-penyadap.

Tujuan sink dapat berada di resource yang berbeda dari sink. Misalnya, Anda dapat menggunakan sink log untuk merutekan entri log dari satu project ke bucket log yang disimpan di project lain.

Tujuan berikut didukung:

Google Cloud project

Pilih tujuan ini jika Anda ingin sink log di project tujuan merutekan ulang entri log Anda, atau jika Anda telah membuat sink gabungan yang mencegat. Sink log di project tujuan dapat mengalihkan entri log ke tujuan yang didukung, kecuali project.

Sink log yang dibuat sistem di project tujuan mengecualikan entri log yang dirutekan ke bucket log _Required di project sumber. Misalnya, jika Anda merutekan log Aktivitas Admin ke project lain, maka sink log _Required dan _Default di project tujuan akan mengecualikan entri log tersebut. Untuk menyimpan entri log tersebut, di project tujuan, perbarui sink log _Default atau buat sink log kustom.

Bucket log

Pilih tujuan ini jika Anda ingin menyimpan data log di resource yang dikelola oleh Cloud Logging. Data log yang disimpan di bucket log dapat dilihat dan dianalisis menggunakan layanan seperti Logs Explorer dan Observability Analytics.

Jika ingin menggabungkan data log dengan data bisnis lainnya, Anda dapat menyimpan data log di bucket log dan membuat set data BigQuery yang ditautkan. Set data BigQuery tertaut bersifat hanya baca, tetapi Anda dapat membuat kueri seperti set data BigQuery lainnya.

Set data BigQuery
Pilih tujuan ini jika Anda ingin menggabungkan data log dengan data bisnis lainnya. Set data yang Anda tentukan harus dapat ditulis. Jangan menetapkan tujuan sink menjadi set data BigQuery yang ditautkan. Set data BigQuery tertaut bersifat hanya baca.
Bucket Cloud Storage
Pilih tujuan ini jika Anda ingin menyimpan data log dalam jangka panjang. Bucket Cloud Storage dapat berada di project tempat entri log berasal, atau di project yang berbeda. Entri log disimpan sebagai file JSON.
Topik Pub/Sub
Pilih tujuan ini jika Anda ingin mengekspor data log dari Google Cloud , lalu gunakan integrasi pihak ketiga seperti Splunk atau Datadog. Entri log diformat sebagai JSON, lalu dirutekan ke topik Pub/Sub.

Praktik terbaik

Sebaiknya tujuan sink gabungan adalah project Google Cloud . Dengan tujuan ini, sink log di projectGoogle Cloud tujuan mengalihkan rute entri log. Sink _Required hanya merutekan entri log yang cocok dengan filternya dan yang berasal dari resource tempat sink ditentukan. Oleh karena itu, jika Anda ingin menyimpan salinan tambahan entri log yang cocok dengan filter sink _Required, Anda harus membuat sink log kustom atau mengubah filter sink log _Default.

Saat membuat sink penyadapan, sebaiknya lakukan hal berikut:

  • Pertimbangkan apakah resource turunan memerlukan kontrol independen untuk merutekan entri log-nya. Jika resource turunan memerlukan kontrol independen atas entri log tertentu, verifikasi bahwa sink penyadapan Anda tidak merutekan entri log tersebut.

  • Tambahkan informasi kontak ke deskripsi sink intersepsi. Hal ini mungkin berguna jika orang yang mengelola sink intersepsi berbeda dengan orang yang mengelola project yang entri lognya sedang diintersepsi.

  • Uji konfigurasi sink Anda dengan membuat sink gabungan non-penyadap terlebih dahulu untuk memverifikasi bahwa entri log yang benar sedang dirutekan.

Menyadap sink agregat dan metrik berbasis log

Metrik berbasis log adalah metrik Cloud Monitoring yang berasal dari konten entri log. Cara entri log dirutekan menentukan metrik berbasis log mana yang dapat dihitung oleh entri log tersebut. Karena sink gabungan yang mengintersepsi memengaruhi cara entri log dirutekan, pembuatan jenis sink ini dapat menyebabkan perubahan pada nilai metrik berbasis log yang ada.

Untuk mengetahui informasi selengkapnya, lihat Pengaruh perutean entri log terhadap metrik berbasis log.

Sink gabungan dan Kontrol Layanan VPC

Saat Anda menggunakan sink gabungan dan Kontrol Layanan VPC, batasan dan persyaratan konfigurasi berikut berlaku:

  • Akses ke log project di dalam perimeter: Sink gabungan dapat mengakses data log dari project di dalam perimeter layanan. Agar sink gabungan tidak mengakses data di dalam sebuah perimeter, gunakan Identity and Access Management untuk mengelola izin Cloud Logging.

  • Data log level folder dan organisasi: Perimeter layanan Kontrol Layanan VPC tidak melindungi data log level folder atau organisasi, termasuk data log gabungan. Meskipun Anda dapat menambahkan folder ke perimeter layanan reguler, tindakan ini hanya melindungi project dalam hierarki folder, bukan resource atau log level folder. Anda tidak dapat menambahkan organisasi sebagai resource yang dilindungi dalam perimeter layanan.

    Untuk mengelola izin Logging di level folder atau organisasi, gunakan IAM.

  • Aturan ingress untuk tujuan yang dilindungi perimeter: Jika Anda merutekan log menggunakan sink level folder atau organisasi ke resource yang dilindungi perimeter layanan, Anda harus menambahkan aturan ingress ke perimeter layanan tujuan. Aturan ingress harus mengizinkan akses ke resource dari akun layanan (identitas penulis) yang digunakan sink gabungan. Untuk informasi selengkapnya, lihat halaman berikut:

  • Batasan jenis identitas dalam aturan ingress dan egress: Saat sink log gabungan merutekan log ke resource Cloud Storage yang berada dalam perimeter Kontrol Layanan VPC, aturan ingress atau egress tidak dapat menggunakan ANY_SERVICE_ACCOUNT atau ANY_USER_ACCOUNT sebagai jenis identitas. Sebagai gantinya, gunakan ANY_IDENTITY sebagai jenis identitas.

    Anda tidak perlu mengonfigurasi aturan ingress untuk sink yang tidak digabungkan.

Langkah berikutnya