Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Menganalisis tugas menggunakan log

Dokumen ini menjelaskan cara mengaktifkan, membuat, dan melihat log dari Cloud Logging untuk tugas Batch.

Anda dapat menggunakan log untuk mendapatkan informasi yang berguna untuk menganalisis tugas. Misalnya, log dapat membantu Anda men-debug tugas yang gagal.

Perlu diperhatikan bahwa log hanya dibuat setelah tugas mulai berjalan dan hanya jika logging diaktifkan untuk tugas tersebut. Jika Anda perlu menganalisis tugas tanpa log, lihat peristiwa status sebagai gantinya.

Sebelum memulai

Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
Untuk mendapatkan izin yang Anda perlukan untuk menganalisis tugas menggunakan log, minta administrator untuk memberi Anda peran IAM berikut:
- Untuk membuat tugas:
  - Batch Job Editor (roles/batch.jobsEditor) di project
  - Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan tugas, yang secara default adalah akun layanan Compute Engine default
- Untuk melihat log: Logs Viewer (roles/logging.viewer) di project
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan logging untuk tugas

Untuk mengizinkan log dibuat untuk tugas, aktifkan log dari Cloud Logging saat Anda membuat tugas:

Jika Anda membuat tugas menggunakan konsol, log dari Cloud Logging akan selalu diaktifkan. Google Cloud
Jika Anda membuat tugas menggunakan gcloud CLI atau Batch API, log dari Cloud Logging akan dinonaktifkan secara default. Untuk mengaktifkan log dari Cloud Logging, sertakan konfigurasi berikut untuk kolom logsPolicy saat membuat tugas:
```
{
    ...
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
    ...
}
```

Menulis dan membuat log untuk tugas

Jika log dari Cloud Logging diaktifkan untuk tugas, Cloud Logging akan otomatis membuat log yang ditulis untuk tugas tersebut. Secara khusus, tugas Batch dapat memiliki jenis log berikut:

log agen (batch_agent_logs): log untuk aktivitas dari agen layanan Batch.

Batch otomatis menulis log agen untuk setiap tugas yang telah mengaktifkan logging.
log tugas (batch_task_logs): log untuk data apa pun yang telah Anda konfigurasi agar dapat ditulis oleh runnables tugas ke aliran data output standar (stdout) atau aliran data error standar (stderr).

Anda dapat secara opsional menulis log tugas untuk setiap tugas yang telah mengaktifkan logging.

Melihat log untuk tugas

Anda dapat melihat log tugas menggunakan Google Cloud konsol, gcloud CLI, Logging API, Go, Java, Python, atau C++.

Konsol

Untuk melihat log tugas menggunakan Google Cloud konsol, lakukan hal berikut:

Di Google Cloud konsol, buka halaman Daftar tugas.

Buka Daftar tugas
Di kolom Nama tugas, klik nama tugas. Halaman Detail tugas akan terbuka.
Klik tab Log. Batch akan menampilkan semua log yang terkait dengan tugas tersebut.
Opsional: Untuk memfilter log, lakukan salah satu hal berikut:
- Masukkan filter di kolom Filter.
- Di daftar Severity, pilih severity.
- Klik Lihat di Logs Explorer untuk membuat kueri di Logs Explorer menggunakan parameter filter Batch.

gcloud

Untuk melihat log menggunakan gcloud CLI, gunakan perintah gcloud logging read command:

gcloud logging read "QUERY"

dengan QUERY adalah kueri untuk log Batch yang berisi parameter filter Batch.

API

Untuk melihat log menggunakan Logging API, gunakan metode entries.list:

POST https://logging.googleapis.com/v2/entries:list
{
    "resourceNames": [
        "projects/PROJECT_ID"
    ],
    "filter": "QUERY"
    "orderBy": "timestamp desc"
}

Ganti kode berikut:

PROJECT_ID: ID project Anda.
QUERY: kueri untuk log Batch yang berisi parameter filter Batch.

Go

Untuk mengetahui informasi selengkapnya, lihat Batch Go API dokumentasi referensi.

Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"

	batch "cloud.google.com/go/batch/apiv1"
	"cloud.google.com/go/batch/apiv1/batchpb"
	"cloud.google.com/go/logging"
	"cloud.google.com/go/logging/logadmin"
	"google.golang.org/api/iterator"
)

// Retrieve the logs written by the given job to Cloud Logging
func printJobLogs(w io.Writer, projectID string, job *batchpb.Job) error {
	// projectID := "your_project_id"

	ctx := context.Background()
	batchClient, err := batch.NewClient(ctx)
	if err != nil {
		return fmt.Errorf("NewClient: %w", err)
	}
	defer batchClient.Close()

	adminClient, err := logadmin.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("Failed to create logadmin client: %w", err)
	}
	defer adminClient.Close()

	const name = "batch_task_logs"

	iter := adminClient.Entries(ctx,
		// Only get entries from the "batch_task_logs" log for the job with the given UID
		logadmin.Filter(fmt.Sprintf(`logName = "projects/%s/logs/%s" AND labels.job_uid=%s`, projectID, name, job.Uid)),
	)

	var entries []*logging.Entry

	for {
		logEntry, err := iter.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return fmt.Errorf("unable to fetch log entry: %w", err)
		}
		entries = append(entries, logEntry)
		fmt.Fprintf(w, "%s\n", logEntry.Payload)
	}

	fmt.Fprintf(w, "Successfully fetched %d log entries\n", len(entries))

	return nil
}

Java

Untuk mengetahui informasi selengkapnya, lihat Batch Java API dokumentasi referensi.

Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.batch.v1.Job;
import com.google.cloud.logging.v2.LoggingClient;
import com.google.logging.v2.ListLogEntriesRequest;
import com.google.logging.v2.LogEntry;
import java.io.IOException;

public class ReadJobLogs {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Cloud project hosting the job.
    String projectId = "YOUR_PROJECT_ID";

    // The job which logs you want to print.
    Job job = Job.newBuilder().build();

    readJobLogs(projectId, job);
  }

  // Prints the log messages created by given job.
  public static void readJobLogs(String projectId, Job job) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the `loggingClient.close()` method on the client to safely
    // clean up any remaining background resources.
    try (LoggingClient loggingClient = LoggingClient.create()) {

      ListLogEntriesRequest request = ListLogEntriesRequest.newBuilder()
          .addResourceNames(String.format("projects/%s", projectId))
          .setFilter(String.format("labels.job_uid=%s", job.getUid()))
          .build();

      for (LogEntry logEntry : loggingClient.listLogEntries(request).iterateAll()) {
        System.out.println(logEntry.getTextPayload());
      }
    }
  }
}

Python

Untuk mengetahui informasi selengkapnya, lihat Batch Python API dokumentasi referensi.

Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

from __future__ import annotations

from typing import NoReturn

from google.cloud import batch_v1
from google.cloud import logging


def print_job_logs(project_id: str, job: batch_v1.Job) -> NoReturn:
    """
    Prints the log messages created by given job.

    Args:
        project_id: name of the project hosting the job.
        job: the job which logs you want to print.
    """
    # Initialize client that will be used to send requests across threads. This
    # client only needs to be created once, and can be reused for multiple requests.
    log_client = logging.Client(project=project_id)
    logger = log_client.logger("batch_task_logs")

    for log_entry in logger.list_entries(filter_=f"labels.job_uid={job.uid}"):
        print(log_entry.payload)

C++

Untuk mengetahui informasi selengkapnya, lihat Batch C++ API dokumentasi referensi.

Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

#include "google/cloud/batch/v1/batch_client.h"
#include "google/cloud/logging/v2/logging_service_v2_client.h"
#include "google/cloud/location.h"
#include "google/cloud/project.h"

  [](std::string const& project_id, std::string const& location_id,
     std::string const& job_id) {
    auto const project = google::cloud::Project(project_id);
    auto const location = google::cloud::Location(project, location_id);
    auto const name = location.FullName() + "/jobs/" + job_id;
    auto batch = google::cloud::batch_v1::BatchServiceClient(
        google::cloud::batch_v1::MakeBatchServiceConnection());
    auto job = batch.GetJob(name);
    if (!job) throw std::move(job).status();

    auto logging = google::cloud::logging_v2::LoggingServiceV2Client(
        google::cloud::logging_v2::MakeLoggingServiceV2Connection());
    auto const log_name = project.FullName() + "/logs/batch_task_logs";
    google::logging::v2::ListLogEntriesRequest request;
    request.mutable_resource_names()->Add(project.FullName());
    request.set_filter("logName=\"" + log_name +
                       "\" labels.job_uid=" + job->uid());
    for (auto l : logging.ListLogEntries(request)) {
      if (!l) throw std::move(l).status();
      std::cout << l->text_payload() << "\n";
    }
  }

Memfilter log Batch

Anda dapat memfilter log Batch dengan menulis kueri yang menyertakan satu atau beberapa parameter filter berikut dan nol atau beberapa operator boolean (AND, OR dan NOT).

Untuk memfilter log dari tugas tertentu, tentukan ID unik (UID) tugas:
```
labels.job_uid=JOB_UID
```
dengan JOB_UID adalah UID tugas. Untuk mendapatkan UID tugas, lihat detail tugas.
Untuk memfilter jenis log Batch tertentu, tentukan jenis log:
```
logName=projects/PROJECT_ID/logs/BATCH_LOG_TYPE
```
Ganti kode berikut:
- PROJECT_ID: ID project yang lognya ingin Anda lihat.
- BATCH_LOG_TYPE: jenis log Batch yang ingin Anda lihat, baik batch_task_logs untuk log tugas atau batch_agent_logs untuk log agen.
Untuk memfilter log dengan peristiwa status kustom, tentukan bahwa log harus menentukan kolom jsonPayload.batch/custom/event:
```
jsonPayload.batch"/"custom"/"event!=NULL_VALUE
```
Untuk memfilter log dari satu atau beberapa severity tertentu, tentukan perbandingan berikut comparison:
```
severityCOMPARISON_OPERATORSEVERITY_ENUM
```
Ganti kode berikut:
- COMPARISON_OPERATOR: operator perbandingan —misalnya, >=.
- SEVERITY_ENUM: enum LogSeverity, yang menjelaskan severity log—misalnya, ERROR.

Untuk opsi filter lainnya, lihat dokumentasi bahasa kueri Cloud Logging.

Langkah berikutnya

Pelajari lebih lanjut pemecahan masalah.
Pelajari lebih lanjut Cloud Logging.
Pelajari cara menulis log tugas.
Pelajari cara mengekspor informasi tugas.
Pelajari cara menghapus tugas.

Menganalisis tugas menggunakan log Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Sebelum memulai

Mengaktifkan logging untuk tugas

Menulis dan membuat log untuk tugas

Melihat log untuk tugas

Konsol

gcloud

API

Go

Go

Java

Java

Python

Python

C++

C++

Memfilter log Batch

Langkah berikutnya

Menganalisis tugas menggunakan log