שימוש בנתוני מעקב בצד הלקוח

בדף הזה מוסבר איך להפעיל מעקב בצד הלקוח באמצעות OpenTelemetry כשמשתמשים בספריות הלקוח של Cloud Storage כדי ליצור אינטראקציה עם Cloud Storage. אפשר לאסוף ולהציג נתוני מעקב באמצעות ספריות הלקוח הנתמכות הבאות של Cloud Storage:

סקירה כללית

הפעלת מעקב בספריות הלקוח של Cloud Storage מאפשרת לכם לעקוב אחרי הביצועים, לאתר בעיות של זמן אחזור ולבצע במהירות ניפוי באגים בבקשות של Cloud Storage. באמצעות Traces אפשר לראות את הרצף של בקשה שהושלמה, ולקבל תצוגה מפורטת של האופן שבו הבקשה התקבלה, טופלה ונענתה על ידי Cloud Storage. כל מעקב מורכב מכמה טווחים, שהם רשומות מפורטות עם חותמת זמן של כל פונקציה או פעולה שהאפליקציה ביצעה במהלך הבקשה ל-Cloud Storage.

יתרונות

איסוף נתוני מעקב והפצתם מספק לאפליקציה את היתרונות הבאים:

  • שיפור הנראות של הביצועים: נתוני המעקב נוצרים כמעט בזמן אמת כש-Cloud Storage משלים כל בקשה שאתם שולחים, כך שאתם יכולים לזהות במהירות צווארי בקבוק בביצועים ולגלות בעיות של זמן אחזור.

  • טיפול בשגיאות: אתם יכולים לזהות בדיוק איפה מתעוררות בעיות, וכך לנתח את שורש הבעיה במהירות ולצמצם את זמן ההשבתה באמצעות המידע על כל בקשה ל-Cloud Storage שמופיע במעקב.

איך פועלים מעקבים בצד הלקוח

בקטעים הבאים מוסבר בפירוט איך איסוף נתוני ה-trace מתבצע.

איך מתבצע איסוף של נתוני מעקב באמצעות OpenTelemetry

ספריות הלקוח של Cloud Storage תומכות באיסוף נתוני מעקב באמצעות OpenTelemetry SDK. כך אפשר להגדיר את הרכיבים הבאים שנדרשים לאיסוף ולהפצה של נתוני מעקב:

  • ספק Trace: ספק Trace נמצא בשימוש בספריות הלקוח של Cloud Storage, והוא אחראי ליצירה ולניהול של מערכת המעקב, כולל יצירה וניהול של מעקבים וטווחים באפליקציה.

  • ‫Trace exporter: מודול לייצוא נתוני מעקב שמשמש את OpenTelemetry SDK. המודול הזה אחראי לשליחת נתוני מעקב לפלטפורמת קצה עורפי לניטור, כמו Cloud Trace, שבה אפשר לנתח ולהציג נתוני מעקב. מידע נוסף על כלי לייצוא של נתוני מעקב

איך פועלים כלי ייצוא של נתוני מעקב

הגדרת מעקב באמצעות OpenTelemetry SDK כוללת בחירה של קצה עורפי (backend) של יכולת התבוננות (observability) לייצוא הנתונים, שבו הם מנותחים, מאוחסנים ומוצגים באופן חזותי. אפשר לייצא את נתוני העקבות לכל קצה עורפי של מערכת ניהול נתונים (backend) לבחירתכם, אבל מומלץ להשתמש ב-Cloud Trace, שאפשר לגשת אליו באמצעות מסוף Google Cloud והוא מספק שילוב עם שירותים אחרים של Google Cloud .

אחרי שמגדירים ומפעילים את ספק העקבות ואת כלי הייצוא של העקבות, אפשר לראות את נתוני העקבות כמעט בזמן אמת, כשהעקבות והטווחים נוצרים לכל בקשה של Cloud Storage.

באמצעות הכלי Cloud Trace explorer בGoogle Cloud מסוף, אפשר לראות כל מעקב שמכיל את הפרטים הבאים:

  • תצוגה ברמה גבוהה של בקשה ל-Cloud Storage מקצה לקצה.

  • כמה יחידות לוגיות למעקב, כשכל אחת מהן מתעדת פעולה יחידה עם חותמת זמן בבקשת Cloud Storage שבוצעה.

מידע נוסף על עקבות וטווחים זמין במסמכי התיעוד של OpenTelemetry בנושא עקבות וטווחים.

תמחור

השימוש בנתוני מעקב כרוך בתשלום. החיובים מבוססים על מספר טווחי המעקב שנקלטים ונבדקים על ידי Cloud Trace. מידע נוסף על טווחים של מעקב שאפשר לחייב עליהם ודוגמאות לתמחור זמין במאמר עלויות של Cloud Trace.

לפני שמתחילים

כדי לאסוף נתוני מעקב על השימוש ב-API של Cloud Storage, צריך לבצע את השלבים הבאים:

  1. מתקינים את ספריית הלקוח של Cloud Storage.

  2. מגדירים אימות.

  3. מפעילים את Cloud Trace API.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

  4. מפעילים את Cloud Storage API.

    להפעלת ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאה שנדרשת לכתיבת נתונים של מעקב ל-Cloud Trace, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Cloud Trace Agent ‏ (roles/cloudtrace.agent) בפרויקט שבו הלקוח משתמש.

התפקיד המוגדר מראש הזה כולל את ההרשאה cloudtrace.traces.patch, שנדרשת כדי לכתוב נתונים של מעקב ל-Cloud Trace.

יכול להיות שתוכלו לקבל את ההרשאות האלה גם באמצעות תפקידים מוגדרים מראש, או שתוכלו ליצור תפקידים בהתאמה אישית כדי להעניק הרשאות ספציפיות. הוראות להקצאת תפקידים בפרויקטים מופיעות במאמר הקצאה או ביטול של תפקיד. למידע נוסף על התפקיד של Cloud Trace Agent, אפשר לעיין במשאבי העזרה בנושא ניהול זהויות והרשאות גישה (IAM).

הגדרת מעקב באפליקציה

כדי להגדיר מעקב ולהתחיל לאסוף נתוני מעקב באמצעות ספריית הלקוח של Cloud Storage, פועלים לפי ההוראות הבאות:

C++‎

  1. מתקינים את הגרסאות הבאות:

    • ספריית הלקוח C++‎ בגרסה v2.16.0 ואילך

    • ‫C++‎ מגרסה 14 ואילך

  2. כדי להפעיל את כלי המעקב OpenTelemetry בספריית הלקוח C++, צריך לעדכן את ההגדרה של מערכת ה-build ב-CMake או ב-Bazel.

  3. יצירת מופע של לקוח Cloud Storage עם הפעלת מעקב OpenTelemetry. 

    #include "google/cloud/opentelemetry/configure_basic_tracing.h"
#include "google/cloud/storage/client.h"
#include "google/cloud/opentelemetry_options.h"
#include <iostream>

int main(int argc, char* argv[]) {
  if (argc != 3) {
    std::cerr << "Usage: " << argv[0] << " <bucket-name> <project-id>\n";
    return 1;
  }
  std::string const bucket_name = argv[1];
  std::string const project_id = argv[2];

  // Create aliases to make the code easier to read.
  namespace gc = ::google::cloud;
  namespace gcs = ::google::cloud::storage;

  // Instantiate a basic tracing configuration which exports traces to Cloud
  // Trace. By default, spans are sent in batches and always sampled.
  auto project = gc::Project(project_id);
  auto configuration = gc::otel::ConfigureBasicTracing(project);

  // Create a client with OpenTelemetry tracing enabled.
  auto options = gc::Options{}.set<gc::OpenTelemetryTracingOption>(true);
  auto client = gcs::Client(options);

  auto writer = client.WriteObject(bucket_name, "quickstart.txt");
  writer << "Hello World!";
  writer.Close();
  if (!writer.metadata()) {
    std::cerr << "Error creating object: " << writer.metadata().status()
              << "\n";
    return 1;
  }
  std::cout << "Successfully created object: " << *writer.metadata() << "\n";

  auto reader = client.ReadObject(bucket_name, "quickstart.txt");
  if (!reader) {
    std::cerr << "Error reading object: " << reader.status() << "\n";
    return 1;
  }

  std::string contents{std::istreambuf_iterator<char>{reader}, {}};
  std::cout << contents << "\n";

  // The basic tracing configuration object goes out of scope. The collected
  // spans are flushed to Cloud Trace.

  return 0;
}

Java

  1. מתקינים את הגרסאות הבאות של ספריית הלקוח Cloud Storage Java:

    • com.google.cloud:google-cloud-storage:2.47.0 ואילך

    • com.google.cloud:libraries-bom:26.53.0 ואילך

  2. מתקינים את כלי הייצוא של Cloud Trace ל-OpenTelemetry. אפשר גם להשתמש בכל כלי ייצוא אחר שתבחרו.

  3. מתקינים את הכלי להפצת נתונים של Cloud Trace.

  4. יצירת מופע של לקוח Cloud Storage עם הפעלת מעקב OpenTelemetry.

    public class QuickstartOpenTelemetrySample {
  public static void main(String... args) throws Exception {
    SpanExporter spanExporter = TraceExporter.createWithDefaultConfiguration();
    TextMapPropagator propagators =
        TextMapPropagator.composite(
            W3CTraceContextPropagator.getInstance(),
            new XCloudTraceContextPropagator(/* oneway= */ true));

    OpenTelemetrySdk openTelemetry =
        OpenTelemetrySdk.builder()
            .setPropagators(ContextPropagators.create(propagators))
            .setTracerProvider(
                SdkTracerProvider.builder()
                    // Sample Rate is set to alwaysOn
                    // It is recommended to sample based on a ratio for standard use ie.
                    // .setSampler(Sampler.traceIdRatioBased(0.2)) // sample only 20% of trace ids
                    .setSampler(Sampler.alwaysOn())
                    .addSpanProcessor(BatchSpanProcessor.builder(spanExporter).build())
                    .build())
            .build();
    StorageOptions options = StorageOptions.newBuilder().setOpenTelemetry(openTelemetry).build();
    Storage storage = options.getService();
    System.out.println("Created an instance of storage with OpenTelemetry configured");
  }
}

Python

  1. מתקינים את ספריית הלקוח של Cloud Storage Python:

    pip install google-cloud-storage[tracing]>=2.18.0

  2. מתקינים את רכיב הייצוא ואת רכיב ההפצה של Cloud Trace. אפשר גם להשתמש בכל כלי ייצוא שתבחרו.

    pip install opentelemetry-exporter-gcp-trace opentelemetry-propagator-gcp

  3. מתקינים את כלי המעקב של OpenTelemetry כדי לעקוב אחרי בקשות ה-HTTP הבסיסיות.

    pip install opentelemetry-instrumentation-requests

  4. מגדירים את משתנה הסביבה כדי להפעיל מעקב באופן סלקטיבי עבור לקוח האחסון של Python:

    export ENABLE_GCS_PYTHON_CLIENT_OTEL_TRACES=True

  5. מגדירים את כלי הייצוא של נתוני המעקב ואת ספק נתוני המעקב. 

    
from opentelemetry import trace
from opentelemetry.exporter.cloud_trace import CloudTraceSpanExporter
from opentelemetry.resourcedetector.gcp_resource_detector import (
    GoogleCloudResourceDetector,
)
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.sdk.trace.sampling import ALWAYS_ON
# Optional: Enable traces emitted from the requests HTTP library.
from opentelemetry.instrumentation.requests import RequestsInstrumentor

from google.cloud import storage

# The ID of your GCS bucket
# bucket_name = "your-bucket-name"
# The ID of your GCS object
# blob_name = "your-object-name"
# The contents to upload to the file
# data = "The quick brown fox jumps over the lazy dog."

# In this sample, we use Google Cloud Trace to export the OpenTelemetry
# traces: https://cloud.google.com/trace/docs/setup/python-ot
# Choose and configure the exporter for your environment.

tracer_provider = TracerProvider(
    # Sampling is set to ALWAYS_ON.
    # It is recommended to sample based on a ratio to control trace ingestion volume,
    # for instance, sampler=TraceIdRatioBased(0.2)
    sampler=ALWAYS_ON,
    resource=GoogleCloudResourceDetector().detect(),
)

# Export to Google Cloud Trace.
tracer_provider.add_span_processor(BatchSpanProcessor(CloudTraceSpanExporter()))
trace.set_tracer_provider(tracer_provider)

# Optional: Enable traces emitted from the requests HTTP library.
RequestsInstrumentor().instrument(tracer_provider=tracer_provider)

# Get the tracer and create a new root span.
tracer = tracer_provider.get_tracer("My App")
with tracer.start_as_current_span("trace-quickstart"):
    # Instantiate a storage client and perform a write and read workload.
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(blob_name)
    blob.upload_from_string(data)
    print(f"{blob_name} uploaded to {bucket_name}.")

    blob.download_as_bytes()
    print("Downloaded storage object {} from bucket {}.".format(blob_name, bucket_name))

הצגת העקבות

כדי להציג את נתוני העקבות במסוף, משתמשים בכלי לבדיקת עקבות ב-Cloud Trace: Google Cloud

  1. נכנסים לדף Trace explorer במסוף Google Cloud :

    כניסה אל Trace explorer

    אפשר גם להשתמש בסרגל החיפוש כדי למצוא את הדף הזה.

  2. בדף Trace explorer, לוחצים על trace ספציפי בתרשים הפיזור כדי לראות את פרטי ה-trace.

    בחלונית Trace details מוצגת טבלה של טווחים של מעקב.

  3. אופציונלי: לוחצים על שורה של יחידה לוגית למעקב כדי לראות מידע מפורט על יחידה לוגית למעקב ספציפית, כמו המידע הבא:

    • מאפיינים: צמדי מפתח/ערך שמספקים מידע נוסף על יחידה לוגית למעקב.

    • יומנים ואירועים: רשומות ביומן שמשויכות לטווח.

    • דוחות קריסות: דוחות קריסות שמשויכים ליחידה לוגית למעקב.

    • מטא-נתונים וקישורים: קישורים לשירותים אחרים של Google Cloud Google שמשויכים לטווח.

מידע נוסף על השימוש בכלי Cloud Trace Explorer זמין במאמר חיפוש עקבות ועיון בהם.

המאמרים הבאים