מבצע מעקב

ב-Vertex AI Feature Store (גרסה קודמת), אפשר לעקוב אחרי מאגרי תכונות ותכונות ולהגדיר התראות לגביהם. לדוגמה, צוות תפעול יכול לבצע מעקב אחרי השימוש במעבד של מאגר פיצ'רים. בעלי התכונות, כמו מדעני נתונים, עשויים לעקוב אחרי ערכי התכונות כדי לזהות סחף לאורך זמן.

בקטעים הבאים מתוארות השיטות למעקב אחרי מאגרי תכונות ותכונות:

מעקב אחרי מאגר תכונות
מעקב אחרי תכונות

מעקב אחרי מאגר תכונות

‫Vertex AI Feature Store (גרסה קודמת) מדווח על מדדים לגבי מאגר התכונות ל-Cloud Monitoring, כמו עומס המעבד, קיבולת האחסון, זמן האחזור של הבקשות והחיוב. ‫Vertex AI אוסף ומדווח את המדדים האלה בשבילכם. אין צורך להגדיר או להפעיל את המעקב אחר מאגר התכונות.

כדי להגדיר ספים והתראות, משתמשים ב-Cloud Monitoring. לדוגמה, אפשר להגדיר התראה אם העומס הממוצע על המעבד עולה על 70%, מה שעשוי לדרוש הגדלה של מספר הצמתים במאגר התכונות.

אפשר גם לראות את המדדים של מאגר הפיצ'רים בקטע Vertex AI ב Google Cloud מסוף כדי לראות את המגמות לאורך זמן. בחלק מהתרשימים, במסוף מוצגים ערכים מצטברים או מחושבים כדי להקל על הבנת המידע. תמיד אפשר לראות את הנתונים הגולמיים ב-Cloud Monitoring.

מידע נוסף זמין במאמר מדדי המעקב של Vertex AI Feature Store (Legacy) בדף Vertex AI Cloud Monitoring.

מעקב אחרי החיוב על נתונים ממקורות אופליין שעברו עיבוד במאגר תכונות

אפשר להשתמש במסוף Google Cloud כדי לעקוב אחרי נתונים שניתנים לחיוב ומעובדים אופליין באמצעות השיטות featurestores.batchReadFeatureValues ו-entityTypes.exportFeatureValues. אפשר לראות את מספר הבייטים שניתן לחייב עליהם עבור כל מאגר תכונות.

אפשר לעקוב אחרי המדד Billable bytes (בייט שניתן לחיוב) של Vertex AI Feature Store (Legacy) בסייר המדדים.

המסוף

במסוף Google Cloud , נכנסים אל Metrics Explorer:

כניסה לדף Metrics Explorer
ברשימה Metric בוחרים באפשרות Vertex AI Feature Store > Featurestore > Billable bytes.
לוחצים על אישור. בתרשים מוצגים הנתונים לחיוב אופליין של מאגרי התכונות בפרויקט.

אחרי שיוצרים את התרשים, אפשר להוסיף אותו למרכז הבקרה המותאם אישית. מידע נוסף מופיע במאמר שמירת תרשים לעיון בהמשך.

מעקב אחרי ערך התכונות

מעקב אחרי ערכי תכונות מאפשר לכם לעקוב אחרי השינויים בחלוקת ערכי התכונות במאגר פיצ'רים. יש תמיכה בסוגים הבאים של מעקב אחרי ערכי תכונות:

ניתוח תמונת מצב: Vertex AI Feature Store (מאמר שמתייחס לגרסה קודמת) יוצר תמונות מצב תקופתיות של ערכי התכונות. עם הזמן, ככל שתאספו יותר נתונים, יכול להיות שתבחינו בשינוי בהתפלגות של ערכי התכונות. השינוי הזה מצביע על כך שאולי יהיה צורך לאמן מחדש מודלים שמשתמשים בתכונות האלה. אפשר לציין סף כך שחריגות יתועדו במסוף Cloud Logging בכל פעם שהסטייה מההתפלגות חוצה את הסף.

עבור מערכי נתונים שמכילים יותר מ-5 מיליון מזהי ישויות, מאגר התכונות (גרסה קודמת) של Vertex AI יוצר תמונות מצב על סמך 5 מיליון מזהי ישויות שנבחרו באופן אקראי בתוך חלון הזמן שציינתם כמספר הימים של נתונים לא עדכניים.
ייבוא ניתוח תכונות: כל פעולת ImportFeatureValues יוצרת נתונים סטטיסטיים של התפלגות הערכים שמיובאים אל Vertex AI Feature Store (גרסה קודמת). אתם יכולים לבחור לזהות אנומליות על ידי השוואה בין נתוני ההתפלגות לבין התפלגות ערכי התכונות שייבאתם קודם לכן, או לבין התפלגות התמונות, אם האפשרות הזו מופעלת.

במערכי נתונים עם יותר מ-5 מיליון מקרים, Vertex AI Feature Store (גרסה קודמת) יוצר תמונות מצב על סמך נתונים שנבחרו באופן אקראי, באופן הבא:
- אם מספר המקרים במערך הנתונים שהועבר גדול מ-5 מיליון אבל לא גדול מ-50 מיליון, התמונה תיווצר על סמך 5 מיליון מקרים שנבחרו באופן אקראי.
- אם מספר המקרים בתוך מערך הנתונים שהועבר עולה על 50 מיליון, התמונה תיווצר על סמך 10% מהמקרים, שנבחרו באופן אקראי.

לדוגמה, נניח שיש תכונה שאוספת מחירים של בתים שנמכרו לאחרונה, ואז מעבירה את הערכים למודל כדי לחזות את המחיר של בית. יכול להיות שהמחירים של בתים שנמכרו לאחרונה ישתנו באופן משמעותי לאורך זמן, או שקבוצת הערכים שיובאה מכילה נתונים שחורגים באופן משמעותי מנתוני האימון. התראות של Vertex AI Feature Store (גרסה קודמת) מודיעות לכם על השינוי הזה. לאחר מכן תוכלו לאמן מחדש את המודל כדי להשתמש במידע העדכני ביותר.

הגדרת מעקב

כדי להתחיל במעקב, אפשר להגדיר תצורת מעקב בסוג ישות, וכך להפעיל מעקב לכל התכונות מהסוגים הבאים:

BOOL
STRING
DOUBLE
INT64

אפשר להגדיר את הגדרות המעקב כשיוצרים סוג ישות. אפשר גם להשבית את המעקב אחרי תכונות ספציפיות על ידי הגדרת המאפיין disableMonitoring. ההגדרות של המעקב אחרי סוג היישות מציינות את הפרטים הבאים:

האם להפעיל מעקב. המעקב מושבת כברירת מחדל.
ערכי הסף שמשמשים לזיהוי חריגות. סף ברירת המחדל הוא 0.3.
חלון המבט לאחור בנוסף למרווח בין תמונות המצב (לניתוח תמונות מצב). ערך ברירת המחדל הוא 21.
האם להפעיל ניתוח של תכונות ייבוא. ברירת המחדל היא השבתה.

מידע נוסף מופיע במאמר בנושא סוג FeaturestoreMonitoringConfig בהפניית ה-API.

יצירת סוג ישות עם הפעלת מעקב

בדוגמה הבאה נוצר סוג ישות, שבו מופעל מעקב אחרי תכונות:

ממשק משתמש באינטרנט

אפשר להשתמש בממשק המשתמש רק כדי לבצע ניתוח של תמונת מצב.

בקטע Vertex AI במסוף Google Cloud , עוברים לדף Features.

כניסה לדף Features
בוחרים אזור מהרשימה הנפתחת אזור.
לוחצים על יצירת סוג ישות.
משנים את הקטע Feature monitoring (מעקב אחרי תכונות) למצב Enabled (מופעל).
מזינים את מספר הימים בין התמונות לשנייה בשדה מרווח זמן לניטור.
עבודת המעקב של סוג ישות או תכונה מופעלת בשעה העגולה הקרובה ביותר אחרי השעה ביום שבה הפעלתם את המעקב של סוג הישות או התכונה. לדוגמה, אם מפעילים את המעקב בשעה 22:30 ביום שני ומציינים יומיים כמרווח הזמן למעקב, משימת המעקב הראשונה תפעל בשעה 23:00 ביום רביעי.
בשדה חלון מבט לאחור לצורך מעקב, מזינים את מספר הימים שרוצים להסתכל אחורה לגבי כל תמונת מצב.
בשדה סף ההתראה המספרי מזינים את המספר של סף החריגות שמשמש לזיהוי חריגות בתכונות מספריות.
בשדה Categorical alerting threshold (סף התראה לקטגוריות) מזינים את המספר של הסף שמשמש לזיהוי חריגות במאפיינים קטגוריים ב-EntityType הזה.
למידע נוסף על זיהוי חריגות בערכי מאפיינים, אפשר לעיין במאמר הצגת חריגות בערכי מאפיינים.
לוחצים על יצירה.
בטבלת התכונות, לוחצים על סוג ישות.
כדי להוסיף מאפיינים חדשים לישות, לוחצים על הוספת מאפיינים.
כדי להשבית את המעקב אחרי תכונה ספציפית, משביתים את המתג הפעלת מעקב.

REST

כדי ליצור סוג ישות, שולחים בקשת POST באמצעות השיטה entityTypes.create.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שבו נמצא מאגר התכונות, למשל us-central1.
‫PROJECT_ID: מזהה הפרויקט.
‫FEATURESTORE_ID: מזהה של מאגר התכונות.
‫ENTITY_TYPE_ID: מזהה סוג הישות.
‫DURATION: משך המרווח בין תמונות המצב בימים.
‫STALENESS_DAYS: מספר הימים שצריך לחזור אחורה כדי ליצור תמונות מצב.
‫NUMERICAL_THRESHOLD_VALUE: ערך הסף לזיהוי חריגות בתכונות מספריות בסוג הישות הזה. סטיית הנתונים הסטטיסטיים מחושבת באמצעות מדד ג'נסון-שאנון.
‫CATEGORICAL_THRESHOLD_VALUE: ערך הסף לזיהוי חריגות בתכונות קטגוריות בסוג הישות הזה. הסטייה הסטטיסטית מחושבת לפי מרחק L-אינסוף.
‫IMPORT_FEATURE_ANALYSIS_STATE: המצב שמציין אם להפעיל את ניתוח התכונות של הייבוא.
‫IMPORT_FEATURE_ANALYSIS_BASELINE: קו הבסיס לניתוח תכונות הייבוא אם האפשרות הזו מופעלת.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes?entityTypeId=ENTITY_TYPE_ID

גוף בקשת JSON:

{
  "monitoringConfig": {
    "snapshotAnalysis": {
      "monitoringIntervalDays": "DURATION"
      "stalenessDays": "STALENESS_DAYS"
    }
  },
 "numericalThresholdConfig": {
    "value": "NUMERICAL_THRESHOLD_VALUE"
  },
  "categoricalThresholdConfig": {
    "value": "CATEGORICAL_THRESHOLD_VALUE"
  },
  "importFeatureAnalysis": {
    "state": "IMPORT_FEATURE_ANALYSIS_STATE",
    "anomalyDetectionBaseline": "IMPORT_FEATURE_ANALYSIS_BASELINE"
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes?entityTypeId=ENTITY_TYPE_ID"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes?entityTypeId=ENTITY_TYPE_ID" | Select-Object -Expand Content

הפלט שיוצג אמור להיות דומה לזה שמופיע כאן. אפשר להשתמש ב-OPERATION_ID בתגובה כדי לקבל את הסטטוס של הפעולה.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.ui.CreateEntityTypeOperationMetadata",
    "genericMetadata": {
      "createTime": "2022-04-29T20:29:05.206525Z",
      "updateTime": "2022-04-29T20:29:05.206525Z"
    }
  }
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה במאמר Vertex AI quickstart using client libraries. מידע נוסף מופיע במאמרי העזרה של Vertex AI Java API.

כדי לבצע אימות ב-Vertex AI, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.


import com.google.api.gax.longrunning.OperationFuture;
import com.google.cloud.aiplatform.v1.CreateEntityTypeOperationMetadata;
import com.google.cloud.aiplatform.v1.CreateEntityTypeRequest;
import com.google.cloud.aiplatform.v1.EntityType;
import com.google.cloud.aiplatform.v1.FeaturestoreMonitoringConfig;
import com.google.cloud.aiplatform.v1.FeaturestoreMonitoringConfig.SnapshotAnalysis;
import com.google.cloud.aiplatform.v1.FeaturestoreName;
import com.google.cloud.aiplatform.v1.FeaturestoreServiceClient;
import com.google.cloud.aiplatform.v1.FeaturestoreServiceSettings;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateEntityTypeMonitoringSample {

  public static void main(String[] args)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "YOUR_PROJECT_ID";
    String featurestoreId = "YOUR_FEATURESTORE_ID";
    String entityTypeId = "YOUR_ENTITY_TYPE_ID";
    String description = "YOUR_ENTITY_TYPE_DESCRIPTION";
    int monitoringIntervalDays = 1;
    String location = "us-central1";
    String endpoint = "us-central1-aiplatform.googleapis.com:443";
    int timeout = 300;
    createEntityTypeMonitoringSample(
        project,
        featurestoreId,
        entityTypeId,
        description,
        monitoringIntervalDays,
        location,
        endpoint,
        timeout);
  }

  static void createEntityTypeMonitoringSample(
      String project,
      String featurestoreId,
      String entityTypeId,
      String description,
      int monitoringIntervalDays,
      String location,
      String endpoint,
      int timeout)
      throws IOException, InterruptedException, ExecutionException, TimeoutException {

    FeaturestoreServiceSettings featurestoreServiceSettings =
        FeaturestoreServiceSettings.newBuilder().setEndpoint(endpoint).build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (FeaturestoreServiceClient featurestoreServiceClient =
        FeaturestoreServiceClient.create(featurestoreServiceSettings)) {

      FeaturestoreMonitoringConfig featurestoreMonitoringConfig =
          FeaturestoreMonitoringConfig.newBuilder()
              .setSnapshotAnalysis(
                  SnapshotAnalysis.newBuilder().setMonitoringIntervalDays(monitoringIntervalDays))
              .build();

      EntityType entityType =
          EntityType.newBuilder()
              .setDescription(description)
              .setMonitoringConfig(featurestoreMonitoringConfig)
              .build();

      CreateEntityTypeRequest createEntityTypeRequest =
          CreateEntityTypeRequest.newBuilder()
              .setParent(FeaturestoreName.of(project, location, featurestoreId).toString())
              .setEntityType(entityType)
              .setEntityTypeId(entityTypeId)
              .build();

      OperationFuture<EntityType, CreateEntityTypeOperationMetadata> entityTypeFuture =
          featurestoreServiceClient.createEntityTypeAsync(createEntityTypeRequest);
      System.out.format(
          "Operation name: %s%n", entityTypeFuture.getInitialFuture().get().getName());
      System.out.println("Waiting for operation to finish...");
      EntityType entityTypeResponse = entityTypeFuture.get(timeout, TimeUnit.SECONDS);
      System.out.println("Create Entity Type Monitoring Response");
      System.out.format("Name: %s%n", entityTypeResponse.getName());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה במאמר Vertex AI quickstart using client libraries. מידע נוסף מופיע במאמרי העזרה של Vertex AI Node.js API.

כדי לבצע אימות ב-Vertex AI, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */

// const project = 'YOUR_PROJECT_ID';
// const featurestoreId = 'YOUR_FEATURESTORE_ID';
// const entityTypeId = 'YOUR_ENTITY_TYPE_ID';
// const description = 'YOUR_ENTITY_TYPE_DESCRIPTION';
// const duration = <MONITORING_INTERVAL_IN_SECONDS>;
// const location = 'YOUR_PROJECT_LOCATION';
// const apiEndpoint = 'YOUR_API_ENDPOINT';
// const timeout = <TIMEOUT_IN_MILLI_SECONDS>;

// Imports the Google Cloud Featurestore Service Client library
const {FeaturestoreServiceClient} =
  require('@google-cloud/aiplatform').v1beta1;

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: apiEndpoint,
};

// Instantiates a client
const featurestoreServiceClient = new FeaturestoreServiceClient(
  clientOptions
);

async function createEntityTypeMonitoring() {
  // Configure the parent resource
  const parent = `projects/${project}/locations/${location}/featurestores/${featurestoreId}`;

  const entityType = {
    description: description,
    monitoringConfig: {
      snapshotAnalysis: {
        monitoringInterval: {
          seconds: Number(duration),
        },
      },
    },
  };

  const request = {
    parent: parent,
    entityTypeId: entityTypeId,
    entityType: entityType,
  };

  // Create EntityType request
  const [operation] = await featurestoreServiceClient.createEntityType(
    request,
    {timeout: Number(timeout)}
  );
  const [response] = await operation.promise();

  console.log('Create entity type monitoring response');
  console.log(`Name : ${response.name}`);
  console.log('Raw response:');
  console.log(JSON.stringify(response, null, 2));
}
createEntityTypeMonitoring();

שפות נוספות

במאמר שימוש ב-Vertex AI SDK ל-Python מוסבר איך להתקין את Vertex AI SDK ל-Python ואיך להשתמש בו. מידע נוסף מופיע במאמרי העזרה של ה-API בשפת Python של Vertex AI SDK.

השבתת המעקב אחרי תכונה חדשה

בדוגמה הבאה נוצרת תכונה חדשה כשהמעקב מושבת:

REST

כדי ליצור תכונה, שולחים בקשת POST באמצעות השיטה features.create.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שבו נמצא מאגר התכונות, למשל us-central1.
PROJECT_ID: .
‫FEATURESTORE_ID: מזהה של מאגר התכונות.
‫ENTITY_TYPE_ID: מזהה סוג הישות.
‫FEATURE_ID: מזהה התכונה.
‫VALUE_TYPE: סוג הערך של התכונה.
‫DISABLE_MONITORING: מגדירים את הערך ל-true כדי לבטל את ההסכמה למעקב באופן מפורש.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID?featureId=/FEATURE_ID

גוף בקשת JSON:

{
  "disableMonitoring": "DISABLE_MONITORING",
  "valueType": "VALUE_TYPE"
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID?featureId=/FEATURE_ID"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID?featureId=/FEATURE_ID" | Select-Object -Expand Content

הפלט שיוצג אמור להיות דומה לזה שמופיע כאן. אפשר להשתמש ב-OPERATION_ID בתגובה כדי לקבל את הסטטוס של הפעולה.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.ui.CreateFeatureOperationMetadata",
    "genericMetadata": {
      "createTime": "2022-04-29T20:29:05.206525Z",
      "updateTime": "2022-04-29T20:29:05.206525Z"
    }
  }
}

עדכון הגדרות המעקב

אפשר להגדיר את הגדרות המעקב כשמעדכנים סוג ישות. אפשר גם להשבית את המעקב אחרי תכונות ספציפיות על ידי הגדרת המאפיין disableMonitoring.

עדכון הגדרות המעקב עבור סוג הישות והתכונות

בדוגמה הבאה מעדכנים את הגדרות המעקב של סוג ישות קיים ותכונות ספציפיות של סוג הישות הזה:

ממשק משתמש באינטרנט

אפשר להשתמש בממשק המשתמש רק כדי לבצע ניתוח של תמונת מצב.

בקטע Vertex AI במסוף Google Cloud , עוברים לדף Features.
בוחרים אזור מהרשימה הנפתחת אזור.
בטבלת התכונות, מחפשים את סוג הישות שרוצים לעדכן בעמודה סוג הישות.
לוחצים על שם סוג הישות כדי לראות את דף הפרטים של הישות.
בסרגל הפעולות, לוחצים על עריכת הפרטים.
בשדה מרווח זמן לניטור, מזינים את מספר הימים בין תמונות המצב.
עבודת המעקב של סוג ישות או תכונה מופעלת בשעה העגולה הקרובה ביותר אחרי השעה ביום שבה הפעלתם את המעקב של סוג הישות או התכונה. לדוגמה, אם מפעילים את המעקב בשעה 22:30 ביום שני ומציינים יומיים כמרווח הזמן למעקב, משימת המעקב הראשונה תפעל בשעה 23:00 ביום רביעי.
לוחצים על עדכון.
באופן דומה, בטבלת התכונות, בוחנים את העמודה תכונות כדי למצוא את התכונה שרוצים לעדכן.
לוחצים על שם התכונה כדי לראות את דף הפרטים.
בסרגל הפעולות, לוחצים על עריכת הפרטים.
כדי להשבית את המעקב אחרי תכונה ספציפית, משביתים את האפשרות המעקב מופעל.

REST

כדי לעדכן סוג ישות, שולחים בקשת PATCH באמצעות השיטה entityTypes.patch.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שבו נמצא מאגר התכונות, למשל us-central1.
PROJECT_ID: .
‫FEATURESTORE_ID: מזהה של מאגר התכונות.
‫ENTITY_TYPE_ID: מזהה סוג הישות.
‫DURATION_IN_DAYS: משך המרווח בין תמונות המצב בימים.
‫STALENESS_DAYS: מספר הימים שצריך לחזור אחורה כדי ליצור תמונות מצב.
‫NUMERICAL_THRESHOLD_VALUE: ערך הסף לזיהוי חריגות בתכונות מספריות בסוג הישות הזה. סטיית הנתונים הסטטיסטיים מחושבת באמצעות מדד ג'נסון-שאנון.
‫CATEGORICAL_THRESHOLD_VALUE: ערך הסף לזיהוי חריגות בתכונות קטגוריות בסוג הישות הזה. הסטייה הסטטיסטית מחושבת לפי מרחק L-אינסוף.
‫IMPORT_FEATURE_ANALYSIS_STATE: המצב שמציין אם להפעיל את ניתוח התכונות של הייבוא.
‫IMPORT_FEATURE_ANALYSIS_BASELINE: ערך הבסיס שמציין ????

ה-method של ה-HTTP וכתובת ה-URL:

PATCH https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID

גוף בקשת JSON:

{
  "monitoringConfig": {
    "snapshotAnalysis": {
      "monitoringIntervalDays": "DURATION_IN_DAYS",
      "stalenessDays": "STALENESS_DAYS"
    }
  },
  "numericalThresholdConfig": {
    "value": "NUMERICAL_THRESHOLD_VALUE"
  },
  "categoricalThresholdConfig": {
    "value": "CATEGORICAL_THRESHOLD_VALUE"
  },
  "importFeatureAnalysis": {
    "state": "IMPORT_FEATURE_ANALYSIS_STATE",
    "anomalyDetectionBaseline": "IMPORT_FEATURE_ANALYSIS_BASELINE"
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID",
  "createTime": "2021-07-22T23:18:31.339972Z",
  "updateTime": "2021-07-29T22:24:40.221821Z",
  "etag": "AMEw9yPGDpwUwHx39gIDIg5mTQz65GMhnYHRzRslVPonm1g8xTnsTC5YUibmWo2MIuI=",
  "monitoringConfig": {
    "snapshotAnalysis": {
      "monitoringIntervalDays": "DURATION_IN_DAYS",
      "stalenessDays": "STALENESS_DAYS"
    }
  },
  "numericalThresholdConfig": {
    "value": "NUMERICAL_THRESHOLD_VALUE"
  },
  "categoricalThresholdConfig": {
    "value": "CATEGORICAL_THRESHOLD_VALUE"
  },
  "importFeatureAnalysis": {
    "state": "IMPORT_FEATURE_ANALYSIS_STATE",
    "anomalyDetectionBaseline": "IMPORT_FEATURE_ANALYSIS_BASELINE"
  }
}

Java

כדי לבצע אימות ב-Vertex AI, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.


import com.google.cloud.aiplatform.v1.EntityType;
import com.google.cloud.aiplatform.v1.EntityTypeName;
import com.google.cloud.aiplatform.v1.FeaturestoreMonitoringConfig;
import com.google.cloud.aiplatform.v1.FeaturestoreMonitoringConfig.SnapshotAnalysis;
import com.google.cloud.aiplatform.v1.FeaturestoreServiceClient;
import com.google.cloud.aiplatform.v1.FeaturestoreServiceSettings;
import com.google.cloud.aiplatform.v1.UpdateEntityTypeRequest;
import java.io.IOException;

public class UpdateEntityTypeMonitoringSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "YOUR_PROJECT_ID";
    String featurestoreId = "YOUR_FEATURESTORE_ID";
    String entityTypeId = "YOUR_ENTITY_TYPE_ID";
    int monitoringIntervalDays = 1;
    String location = "us-central1";
    String endpoint = "us-central1-aiplatform.googleapis.com:443";
    updateEntityTypeMonitoringSample(
        project, featurestoreId, entityTypeId, monitoringIntervalDays, location, endpoint);
  }

  static void updateEntityTypeMonitoringSample(
      String project,
      String featurestoreId,
      String entityTypeId,
      int monitoringIntervalDays,
      String location,
      String endpoint)
      throws IOException {

    FeaturestoreServiceSettings featurestoreServiceSettings =
        FeaturestoreServiceSettings.newBuilder().setEndpoint(endpoint).build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (FeaturestoreServiceClient featurestoreServiceClient =
        FeaturestoreServiceClient.create(featurestoreServiceSettings)) {
      FeaturestoreMonitoringConfig featurestoreMonitoringConfig =
          FeaturestoreMonitoringConfig.newBuilder()
              .setSnapshotAnalysis(
                  SnapshotAnalysis.newBuilder().setMonitoringIntervalDays(monitoringIntervalDays))
              .build();
      EntityType entityType =
          EntityType.newBuilder()
              .setName(
                  EntityTypeName.of(project, location, featurestoreId, entityTypeId).toString())
              .setMonitoringConfig(featurestoreMonitoringConfig)
              .build();

      UpdateEntityTypeRequest updateEntityTypeRequest =
          UpdateEntityTypeRequest.newBuilder().setEntityType(entityType).build();
      EntityType entityTypeResponse =
          featurestoreServiceClient.updateEntityType(updateEntityTypeRequest);
      System.out.println("Update Entity Type Monitoring Response");
      System.out.println(entityTypeResponse);
    }
  }
}

Node.js

כדי לבצע אימות ב-Vertex AI, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */

// const project = 'YOUR_PROJECT_ID';
// const featurestoreId = 'YOUR_FEATURESTORE_ID';
// const entityTypeId = 'YOUR_ENTITY_TYPE_ID';
// const duration = <MONITORING_INTERVAL_IN_SECONDS>;
// const location = 'YOUR_PROJECT_LOCATION';
// const apiEndpoint = 'YOUR_API_ENDPOINT';
// const timeout = <TIMEOUT_IN_MILLI_SECONDS>;

// Imports the Google Cloud Featurestore Service Client library
const {FeaturestoreServiceClient} =
  require('@google-cloud/aiplatform').v1beta1;

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: apiEndpoint,
};

// Instantiates a client
const featurestoreServiceClient = new FeaturestoreServiceClient(
  clientOptions
);

async function updateEntityTypeMonitoring() {
  // Configure the name resource
  const name = `projects/${project}/locations/${location}/featurestores/${featurestoreId}/entityTypes/${entityTypeId}`;

  // Constructing the monitoring configuration
  const monitoringConfig = {
    snapshotAnalysis: {
      monitoringInterval: {
        seconds: Number(duration),
      },
    },
  };

  // Constructing the entityType
  const entityType = {
    name: name,
    monitoringConfig: monitoringConfig,
  };

  const request = {
    entityType: entityType,
  };

  // Update EntityType request
  const [response] = await featurestoreServiceClient.updateEntityType(
    request,
    {timeout: Number(timeout)}
  );

  console.log('Update entity type monitoring response');
  console.log(`Name : ${response.name}`);
  console.log('Raw response:');
  console.log(JSON.stringify(response, null, 2));
}
updateEntityTypeMonitoring();

השבתת המעקב אחרי תכונה

בדוגמה הבאה מוצג איך משביתים את המעקב אחרי תכונה קיימת:

REST

כדי לעדכן תכונה, שולחים בקשת PATCH באמצעות השיטה features.patch.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שבו נמצא מאגר התכונות, למשל us-central1.
PROJECT_ID: .
‫FEATURESTORE_ID: מזהה של מאגר התכונות.
‫ENTITY_TYPE_ID: מזהה סוג הישות.
‫FEATURE_ID: המזהה של התכונה שרוצים לעדכן.
‫DISABLE_MONITORING: מגדירים את הערך ל-true כדי לבטל את ההסכמה למעקב באופן מפורש.

ה-method של ה-HTTP וכתובת ה-URL:

PATCH https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID/features/FEATURE_ID

גוף בקשת JSON:

{
  "disableMonitoring": "DISABLE_MONITORING"
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID/features/FEATURE_ID"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID/features/FEATURE_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION_ID/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID/features/FEATURE_ID",
  "valueType": "FEATURE_VALUE_TYPE",
  "createTime": "2021-07-22T23:18:31.339972Z",
  "updateTime": "2021-07-29T22:24:40.221821Z",
  "etag": "AMEw9yPGDpwUwHx39gIDIg5mTQz65GMhnYHRzRslVPonm1g8xTnsTC5YUibmWo2MIuI=",
  "disableMonitoring": "DISABLE_MONITORING"
}

צפייה בהתפלגות של ערכי התכונות

אפשר להשתמש במסוף Google Cloud כדי לראות את ההתפלגות של ערכי התכונות לאורך זמן.

ממשק משתמש באינטרנט

בקטע Vertex AI במסוף Google Cloud , עוברים לדף Features.

כניסה לדף Features
בוחרים אזור מהרשימה הנפתחת אזור.
כדי לראות את התפלגות הערכים של כל התכונות של סוג ישות, לוחצים על סוג הישות בעמודה סוג הישות.

הערה: בטבלת התכונות של סוג הישות מוצגים נתונים סטטיסטיים של התפלגות ערכי התכונות רק אם ההגדרה 'מעקב' מופעלת עבור התכונה הזו. כשמעדכנים ערך של תכונה, המידע בטבלה הזו לא מתעדכן עד שהמעקב מופעל לפחות פעם אחת. העיכוב הזה תלוי במרווח הזמן של המעקב שהוגדר לניתוח התמונה. מידע נוסף זמין במאמר בנושא הגדרת מעקב.
כדי לראות את מדדי ההתפלגות של ערכי התכונות:
1. בעמודה תכונה, לוחצים על התכונה.
2. לוחצים על הכרטיסייה מדדים כדי לראות את מדדי חלוקת ערכי התכונות.
הערה: אפשר לראות מדדים של הפצת תכונות רק אם ההגדרה 'מעקב' מופעלת לתכונה. בכרטיסייה Feature properties, מוודאים שבשדה Status בקטע Feature monitoring מופיע הערך Enabled. כל שאר הגדרות המעקב אחרי התכונות עוברות בירושה מסוג ישות האם.

צפייה באנומליות בערכי התכונות

אם ההתפלגות של ערכי התכונות חורגת מעבר לסף שצוין בצינור מעקב, היא נחשבת לחריגה. יש שני סוגים של אנומליות – הטיה בין שלב האימון לשלב ההצגה וסחף. כדי לחשב את הסטייה, מערכת Vertex AI משווה את הערכים האחרונים של התכונות בסביבת הייצור לערכי בסיס.

כדי לזהות training-serving skew, מערכת Vertex AI משווה בין ערכי התכונות האחרונים בסביבת הייצור לבין ההתפלגות הסטטיסטית של ערכי התכונות בנתוני האימון. במקרה כזה, ההתפלגות הסטטיסטית של ערכי המאפיינים בנתוני האימון נחשבת להתפלגות הבסיסית. מידע נוסף על הטיה בין אימון להפעלה
כדי לזהות סחף, מערכת Vertex AI משווה בין ערכי התכונות האחרונים בסביבת הייצור לבין ההתפלגות הסטטיסטית של ערכי התכונות מהרצת המעקב האחרונה שהתרחשה לפני שעה לפחות. במקרה כזה, ההתפלגות הסטטיסטית של ערכי התכונות מהרצת המעקב האחרונה נחשבת להתפלגות הבסיסית. מידע נוסף על סחף

בשני המקרים, המערכת משווה את התפלגות הבסיס לערכי התכונות האחרונים בסביבת הייצור כדי לחשב ציון מרחק.

עבור תכונות קטגוריות, ציון המרחק מחושב באמצעות מרחק L-אינסוף. במקרה כזה, אם ציון המרחק חורג מהסף שמצוין בשדה סף התראה קטגורי, הוא מזוהה כאנומליה.
עבור תכונות מספריות, ציון המרחק מחושב באמצעות ההתבדרות של ג'נסן-שאנון. במקרה כזה, אם ציון המרחק חורג מהסף שציינתם בשדה סף מספרי להתרעה, הוא מזוהה כאנומליה.

בכל מקרה, יכול להיות שהחריגה היא training-serving skew או סחף, בהתאם להתפלגות הבסיסית שמשמשת לחישוב ציון המרחק. יומן חריגות נכתב ב-Cloud Logging עם שם היומן featurestore_log. אפשר לסנכרן את היומנים עם כל שירות במורד הזרם שנתמך על ידי Cloud Logging, כמו Pub/Sub.

מידע נוסף על הגדרת ספי ההתראה זמין במאמר יצירת סוג ישות עם הפעלת מעקב.

דוגמה לשאילתה לגבי כל החריגות שנוצרו במאגר פיצ'רים מסוים

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2FFfeaturestore_log"
resource.labels.resource_container=<project_number>
resource.labels.featurestore_id=<featurestore_id>

דוגמה לרשומה ביומן לגבי אנומליה

{
  "insertId": "ktbx5jf7vdn7b",
  "jsonPayload": {
    "threshold": 0.001,
    "featureName": "projects/<project_number>/locations/us-central1/featurestores/<featurestore_id>/entityTypes/<entity_type_id>/features/<feature_id>",
    "deviation": 1,
    "@type": "type.googleapis.com/google.cloud.aiplatform.logging.FeatureAnomalyLogEntry",
    "objective": "Featurestore Monitoring Snapshot Drift Anomaly"
  },
  "resource": {
    "type": "aiplatform.googleapis.com/Featurestore",
    "labels": {
      "resource_container": "<project_number>",
      "location": "us-central1",
      "featurestore_id": "<featurestore_id>"
    }
  },
  "timestamp": "2022-02-06T00:54:06.455501Z",
  "severity": "WARNING",
  "logName": "projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Ffeaturestore_log",
  "receiveTimestamp": "2022-02-06T00:54:06.476107155Z"
}

מעקב אחר שגיאות כתיבה באחסון אופליין להטמעת עדכונים בזמן אמת

אפשר להשתמש במסוף Google Cloud כדי לעקוב אחרי שגיאות כתיבה באחסון אופליין במהלך הטמעת עדכונים בזמן אמת.

הצגת מדדים של הטמעת עדכונים בזמן אמת באחסון אופליין

אפשר לעקוב אחרי המדד Offline storage write for streaming write של Vertex AI Feature Store (Legacy) ב-Metrics Explorer.

ממשק משתמש באינטרנט

במסוף Google Cloud , נכנסים אל Metrics Explorer:

כניסה לדף Metrics Explorer
מציינים את הנתונים שיופיעו בתרשים:
- Resource & Metric: בוחרים את המדד Vertex AI Feature Store > Offline storage write for streaming write.
- סינון: בוחרים באפשרות error_code.
לוחצים על אישור. בתרשים מוצגות שגיאות הכתיבה באחסון אופליין עבור קודי השגיאה השונים.

אחרי שיוצרים את התרשים, אפשר להוסיף אותו למרכז הבקרה המותאם אישית. מידע נוסף מופיע במאמר שמירת תרשים לעיון עתידי.

צפייה ביומני Vertex AI Feature Store (גרסה קודמת)

אפשר לראות את רשומות היומן של מאגר התכונות, כולל יומנים שנוצרו במהלך שגיאות כתיבה במאגר אופליין, בLogs Explorer.

ממשק משתמש באינטרנט

במסוף Google Cloud , נכנסים אל Logs Explorer:

כניסה לדף Logs Explorer
בבונה השאילתות, מוסיפים את פרמטרים של שאילתה הבאים ולוחצים על הפעלת השאילתה:
- משאב: בוחרים באפשרות Vertex AI Feature Store.
- שם היומן: בקטע Vertex AI API, בוחרים באפשרות aiplatform.googlapis.com/featurestore_log.

מבצע מעקב קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מעקב אחרי מאגר תכונות

מעקב אחרי החיוב על נתונים ממקורות אופליין שעברו עיבוד במאגר תכונות

המסוף

מעקב אחרי ערך התכונות

הגדרת מעקב

יצירת סוג ישות עם הפעלת מעקב

ממשק משתמש באינטרנט

REST

curl

PowerShell

Java

Node.js

שפות נוספות

השבתת המעקב אחרי תכונה חדשה

REST

curl

PowerShell

עדכון הגדרות המעקב

עדכון הגדרות המעקב עבור סוג הישות והתכונות

ממשק משתמש באינטרנט

REST

curl

PowerShell

Java

Node.js

השבתת המעקב אחרי תכונה

REST

curl

PowerShell

צפייה בהתפלגות של ערכי התכונות

ממשק משתמש באינטרנט

צפייה באנומליות בערכי התכונות

דוגמה לשאילתה לגבי כל החריגות שנוצרו במאגר פיצ'רים מסוים

דוגמה לרשומה ביומן לגבי אנומליה

מעקב אחר שגיאות כתיבה באחסון אופליין להטמעת עדכונים בזמן אמת

הצגת מדדים של הטמעת עדכונים בזמן אמת באחסון אופליין

ממשק משתמש באינטרנט

צפייה ביומני Vertex AI Feature Store (גרסה קודמת)

ממשק משתמש באינטרנט

מבצע מעקב