Note: Vertex AI Search is being renamed to Agent Search. We are in the process of updating content to reflect the new branding.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

קבלת תוצאות חיפוש של נתונים רפואיים

זהירות:

הגבלות בתחום הבריאות: כלקוחות, אסור לכם להשתמש בשירותי ה-AI הגנרטיבי למטרות קליניות (למען הבהרה, מחקר לא קליני, תזמון או משימות אדמיניסטרטיביות אחרות לא מוגבלים), כתחליף לייעוץ רפואי מקצועי או בכל אופן אחר שנמצא בפיקוח של רשות רגולטורית רלוונטית או שדורש אישור ממנה. כמו כן, אסור לכם לאפשר למשתמשי הקצה לעשות זאת. מידע נוסף זמין במאמר תנאים ספציפיים לשירות.
לשם הבהרה, בנוגע לשימוש בחיפוש מבוסס סוכנים כדי לאחזר ולסכם מידע רפואי קיים, ההגבלה על השימוש למטרות קליניות פירושה הגבלה על השימוש למטרות אבחון או טיפול ישירים ללא בדיקה על ידי איש מקצוע מורשה בהתאם לחוקים ולתקנות הרלוונטיים.
הפלט שנוצר לא תמיד אמין לחלוטין. בגלל האופי של מודלים גדולים של שפה (LLM) ו-AI גנרטיבי, יכול להיות שהפלט יכלול מידע שגוי או מוטה (למשל, סטריאוטיפים או תוכן פוגעני אחר), ולכן צריך לבדוק אותו. כל הסיכומים או התשובות הם טיוטות ולא סופיים.
השימוש המיועד במוצר הזה הוא לא לספק מידע שקשור למניעה, לאבחון או לטיפול במחלות. המוצר לא נועד לתת מענה לשאלות בנוגע להמלצות על אבחון או טיפול. השימוש המיועד במוצר הזה הוא לאחזר ולסכם מידע רפואי קיים שסופק על ידי משתמשים.
בגלל נתוני בדיקה מוגבלים, יכול להיות שהמוצר הזה לא מתאים לקבוצת הגיל 0-18 ולקבוצת הגיל 85 ומעלה. לכן, כשבודקים את הפלט שנוצר, הלקוחות צריכים להביא בחשבון את מידת הייצוג של אוכלוסיות משנה בנתוני המקור שלהם.

אחרי שמייבאים נתוני FHIR R4 לאפליקציית החיפוש של נתוני הבריאות, אפשר להריץ שאילתות על הנתונים המיובאים כדי לקבל תוצאות רלוונטיות. אפשר לחפש באמצעות סוגי השאילתות הבאים:

שאילתת מילת מפתח
שאילתה בשפה טבעית
שאילתה בשפה טבעית עם תשובה מ-AI גנרטיבי

בנוסף, אפשר לסנן את החיפוש באמצעות שאילתות עם סינון לפי תאריך. מידע נוסף זמין במאמר בנושא הגדרת מסנן resource_datetime.

כשמחפשים ב Google Cloud מסוף, צריך קודם לספק מזהה מטופל ולחפש בנתונים של מטופל אחד בכל פעם. כשמחפשים באמצעות API בארכיטקטורת REST, אפשר לחפש בכל מאגר הנתונים.

בדף הזה מוסבר איך לחפש נתונים של שירותי בריאות באמצעות סוגים שונים של שאילתות.

השימוש המיועד ב-Agent Search לחיפוש נתונים רפואיים

השימוש המיועד בחיפוש באמצעות סוכן הוא לא לספק מידע שקשור למניעה, לאבחון או לטיפול במחלות. המוצר לא נועד לתת מענה לשאלות בנוגע להמלצות על אבחון או טיפול. השימוש המיועד במוצר הזה הוא לאחזור ולסיכום של מידע רפואי קיים שסופק על ידי משתמשים.

בגלל נתוני בדיקה מוגבלים, יכול להיות שהמוצר הזה לא רלוונטי לקבוצות הגילאים 0-18 ו-85 ומעלה. לכן, כשבודקים את הפלט שנוצר, הלקוחות צריכים להביא בחשבון את מידת הייצוג של אוכלוסיות משנה בנתוני המקור שלהם.

הנה כמה דוגמאות לשימוש במוצר הזה:

שאילתות גישוש כדי למצוא מידע על מטופל שרלוונטי לנושא מסוים:
- ‫"Summarize the aspirin uses" (סכם את השימושים באספירין)
- ‫"blood pressure"
- ‫"diabetes management?"
שאילתות ניווט כדי למצוא משאבים ספציפיים שאפשר למפות לשאילתה מובנית:
- ‫"Show me the most recent a1c" ‏(הצגת בדיקת ה-A1C האחרונה)
שאלות ותשובות שחולצו כדי לענות על שאלות ספציפיות שבהן יכול להיות שהמידע מפוזר בין מקורות שונים:
- "האם המטופל הזה קיבל אי פעם טיפול ב-cephalsporin"
- "האם המטופל עבר אי פעם הערכה פסיכיאטרית"

הדוגמאות הבאות ממחישות איך לא מומלץ להשתמש במוצר הזה:

המלצות לאבחון והמלצות לטיפול:
- "What is the differential diagnosis for this patient?"
- "What drugs should I prescribe to the patient?"

הנחיות לשאילתות

ההנחיות הבאות יעזרו לכם לנסח שאילתה שתניב תוצאות חיפוש טובות יותר:

חיפוש שאילתות עם כוונות ספציפיות: מכיוון שהמודל לא יודע מה אתם מחפשים, עדיף לספק שאילתה ממוקדת ולא שאילתה כללית. לדוגמה, חיפוש מילת המפתח "יתר לחץ דם" עדיף על חיפוש מילת המפתח "סיכום". בעוד שהשאילתה "יתר לחץ דם" מציגה תוצאות ספציפיות ממסמכים רלוונטיים, השאילתה "סיכום" יכולה להציג תוצאות ממסמכים לא רלוונטיים.
שמירה על ההקשר: מכיוון שחיפוש הוא לא שיחה, עדיף לספק את ההקשר המלא לכל שאילתה. לדוגמה, אם השאילתה הראשונית שלכם היא "יתר לחץ דם" ואתם רוצים להמשיך באותו נושא, עדיף להשתמש בשאילתה השנייה "מתי אובחן יתר לחץ דם" במקום בשאילתה "מתי אובחן זה".
לפשט את השאילתה: כשזה אפשרי, כדאי לפצל שאילתות מורכבות לשאילתות פשוטות יותר. לדוגמה, במקום לחפש את המונחים "קריאטינין ואלבומין", כדאי ליצור שאילתות שונות למונחים "קריאטינין", "אלבומין" ו "יחס קריאטינין אלבומין", בהתאם למטרה שלכם.
לא כדאי לבקש מסקנות: תוצאות החיפוש מדויקות יותר כשהמודל יכול להחזיר מידע מילה במילה מהמסמכים שהוא מחפש, במקום לחשב או להסיק מהמידע שנמצא. לדוגמה, במקום לשאול "מה היה השינוי במשקל של המטופל", אפשר לשאול "מה היה המשקל של המטופל ב-10 הביקורים האחרונים" ואז לחשב את השינוי במשקל בנפרד.

הדגשת התאמה בתוצאות

הדגשת התאמה היא הגדרה שמדגישה חלקים מהטקסט בתוצאת חיפוש שתואמים לשאילתת החיפוש בהקשר.

התוצאות מסוגי המשאבים הבאים תומכות בהדגשת התאמות:

קומפוזיציה: הדגשת טקסט הקשרי מהשדה Composition.section[].text.div.
DiagnosticReport: Highlights contextual text from the DiagnosticReport.conclusion field.
DocumentReference: מדגיש טקסט הקשרי מהמסמכים שאליהם יש הפניה בשדה DocumentReference.content[0].attachment.url. הטקסט המודגש מוקף בתיבת תוחמת. תיבת התוחמת מיוצגת על ידי שני סטים של קואורדינטות מנורמלות בתגובת החיפוש. המסמכים שתומכים בהדגשת התאמות הם קובצי PDF וקובצי תמונות עם סוגים נתמכים. בתמונה הבאה אפשר לראות איך טקסט מודגש במסמך סרוק מסוג המשאב DocumentReference:

איור 1. הדגשת התאמות במסמך סרוק מסוג DocumentReference.

כשמחפשים באמצעות API בארכיטקטורת REST, צריך להפעיל את הדגשת ההתאמה בבקשת החיפוש באמצעות השדה matchHighlightingCondition. התשובה מכילה את השדה match_highlighting, שבו אפשר להשתמש כדי להציג את הטקסט המודגש באפליקציית החיפוש:

במסמכים מסוג Composition ו-DiagnosticReport, השדה match_highlighting מכיל את אינדקס ההתחלה והסיום של הטוקן שצריך להדגיש.
במסמכי DocumentReference, השדה match_highlighting מכיל את הקואורדינטות של התיבה התוחמת שמדגישה את הטקסט. תיבת התוחמת מיוצגת על ידי שני סטים של קואורדינטות מנורמלות, כשהמקור שלהן הוא בפינה הימנית העליונה של המסמך. השדה הזה מכיל גם את השדה page_number, שמוגדר ל-0 לתמונות ול-1 לדף הראשון של קובצי PDF.

כשמציגים תצוגה מקדימה של תוצאות החיפוש באמצעות מסוף Google Cloud , הדגשת ההתאמה מופעלת כברירת מחדל.

לפני שמתחילים

לפני שמחפשים, צריך:

יוצרים אפליקציה לחיפוש נתונים בתחום הבריאות ומאגר נתונים לחיפוש בתחום הבריאות, ומייבאים נתוני FHIR R4. מידע נוסף מופיע במאמרים יצירת אפליקציה לחיפוש מידע בתחום הבריאות ויצירת מאגר נתונים לחיפוש מידע בתחום הבריאות.
הגדרת תוצאות חיפוש של נתונים בתחום הבריאות
כדי לקבל הצעות שימושיות לשאילתות כשמחפשים, מפעילים את ההשלמה האוטומטית. זו תכונה בגרסת טרום-השקה (Preview).
כאן מופיעה רשימה של משאבי FHIR R4 שנתמכים בחיפוש באמצעות סוכן. מידע נוסף זמין במאמר הפניה לסכימת נתונים של FHIR R4 בתחום הבריאות.

חיפוש באמצעות מילת מפתח

אתם יכולים לחפש במאגר נתוני הבריאות באמצעות מילת מפתח. לדוגמה, אפשר לחפש באמצעות מילות מפתח כמו a1c,‏ insulin או ulcer כדי לקבל משאבי FHIR רלוונטיים.

בתמונה הבאה מוצגות תוצאות החיפוש כשמילת המפתח היא lipid (שומן). בדוגמה הזו לא מופיע סיכום או תשובה שנוצרה על ידי AI.

השאילתה היא 'שומנים'. — **איור 2.** חיפוש באמצעות מילת מפתח.

כדי לחפש באמצעות מילת מפתח, מבצעים את השלבים הבאים.

המסוף

נכנסים לדף AI Applications במסוף Google Cloud .

אפליקציות AI
בוחרים את אפליקציית החיפוש בתחום הבריאות שרוצים לשלוח אליה שאילתה.
בתפריט הניווט, לוחצים על תצוגה מקדימה.
בשדה Patient ID (מזהה המטופל), מזינים את המזהה של המטופל שרוצים לשלוח לגביו שאילתה. מזהי מטופלים הם תלויי אותיות רישיות.
מקישים על Enter או לוחצים על תצוגה מקדימה כדי לשלוח את מזהה המטופל.
בסרגל החיפוש כאן מקלידים כדי לחפש, מקלידים מילת מפתח כדי לחפש.

אם הפעלתם את ההשלמה האוטומטית, תראו רשימה של הצעות להשלמה אוטומטית מתחת לסרגל החיפוש בזמן ההקלדה.
מקישים על Enter כדי לשלוח את השאילתה.
- תוצאות החיפוש מוצגות בטבלאות עם מספור עמודים, שמסווגות לפי סוג המשאב שלהן ב-FHIR.
- כברירת מחדל, תוצאות החיפוש של כל סוגי משאבי ה-FHIR מוצגות בסדר כרונולוגי הפוך.
זה שינוי אופציונלי. כדי לסנן את התוצאות, בוחרים קטגוריה אחת או יותר של משאבי FHIR מתחת לסרגל החיפוש.
זה שינוי אופציונלי. כדי למיין את התוצאות לפי רלוונטיות למשאבים Composition,‏ DocumentReference ו-DiagnosticReport, לוחצים על המסנן Sort: Reverse Chronological ובוחרים באפשרות Relevance מהרשימה. מידע נוסף מופיע במאמר בנושא הזמנת תוצאות חיפוש של שירותי בריאות.

REST

בדוגמה הבאה אפשר לראות איך לחפש נתונים של מטופל יחיד ב-FHIR R4 באפליקציית החיפוש של נתונים בתחום הבריאות באמצעות מילת מפתח. בדוגמה הזו נעשה שימוש בשיטה servingConfigs.search.

כברירת מחדל, תוצאות החיפוש מוחזרות בסדר כרונולוגי הפוך. כשמחפשים במשאבים Composition,‏ DiagnosticReport ו-DocumentReference, אפשר למיין את תוצאות החיפוש לפי הרלוונטיות. מידע נוסף זמין במאמר בנושא הצגת תוצאות חיפוש של שירותי בריאות.

לחפש באמצעות מילת מפתח.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/us/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
  -d '{
"query": "KEYWORD_QUERY",
"filter": "patientId: ANY(\"PATIENT_ID\")",
"contentSearchSpec":{"snippetSpec":{"returnSnippet":true}}
"displaySpec": {
    "matchHighlightingCondition": "MATCH_HIGHLIGHTING_CONDITION"
  }
}'

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
APP_ID: המזהה של אפליקציית חיפוש מבוסס סוכנים שרוצים לשלוח אליה שאילתה.
‫KEYWORD_QUERY: מילת המפתח שרוצים לחפש בנתונים הקליניים של המטופל, למשל diabetes (סוכרת) או a1c (המוגלובין מסוכר).
‫PATIENT_ID: מזהה המשאב של המטופל שאת הנתונים שלו רוצים לחפש.
‫MATCH_HIGHLIGHTING_CONDITION: מחרוזת שיכולה להכיל את הערכים הבאים:
- ‫MATCH_HIGHLIGHTING_DISABLED: משבית את הדגשת ההתאמות בכל המסמכים.
- ‫MATCH_HIGHLIGHTING_ENABLED: מפעיל את הדגשת ההתאמה בכל המסמכים. אם משאירים את השדה הזה ריק או לא מציינים אותו, ההדגשה של התאמות מוגדרת לMATCH_HIGHLIGHTING_DISABLED ומושבתת בכל המסמכים.

תשובה

אתם אמורים לקבל תגובת JSON שדומה לתגובה הבאה (התגובה קוצרה). התשובה מכילה תוצאות חיפוש מפורטות שמופיעות בסדר כרונולוגי הפוך עם תקצירים, אם יש תקצירים. השדה structData מכיל את נתוני ה-JSON המובְנים של המסמך. השדה derivedStructData מכיל את הטקסט של הקטע, טוקנים של הדגשת התאמה וקואורדינטות של תיבה תוחמת (למסמכים סרוקים).

{
  "results": [
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
        },
        "derivedStructData": {
          "snippets": [
            {
              "snippet": "SNIPPET_TEXT",
              "snippet_status": "SUCCESS"
            }
          ],
          "match_highlighting":{
            "matched_tokens": [
              {
                "end_index": TOKEN_END_INDEX,
                "start_index": TOKEN_START_INDEX,
                "token_text": "HIGHLIGHTED TEXT"
              },
            ]
        }
      }
    },
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
          "DocumentReference": {
              "content": [
               {
                 "attachment": {
                   "url": "PATH/TO/STORAGE/FILE.png",
                   "creation": "2018-05-03T11:00:00+00:00",
                   "contentType": "image/png"
                 },
                 "format": {
                   "display": "Scanned",
                   "system": "https://g.co/fhir/harmonized/document_format",
                   "code": "scanned"
                 }
               }
             ],
             }
           },
        "derivedStructData": {
          "total_page_count": 1,
          "match_highlighting": {
            "matched_bounding_boxes": [
              {
                "page_number": 0,
                "page_bounding_boxes": [
                  {
                    "normalized_coordinates": [
                      X_MIN
                      Y_MIN
                      X_MAX
                      Y_MAX
                    ],
                    "token_text": "HIGHLIGHTED TEXT"
                  }
                ]
            }
    ...
    }
  }
 ]
}

חיפוש באמצעות אילתא בשפה טבעית

באמצעות חיפוש מבוסס סוכנים, אפשר לקבל תוצאות לשאילתות מורכבות בשפה טבעית. לדוגמה, בתמונה הבאה מוצגות התוצאות של שאילתת שפה טבעית: 'תוצאות בדיקות שקשורות לסוכרת'.

השאילתה היא 'What are the patient's lipid labs'. — **איור 4.** חיפוש באמצעות שאילתה בשפה טבעית.

כדי לחפש באמצעות שאילתה בשפה טבעית, פועלים לפי השלבים הבאים.

המסוף

נכנסים לדף AI Applications במסוף Google Cloud .

אפליקציות AI
בוחרים את אפליקציית החיפוש בתחום הבריאות שרוצים לשלוח אליה שאילתה.
בתפריט הניווט, לוחצים על תצוגה מקדימה.
בשדה Patient ID (מזהה מטופל), מזינים את מזהה המטופל של המטופל שרוצים לשלוח לגביו שאילתה. מזהי מטופלים הם תלויי אותיות רישיות.
מקישים על Enter או לוחצים על תצוגה מקדימה כדי לשלוח את מזהה המטופל.
בסרגל החיפוש חיפוש כאן, מזינים שאילתה בשפה טבעית, כמו "תוצאות בדיקות מעבדה שקשורות לסוכרת".

אם הפעלתם את ההשלמה האוטומטית, תראו רשימה של הצעות להשלמה אוטומטית מתחת לסרגל החיפוש בזמן ההקלדה.
מקישים על Enter כדי לשלוח את השאילתה.
- תוצאות החיפוש מוצגות בטבלאות עם מספור עמודים, שמסווגות לפי סוג המשאב שלהן ב-FHIR.
- כברירת מחדל, תוצאות החיפוש של כל סוגי משאבי ה-FHIR מוצגות בסדר כרונולוגי הפוך.
זה שינוי אופציונלי. בוחרים קטגוריה אחת או יותר של משאבי FHIR שמופיעים מתחת לסרגל החיפוש כדי לסנן את התוצאות.
זה שינוי אופציונלי. כדי למיין את התוצאות לפי רלוונטיות למשאבים Composition,‏ DocumentReference ו-DiagnosticReport, לוחצים על המסנן Sort: Reverse Chronological ובוחרים באפשרות Relevance מהרשימה. מידע נוסף מופיע במאמר בנושא הזמנת תוצאות חיפוש של שירותי בריאות.

REST

בדוגמה הבאה אפשר לראות איך מחפשים נתוני FHIR R4 של מטופל יחיד באפליקציית החיפוש של מערכת הבריאות באמצעות שאילתה בשפה טבעית. בדוגמה הזו נעשה שימוש בשיטה servingConfigs.search. כדי לבצע חיפוש באמצעות שאילתה בשפה טבעית, צריך להוסיף את השדה naturalLanguageQueryUnderstandingSpec לגוף הבקשה.

פרסום שאילתה בשפה טבעית.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/us/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
  -d '{
"query": "NATURAL_LANGUAGE_QUERY",
"filter": "patientId: ANY(\"PATIENT_ID\")",
"contentSearchSpec":{"snippetSpec":{"returnSnippet":true}},
"naturalLanguageQueryUnderstandingSpec":{"filterExtractionCondition":"ENABLED"},
"displaySpec": {
    "matchHighlightingCondition": "MATCH_HIGHLIGHTING_CONDITION"
  }
}'

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
APP_ID: המזהה של אפליקציית חיפוש מבוסס סוכנים שרוצים לשלוח אליה שאילתה.
‫NATURAL_LANGUAGE_QUERY: השאילתה בשפה טבעית, למשל "תוצאות בדיקות שקשורות לסוכרת" או "האם המטופל מקבל כרגע תרופות כלשהן".
‫PATIENT_ID: מזהה המשאב של המטופל שאת הנתונים שלו רוצים לחפש.
‫MATCH_HIGHLIGHTING_CONDITION: מחרוזת שיכולה להכיל את הערכים הבאים:
- ‫MATCH_HIGHLIGHTING_DISABLED: משבית את הדגשת ההתאמות בכל המסמכים.
- ‫MATCH_HIGHLIGHTING_ENABLED: מפעיל את הדגשת ההתאמה בכל המסמכים. אם משאירים את השדה הזה ריק או לא מציינים אותו, ההדגשה של התאמות מוגדרת לMATCH_HIGHLIGHTING_DISABLED ומושבתת בכל המסמכים.

תשובה

אתם אמורים לקבל תגובת JSON שדומה לתגובה הבאה (התגובה קוצרה). התשובה מכילה תוצאות חיפוש מפורטות שמופיעות בסדר כרונולוגי הפוך עם תקצירים, אם יש תקצירים. השדה structData מכיל את נתוני ה-JSON המובְנים של המסמך. השדה derivedStructData מכיל את הטקסט של התקציר, טוקנים של הדגשת התאמה וקואורדינטות של תיבת תוחמת (למסמכים סרוקים).

{
  "results": [
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
        },
        "derivedStructData": {
          "snippets": [
            {
              "snippet": "SNIPPET_TEXT",
              "snippet_status": "SUCCESS"
            }
          ],
          "match_highlighting":{
            "matched_tokens": [
              {
                "end_index": TOKEN_END_INDEX,
                "start_index": TOKEN_START_INDEX,
                "token_text": "HIGHLIGHTED TEXT"
              },
            ]
        }
      }
    },
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
          "DocumentReference": {
              "content": [
               {
                 "attachment": {
                   "url": "PATH/TO/STORAGE/FILE.png",
                   "creation": "2018-05-03T11:00:00+00:00",
                   "contentType": "image/png"
                 },
                 "format": {
                   "display": "Scanned",
                   "system": "https://g.co/fhir/harmonized/document_format",
                   "code": "scanned"
                 }
               }
             ],
             }
           },
        "derivedStructData": {
          "total_page_count": 1,
          "match_highlighting": {
            "matched_bounding_boxes": [
              {
                "page_number": 0,
                "page_bounding_boxes": [
                  {
                    "normalized_coordinates": [
                      X_MIN
                      Y_MIN
                      X_MAX
                      Y_MAX
                    ],
                    "token_text": "HIGHLIGHTED TEXT"
                  }
                ]
            }
    ...
    }
  ]
}

חיפוש באמצעות שאילתת שפה טבעית עם תשובה שנוצרה על ידי AI גנרטיבי

כשמחפשים נתוני FHIR של מטופל באמצעות שאילתה בשפה טבעית, אפשר לבחור לקבל תשובה מ-AI גנרטיבי לצד תוצאות החיפוש. התשובה מסכמת את תוצאות החיפוש ומציגה גם את ההפניות ששימשו ליצירת התשובה.

כשמשתמשים במסוף, אפשר לבחור את המודל הגדול של השפה (LLM) לתשובות מבוססות-AI גנרטיבי. מידע נוסף זמין במאמר בנושא הגדרת תוצאות חיפוש של נתונים בתחום הבריאות.

כשמשתמשים ב-API בארכיטקטורת REST, אפשר לציין את מודל ה-LLM שרוצים להשתמש בו. רשימת הדגמים הנתמכים מופיעה במאמר דגמים זמינים.

בתמונה הבאה אפשר לראות דוגמה לשאילתת שפה טבעית עם תשובה שנוצרה על ידי AI גנרטיבי. סיכום החיפוש מספק תשובה לשאילתה על ידי סיכום הממצאים מתוצאות רלוונטיות. אפשר להרחיב פלחים שיש להם ציטוטים כדי לראות את ההפניות ששימשו ליצירת הפלח שנבחר. לא כל התשובות שנוצרו כוללות ציטוטים.

השאילתה היא 'What are the
patient's lipid labs'. תוצאות החיפוש מוצגות בפורמט טבלאי . תוצאות החיפוש מלוות בסיכום שנוצר על ידי AI גנרטיבי, שבו נכתב: quote The patient has no
known allergies endquote. — **איור 3.** חיפוש באמצעות שאילתה בשפה טבעית עם תשובה שנוצרה על ידי AI גנרטיבי.

כדי לחפש באמצעות תשובה שנוצרה על ידי AI גנרטיבי:

המסוף

נכנסים לדף AI Applications במסוף Google Cloud .

אפליקציות AI
בוחרים את אפליקציית החיפוש בתחום הבריאות שרוצים לשלוח אליה שאילתה.
בתפריט הניווט, לוחצים על Configurations (הגדרות).
כדי להתאים אישית את ווידג'ט החיפוש:
1. בשדה סוג החיפוש, בוחרים באפשרות חיפוש עם תשובה.
2. בוחרים את המודל שרוצים להשתמש בו כדי ליצור את הסיכום. למידע נוסף, ראו הגדרת תוצאות חיפוש של נתוני בריאות
3. שומרים ומפרסמים את ההעדפות.
בתפריט הניווט, לוחצים על תצוגה מקדימה.
בשדה Patient ID (מזהה מטופל), מזינים את מזהה המטופל של המטופל שרוצים לשלוח לגביו שאילתה. מזהי מטופלים הם תלויי אותיות רישיות.
מקישים על Enter או לוחצים על תצוגה מקדימה כדי לשלוח את מזהה המטופל.
בסרגל החיפוש חיפוש כאן, מזינים שאילתה בשפה טבעית, כמו "nsaids",‏ "What are the patient's lipid labs" (מהן בדיקות השומנים של המטופל) או "What is the most recent A1C result" (מהי התוצאה האחרונה של בדיקת A1C).

אם הפעלתם את ההשלמה האוטומטית, תראו רשימה של הצעות להשלמה אוטומטית מתחת לסרגל החיפוש בזמן ההקלדה.
מקישים על Enter כדי לשלוח את השאילתה.
- התשובה שנוצרה על ידי AI גנרטיבי מוצגת מתחת לסרגל החיפוש.
- תוצאות החיפוש מוצגות בטבלאות עם מספור עמודים, שמסווגות לפי סוג המשאב שלהן ב-FHIR.
- כברירת מחדל, תוצאות החיפוש של כל סוגי משאבי ה-FHIR מוצגות בסדר כרונולוגי הפוך.
זה שינוי אופציונלי. אפשר להרחיב קטע בתשובה שיש בו ציטוטים כדי לראות את ההפניות שלו מתוצאות החיפוש.
זה שינוי אופציונלי. בוחרים קטגוריה אחת או יותר של משאבי FHIR שמופיעים מתחת לסרגל החיפוש כדי לסנן את התוצאות.
זה שינוי אופציונלי. כדי למיין את התוצאות לפי רלוונטיות למשאבים Composition,‏ DocumentReference ו-DiagnosticReport, לוחצים על המסנן Sort: Reverse Chronological ובוחרים באפשרות Relevance מהרשימה. מידע נוסף מופיע במאמר בנושא הזמנת תוצאות חיפוש של שירותי בריאות.

REST

בדוגמה הבאה מוצג איך לחפש נתונים של מטופל יחיד ב-FHIR R4 באפליקציית החיפוש בתחום הבריאות באמצעות שאילתה בשפה טבעית עם תשובות מ-AI גנרטיבי. בדוגמה הזו נעשה שימוש בשיטה servingConfigs.search.

כדי לבצע חיפוש באמצעות שאילתה בשפה טבעית, צריך להוסיף את השדה naturalLanguageQueryUnderstandingSpec לגוף הבקשה.
כדי לכלול אינדקסים של ציטוטים בתוך הטקסט, צריך להוסיף את השדה includeCitations. זהו שדה בוליאני שמוגדר כברירת מחדל לערך false.

פרסום שאילתה בשפה טבעית.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://us-discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/us/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
  -d '{
        "query": "QUERY",
        "filter": "patientId: ANY(\"PATIENT_ID\")",
        "contentSearchSpec": {
          "snippetSpec": {
            "returnSnippet": true
          },
          "displaySpec": {
              "matchHighlightingCondition": "MATCH_HIGHLIGHTING_CONDITION"
          }
          "summarySpec": {
            "summaryResultCount": 1,
            "includeCitations": true,
            "modelSpec": {
              "version": "MODEL_VERSION"
            }
          }
        },
        "naturalLanguageQueryUnderstandingSpec": {
          "filterExtractionCondition": "ENABLED"
        }
  }'

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
APP_ID: המזהה של אפליקציית חיפוש מבוסס סוכנים שרוצים לשלוח אליה שאילתה.
‫QUERY: השאילתה בשפה טבעית, כמו 'nsaids',‏ 'What are the patients lipid labs' או 'What is the most recent A1C result'. אם השאילתה כוללת גרש ', צריך להחליף אותו בהפניה מספרית לתו גרש: '.
‫PATIENT_ID: מזהה המשאב של המטופל שאת הנתונים שלו רוצים לחפש.
‫MODEL_VERSION: גרסת המודל שרוצים להשתמש בה כדי ליצור את התשובה. מודלים זמינים
‫MATCH_HIGHLIGHTING_CONDITION: מחרוזת שיכולה להכיל את הערכים הבאים:
- ‫MATCH_HIGHLIGHTING_DISABLED: משבית את הדגשת ההתאמות בכל המסמכים.
- ‫MATCH_HIGHLIGHTING_ENABLED: מפעיל את הדגשת ההתאמה בכל המסמכים. אם משאירים את השדה הזה ריק או לא מציינים אותו, ההדגשה של התאמות מוגדרת לMATCH_HIGHLIGHTING_DISABLED ומושבתת בכל המסמכים.

תשובה

אתם אמורים לקבל תגובת JSON שדומה לתגובה הבאה (התגובה קוצרה). התשובה מכילה תוצאות חיפוש מפורטות שמופיעות בסדר כרונולוגי הפוך, יחד עם השדות הבאים באובייקט summary:

‫summaryText: מכיל את סיכום התשובה שנוצר.
‫summaryWithMetadata: מכיל את סיכום התשובה שנוצר, עם ציטוטים. השדה הזה מוצג רק אם יש ציטוטים. לא כל התשובות שנוצרו כוללות ציטוטים. אם השדה summaryWithMetadata זמין, Google ממליצה להשתמש בו במקום בשדה summaryText.summaryWithMetadata
‫citations.sources.referenceIndex: מכיל את אינדקס ההפניה של המסמכים שמצוטטים בתשובה. השדה הזה שימושי כדי למצוא את השם המלא של המשאב של המסמך references.

השדה structData מכיל את נתוני ה-JSON המובְנים של המסמך. השדה derivedStructData מכיל את הטקסט של הקטע, את אסימוני ההדגשה של ההתאמה ואת קואורדינטות התיבה התוחמת של מסמכים שנסרקו.

{
  "results": [
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
        },
        "derivedStructData": {
          "snippets": [
            {
              "snippet": "SNIPPET_TEXT",
              "snippet_status": "SUCCESS"
            }
          ],
          "match_highlighting":{
            "matched_tokens": [
              {
                "end_index": TOKEN_END_INDEX,
                "start_index": TOKEN_START_INDEX,
                "token_text": "HIGHLIGHTED TEXT"
              },
            ]
        }
      }
    },
    {
      "id": "DOCUMENT_ID",
      "document": {
        "name": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID",
        "id": "DOCUMENT_ID",
        "structData": {
          ...
          "resource_type": "FHIR_RESOURCE_TYPE",
          "resource_datetime": "RESOURCE_DATETIME",
          "patient_id": "PATIENT_ID",
          "FHIR_RESOURCE_TYPE": { ... }
          "DocumentReference": {
              "content": [
               {
                 "attachment": {
                   "url": "PATH/TO/STORAGE/FILE.png",
                   "creation": "2018-05-03T11:00:00+00:00",
                   "contentType": "image/png"
                 },
                 "format": {
                   "display": "Scanned",
                   "system": "https://g.co/fhir/harmonized/document_format",
                   "code": "scanned"
                 }
               }
             ],
             }
           },
        "derivedStructData": {
          "total_page_count": 1,
          "match_highlighting": {
            "matched_bounding_boxes": [
              {
                "page_number": 0,
                "page_bounding_boxes": [
                  {
                    "normalized_coordinates": [
                      X_MIN
                      Y_MIN
                      X_MAX
                      Y_MAX
                    ],
                    "token_text": "HIGHLIGHTED TEXT"
                  }
                ]
            }
    ...
    }
  ]
  "summary": {
    "summaryText": "GENERATE_ANSWER_TEXT",
    "summaryWithMetadata": {
      "summary": "GENERATE_ANSWER_TEXT",
      "citationMetadata": {
        "citations": [
          {
            "sources": [
              {
                "id": "DOCUMENT_ID",
                "referenceIndex": "REFERENCE_INDEX_FROM_SUMMARY_METADATA"
              }
            ]
          }
       ]
      },
      "references": [
        {
          "document": "projects/PROJECT_ID/locations/us/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID"
        },
        ...
      ]
    },
  }
...
}

קבלת תוצאות חיפוש של נתונים רפואיים קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

השימוש המיועד ב-Agent Search לחיפוש נתונים רפואיים

הנחיות לשאילתות

הדגשת התאמה בתוצאות

לפני שמתחילים

חיפוש באמצעות מילת מפתח

המסוף

REST

תשובה

חיפוש באמצעות אילתא בשפה טבעית

המסוף

REST

תשובה

חיפוש באמצעות שאילתת שפה טבעית עם תשובה שנוצרה על ידי AI גנרטיבי

המסוף

REST

תשובה

קבלת תוצאות חיפוש של נתונים רפואיים