מודלים נתמכים של RAG Engine ב-Gemini Enterprise Agent Platform

בדף הזה מפורטים מודלים של Gemini, מודלים שפרסתם בעצמכם ומודלים עם ממשקי API מנוהלים ב-Agent Platform שתומכים ב-RAG Engine ב-Gemini Enterprise Agent Platform.

המודלים של Gemini

המודלים הבאים תומכים ב-RAG Engine:

כדי להרחיב את רשימת המודלים הנתמכים, לוחצים כאן

אין תמיכה במודלים של Gemini שעברו כוונון עדין כשמודלים של Gemini משתמשים ב-RAG Engine ב-Gemini Enterprise Agent Platform.

מודלים שמוטמעים באופן עצמאי

מנוע RAG ב-Gemini Enterprise Agent Platform תומך בכל המודלים ב-Model Garden.

שימוש ב-RAG Engine עם נקודות קצה של מודלים פתוחים שפרסתם בעצמכם.

מחליפים את המשתנים שמופיעים בדוגמת קוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.

  • ‫ENDPOINT_ID: מזהה נקודת הקצה.

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

מודלים עם ממשקי API מנוהלים ב-Agent Platform

המודלים עם ממשקי API מנוהלים ב-Agent Platform שתומכים במנוע RAG כוללים את המודלים הבאים:

בדוגמת הקוד הבאה אפשר לראות איך משתמשים ב-Gemini GenerateContent API כדי ליצור מופע של מודל גנרטיבי. מזהה המודל, /publisher/meta/models/llama-3.1-405B-instruct-maas, מופיע בכרטיס המודל.

מחליפים את המשתנים שמופיעים בדוגמת קוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.

  • ‫RAG_RETRIEVAL_TOOL: כלי השליפה של RAG.

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

בדוגמת הקוד הבאה אפשר לראות איך משתמשים ב-API‏ ChatCompletions שתואם ל-OpenAI כדי ליצור תגובה של מודל.

מחליפים את המשתנים שמופיעים בדוגמת קוד:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫LOCATION: האזור שבו הבקשה תעובד.
  • ‫MODEL_ID: מודל LLM ליצירת תוכן. לדוגמה, meta/llama-3.1-405b-instruct-maas.
  • ‫INPUT_PROMPT: הטקסט שנשלח למודל שפה גדול (LLM) ליצירת תוכן. להשתמש בפרומפט שרלוונטי למסמכים בחיפוש מבוסס סוכנים.
  • ‫RAG_CORPUS_ID: המזהה של משאב מאגר המידע של RAG.
  • ‫ROLE: התפקיד שלכם.
  • ‫USER: שם המשתמש שלכם.

  • ‫CONTENT: התוכן שלכם.

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

המאמרים הבאים