Bilder aus Videos mit Gemini generieren

Vorschau

Dieses Produkt oder Feature ist eine Vorschau für generative KI, die den „Pre-GA-Angebotsbedingungen“ der dienstspezifischen Nutzungsbedingungen von Google Cloud unterliegt. Für dieses Generative AI Preview-Angebot können Kunden es für Produktions- oder kommerzielle Zwecke verwenden oder generierte Ausgaben an Dritte weitergeben und personenbezogene Daten gemäß dem Zusatz zur Verarbeitung von Cloud-Daten verarbeiten, vorbehaltlich der Verpflichtungen und Einschränkungen, die in der Vereinbarung beschrieben sind, unter der Sie auf Google Cloud zugreifen.

Wenn Sie ein Beispiel für die Bildgenerierung aus Videos mit Gemini sehen möchten, führen Sie das Notebook „Gemini Nano Banana 2.1 Image Generation in Gemini Enterprise Agent Platform“ in einer der folgenden Umgebungen aus:

In Colab öffnen | In Colab Enterprise öffnen | In Agent Platform Workbench öffnen | Auf GitHub ansehen

Mit Gemini können Sie Bilder aus einem Video generieren, was nützlich sein kann, um ein Bild für ein Thumbnail für ein Video zu erstellen. Zu den unterstützten Schnittstellen gehören die Google Cloud Console und die Agent Platform API.

Die folgenden Gemini-Modelle unterstützen die Bildgenerierung aus einem Video:

Klicken, um unterstützte Modelle einzublenden

• gemini-nano-banana-2.1
• gemini-3.1-flash-lite-image
• gemini-3.1-flash-image
• gemini-3-pro-image

Bilder aus Videos generieren

Im Folgenden wird gezeigt, wie Sie mit Agent Studio oder der API Bilder aus Videos generieren.

Weitere Informationen zu Best Practices für Prompts finden Sie unter Multimodale Prompts entwerfen.

Console

So generieren Sie mit Gemini Bilder aus Videos:

1. Rufen Sie im Bereich „Agent Platform“ der Google Cloud Console Agent Studio > Bild auf.

   Zu Vertex AI Studio

2. Wählen Sie unter Modelleinstellungen eines der angezeigten Modelle aus.

3. Klicken Sie im Textbereich Prompt auf den Button add Hinzufügen und wählen Sie dann die Quelle der Videodatei aus:

   Hochladen

   Wählen Sie die Datei aus, die Sie hochladen möchten, und klicken Sie auf Öffnen.

   Über URL

   Geben Sie die URL der Datei ein, die Sie verwenden möchten, und klicken Sie auf Einfügen.

   YouTube

   Geben Sie die URL des YouTube-Videos ein, das Sie verwenden möchten, und klicken Sie auf Einfügen.

   Sie können jedes öffentliche Video oder ein Video verwenden, das dem Konto gehört, mit dem Sie sich in der Google Cloud -Konsole angemeldet haben.

   Cloud Storage

   Wählen Sie den Bucket und dann die Datei aus dem Bucket aus, die Sie importieren möchten, und klicken Sie auf Auswählen.

   Google Drive

   1. Wählen Sie ein Konto aus und erteilen Sie Vertex AI Studio die Einwilligung, bei der ersten Auswahl dieser Option auf Ihr Konto zuzugreifen. Sie können mehrere Dateien mit einer Gesamtgröße von bis zu 10 MB hochladen. Eine einzelne Datei darf nicht größer als 7 MB sein.
   2. Klicken Sie auf die Datei, die Sie hinzufügen möchten.

   3. Klicken Sie auf Auswählen.

      Die Miniaturansicht der Datei wird im Bereich Prompt angezeigt. Außerdem wird die Gesamtzahl der Tokens angezeigt. Wenn Ihre Prompt-Daten das Tokenlimit überschreiten, werden die Tokens abgeschnitten und nicht bei der Verarbeitung Ihrer Daten berücksichtigt.

4. Geben Sie im Textbereich Prompt eine Beschreibung des Bildes ein, das Sie generieren möchten.

5. Klicken Sie auf den Button Prompt ().

Gemini generiert ein Bild basierend auf Ihrer Beschreibung. Dieser Vorgang dauert einige Sekunden, kann aber je nach Kapazität vergleichsweise langsamer sein.

Python

Installieren

pip install --upgrade google-genai

Weitere Informationen finden Sie in der SDK-Referenzdokumentation.

Legen Sie Umgebungsvariablen fest, um das Google Gen AI SDK mit Vertex AI zu verwenden:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import GenerateContentConfig, Modality, Part
from PIL import Image
from io import BytesIO

client = genai.Client()

# A video on 'The ABCs of agent building'
video = "https://www.youtube.com/watch?v=rjoMZyxncUI"

response = client.models.generate_content(
    model="gemini-3.1-flash-image",
    contents=[
        Part.from_uri(
            file_uri=video,
            mime_type="video/mp4"
        ), 
        "Generate an infographic of the topics covered in this video."
    ],
    config=GenerateContentConfig(response_modalities=[Modality.TEXT, Modality.IMAGE]),
)
for part in response.candidates[0].content.parts:
    if part.text:
        print(part.text)
    elif part.inline_data:
        image = Image.open(BytesIO((part.inline_data.data)))
        image.save("output_folder/video-image.png")

REST

Nachdem Sie Ihre Umgebung eingerichtet haben, können Sie mit REST einen Text-Prompt testen. Im folgenden Beispiel wird eine Anfrage an den Publisher-Modellendpunkt gesendet.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

• PROJECT_ID: Ihre Projekt-ID.

• FILE_URI: Der URI oder die URL der Datei, die in den Prompt aufgenommen werden soll. Unter anderem sind folgende Werte zulässig:

  • Cloud Storage-Bucket-URI: Das Objekt muss entweder öffentlich lesbar sein oder sich im selben Google Cloud -Projekt befinden, von dem die Anfrage gesendet wird.
  • HTTP-URL: Die Datei-URL muss öffentlich lesbar sein. Sie können eine Videodatei, eine Audiodatei und bis zu 10 Bilddateien pro Anfrage angeben. Audio- und Videodateien sowie Dokumente dürfen nicht größer als 15 MB sein.
  • YouTube-Video-URL:Das YouTube-Video muss entweder dem Konto gehören, mit dem Sie sich in der Google Cloud Console angemeldet haben, oder öffentlich sein. Pro Anfrage wird nur eine YouTube-Video-URL unterstützt.

  Wenn Sie einen fileURI angeben, müssen Sie auch den Medientyp (mimeType) der Datei angeben. Wenn VPC Service Controls aktiviert ist, wird die Angabe einer Mediendatei-URL für fileURI nicht unterstützt.

  Wenn Sie keine Videodatei in Cloud Storage haben, können Sie die folgende öffentlich zugängliche Datei verwenden: gs://cloud-samples-data/video/animals.mp4 mit dem MIME-Typ video/mp4. Öffnen Sie die Beispiel-MP4-Datei, um dieses Video anzusehen.

• MIME_TYPE: Der Medientyp der Datei, die in den Feldern data oder fileUri angegeben wurde. Unter anderem sind folgende Werte zulässig:

  Zum Maximieren von MIME-Typen klicken

  • application/pdf
  • audio/mpeg
  • audio/mp3
  • audio/wav
  • image/png
  • image/jpeg
  • image/webp
  • text/plain
  • video/mov
  • video/mpeg
  • video/mp4
  • video/mpg
  • video/avi
  • video/wmv
  • video/mpegps
  • video/flv
• TEXT: Die Textanleitung, die in den Prompt eingefügt werden soll. Beispiel: What is in the video?

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt haben, die Sie automatisch in der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json. Führen Sie folgenden Befehl im Terminal aus, um diese Datei im aktuellen Verzeichnis zu erstellen oder zu überschreiben:

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

Führen Sie dann folgenden Befehl aus, um Ihre REST-Anfrage zu senden:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent"

PowerShell

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt haben. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json. Führen Sie folgenden Befehl im Terminal aus, um diese Datei im aktuellen Verzeichnis zu erstellen oder zu überschreiben:

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Führen Sie dann folgenden Befehl aus, um Ihre REST-Anfrage zu senden:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.1-flash-image:generateContent" | Select-Object -Expand Content

Hier ist ein Beispiel für eine Antwort:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "inlineData": {
              "mimeType": "image/png",
              "data": "IMAGE_BASE64_BYTES"
            }
          }
        ]
      },
      "finishReason": "STOP"
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 350,
    "candidatesTokenCount": 258,
    "totalTokenCount": 608
  }
}

Beachten Sie Folgendes in der URL für dieses Beispiel:

• Mit der Methode generateContent können Sie anfordern, dass die Antwort zurückgegeben wird, nachdem sie vollständig generiert wurde. Um die Wahrnehmung von Latenz für menschliche Zielgruppen zu verringern, streame die Antwort, während sie mithilfe der Methode streamGenerateContent erzeugt wird.
• Die multimodale Modell-ID befindet sich am Ende der URL vor der Methode (z. B. gemini-3.5-flash). Dieses Beispiel unterstützt möglicherweise auch andere Modelle.
• Wenn Sie einen regionalen API-Endpunkt verwenden (z. B. us-central1), bestimmt die Region aus der Endpunkt-URL, wo die Anfrage verarbeitet wird. Alle in Konflikt stehenden Standorte im Ressourcenpfad werden ignoriert.

Nächste Schritte

Weitere Informationen zur Bildgenerierung mit Gemini finden Sie unter den folgenden Links:

• Bilder mit Gemini bearbeiten

• Best Practices für die Bildgenerierung mit Gemini

• Bildgenerierung mit Gemini und verantwortungsbewusste Anwendung von KI