Halaman ini menampilkan parameter pengambilan sampel opsional yang dapat Anda tetapkan dalam permintaan ke model. Parameter yang tersedia untuk setiap model mungkin berbeda. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi.
Parameter pengambilan sampel token
Parameter di bagian ini memengaruhi cara model memilih token berikutnya dari kosakata. Dengan menyesuaikan parameter ini, Anda dapat mengontrol keacakan dan keragaman teks yang dihasilkan.
Top-K
Top-K mengubah cara model memilih token untuk output. Top-K
1 berarti token yang dipilih berikutnya adalah yang paling mungkin di antara semua
token dalam kosakata model (juga disebut decoding greedy), sedangkan top-K
3 berarti token berikutnya dipilih di antara tiga token yang paling
mungkin dengan menggunakan suhu.
Untuk setiap langkah pemilihan token, token top-K dengan probabilitas tertinggi akan diambil sampelnya. Kemudian token akan difilter lebih lanjut berdasarkan top-P dengan token akhir yang dipilih menggunakan pengambilan sampel suhu.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
Untuk informasi selengkapnya, lihattopK.
Top-P
Top-P mengubah cara model memilih token untuk output. Token dipilih
dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya
sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas
0,3, 0,2, dan 0,1 dengan nilai top-P 0.5, model akan
memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan
C sebagai kandidat.
Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak.
Untuk informasi selengkapnya, lihattopP.
Temperatur
Suhu digunakan untuk pengambilan sampel selama pembuatan respons, yang terjadi saat topP
dan topK diterapkan. Suhu mengontrol tingkat keacakan dalam pemilihan token.
Suhu yang lebih rendah cocok untuk perintah yang memerlukan respons yang kurang terbuka atau kreatif, sedangkan
suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu 0
berarti token probabilitas tertinggi selalu dipilih. Dalam hal ini, respons untuk permintaan
tertentu sebagian besar deterministik, tetapi sedikit variasi masih dapat dilakukan.
Jika model menampilkan respons yang terlalu umum, terlalu pendek, atau model memberikan respons pengganti, coba tingkatkan temperaturnya. Jika model memasuki pembuatan tanpa batas, menaikkan
temperatur ke setidaknya 0.1 dapat menghasilkan hasil yang lebih baik.
1.0 adalah nilai awal temperatur yang direkomendasikan.
Temperatur yang lebih rendah menghasilkan hasil yang dapat diprediksi (tetapi tidak sepenuhnya deterministik). Untuk mengetahui informasi selengkapnya, lihat temperature.
Parameter penghentian
Parameter di bagian ini memungkinkan Anda mengontrol secara tepat panjang dan konten output yang dihasilkan model dengan menentukan kondisi saat proses generasi harus berhenti.
Token output maksimum
Tetapkan maxOutputTokens untuk membatasi jumlah token yang dibuat dalam respons. Token terdiri atas sekitar empat karakter, jadi 100 token setara dengan sekitar 60-80 kata. Tetapkan nilai rendah untuk membatasi panjang
respons.
Hentikan urutan
Tentukan string di stopSequences untuk memberi tahu model agar berhenti
menghasilkan teks jika salah satu string ditemukan dalam respons. Jika string muncul beberapa kali dalam respons, respons akan dipotong di tempat string pertama kali ditemukan. String peka huruf besar/kecil.
Parameter penalti token
Parameter di bagian ini memungkinkan Anda mengontrol kemungkinan token dibuat berdasarkan frekuensi dan kehadirannya dalam output.
Penalti frekuensi
Nilai positif akan memberikan penalti pada token yang berulang kali muncul dalam teks yang dihasilkan, sehingga mengurangi
kemungkinan pengulangan konten. Nilai minimumnya adalah -2.0. Nilai maksimumnya adalah hingga, tetapi tidak termasuk, 2.0.
Untuk mengetahui informasi selengkapnya, lihat frequencyPenalty dalam
dokumentasi GenerationConfig.
Sanksi kehadiran
Nilai positif menghukum token yang sudah muncul dalam teks yang dihasilkan, sehingga meningkatkan
probabilitas menghasilkan konten yang lebih beragam. Nilai minimumnya adalah -2.0. Nilai
maksimumnya adalah hingga, tetapi tidak termasuk, 2.0.
Untuk mengetahui informasi selengkapnya, lihat presencePenalty dalam
dokumentasi GenerationConfig.
Parameter format respons
Parameter di bagian ini memungkinkan Anda mengonfigurasi format output yang dihasilkan model.
Jenis MIME respons
Tetapkan responseMimeType untuk menentukan jenis MIME respons output dari teks kandidat yang dihasilkan. Nilai yang didukung meliputi:
text/plain(default): Output teks biasa.application/json: Respons JSON dalam kandidat.text/x.enum: Untuk tugas klasifikasi, keluarkan nilai enum seperti yang ditentukan dalam skema respons.
Tentukan jenis respons yang sesuai untuk menghindari perilaku yang tidak diinginkan. Misalnya, jika Anda memerlukan respons berformat JSON, tentukan application/json, bukan text/plain.
Untuk mengetahui informasi selengkapnya, lihat responseMimeType dan
Output terstruktur.
Parameter lanjutan
Gunakan parameter ini untuk menampilkan informasi selengkapnya tentang token dalam respons atau untuk mengontrol variabilitas respons.
Jumlah kandidat
Jumlah variasi respons yang akan ditampilkan. Untuk setiap permintaan, Anda dikenai biaya untuk token output semua kandidat, tetapi hanya dikenai biaya satu kali untuk token input.
Menentukan beberapa kandidat adalah fitur Pratinjau yang berfungsi dengan generateContent
(streamGenerateContent tidak didukung).
candidateCount.
Pendanaan awal
Jika seed ditetapkan ke nilai tertentu, model akan berupaya sebaik mungkin untuk memberikan respons yang sama untuk permintaan berulang. Output deterministik tidak dijamin.
Selain itu, mengubah setelan model atau parameter, seperti temperatur, dapat menyebabkan variasi dalam respons meskipun Anda menggunakan nilai awal yang sama. Secara
default, nilai awal acak akan digunakan.
Untuk informasi selengkapnya, lihat seed.
Contoh
Berikut adalah contoh yang menggunakan parameter untuk menyesuaikan respons model.
Python
Instal
pip install --upgrade google-genai
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
Pelajari cara menginstal atau mengupdate Go.
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
Instal
npm install @google/genai
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
Pelajari cara menginstal atau mengupdate Java.
Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.
Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Langkah berikutnya
- Pelajari praktik terbaik AI yang bertanggung jawab dan filter keamanan Agent Platform.
- Pelajari petunjuk sistem untuk keselamatan.
- Pelajari pemantauan penyalahgunaan.
- Pelajari AI yang bertanggung jawab.