Одна из самых высокопроизводительных и популярных тонких настроек Llama 2 13B с подробными описаниями и ролевыми играми. #merge
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="gryphe/mythomax-l2-13b",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumbertop_anumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberseedintegerlogit_biaslogprobsbooleantop_logprobsintegerresponse_formatobjectstructured_outputsboolean