Описание
A recreation trial of the original MythoMax-L2-B13 but with updated models. #merge
API и примеры кода
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="ig-•••",
)
resp = client.chat.completions.create(
model="undi95/remm-slerp-l2-13b",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)
Поддерживаемые параметры запроса
modelstringобязательный
Идентификатор модели.
messagesarrayобязательный
Список сообщений диалога (роль + содержимое).
temperaturenumber
Случайность вывода, 0–2. По умолчанию 1.
max_tokensinteger
Максимум токенов в ответе.
top_pnumber
Nucleus-сэмплирование, 0–1.
top_kinteger
Ограничение сэмплирования top-K токенами.
min_pnumber
Минимальная вероятность токена относительно самого вероятного.
top_anumber
Адаптивная фильтрация по вероятности (top-a).
stopstring | string[]
Стоп-последовательности.
frequency_penaltynumber
Штраф за повторы, −2…2.
presence_penaltynumber
Штраф за присутствие, −2…2.
repetition_penaltynumber
Штраф за повторение токенов.
seedinteger
Фиксация для воспроизводимости.
logit_biasobject
Смещения вероятностей отдельных токенов.
logprobsboolean
Возвращать логарифмы вероятностей токенов.
top_logprobsinteger
Сколько наиболее вероятных токенов возвращать вместе с logprobs.
response_formatobject
{ "type": "json_object" } — гарантированный JSON.
structured_outputsboolean
Строгий вывод по JSON-схеме (json_schema в response_format).