command-r-plus-08-2024 — это обновление Command R+ с пропускной способностью примерно на 50% выше и задержками на 25% ниже по сравнению с предыдущей версией Command R+, при этом аппаратные требования остались прежними. Использование этой модели регулируется Политикой использования и Соглашением SaaS компании Cohere.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="cohere/command-r-plus-08-2024",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegerstopstring | string[]frequency_penaltynumberpresence_penaltynumberseedintegerresponse_formatobjectstructured_outputsbooleantoolsarraytool_choicestring | object