Inkling Small — это открытая мультинаправленная модель типа Mixture-of-Experts от Thinking Machines Lab, имеющая 12 миллиардов активных параметров из 276 миллиардов общих. Она позиционируется как меньший, более эффективный член семейства Inkling и подходит для рассуждений, кодирования, агентских рабочих процессов, генерации с дополнением извлеченной информацией, выполнения инструкций и многоязычного общения.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="thinkingmachines/inkling-small:batch",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberlogit_biasobjectlogprobstop_logprobsintegertoolsarraytool_choicestring | objectreasoningobjectreasoning_effortstringinclude_reasoningboolean