Qwen2.5 72B — новейшая серия больших языковых моделей Qwen. Qwen2.5 включает следующие улучшения по сравнению с Qwen2: - Значительно больше знаний и значительно улучшенные возможности в области кодирования и математики благодаря нашим специализированным экспертным моделям в этих областях. - Значительные улучшения в следовании инструкциям, генерации длинных текстов (более 8 тыс. токенов), понимании структурированных данных (например, таблиц) и генерации структурированных выходных данных, особенно JSON. Более устойчив к разнообразию системных подсказок, улучшая реализацию ролевых игр и настройку условий для чат-ботов. - Поддержка длинного контекста до 128 тыс. токенов и возможность генерации до 8 тыс. токенов. - Многоязычная поддержка более чем 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие. Использование этой модели регулируется [ЛИЦЕНЗИОННЫМ СОГЛАШЕНИЕМ Tongyi Qianwen](https://huggingface.co/Qwen/Qwen1.5-110B-Chat/blob/main/LICENSE).
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="qwen/qwen-2.5-72b-instruct",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberseedintegerlogit_biasobjectresponse_formatobjectstructured_outputsbooleantoolsarraytool_choicestring | object