Модели и ценыЧатВопросы
Модели и цены/Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instructgenerative

meta-llama
meta-llama/llama-3.2-3b-instruct
Попробовать в чате
Откроется чат с этой моделью

Описание

Llama 3.2 3B is a 3-billion-parameter multilingual large language model, optimized for advanced natural language processing tasks like dialogue generation, reasoning, and summarization. Designed with the latest transformer architecture, it...

Модальности

Вход
text
Выход
text

Характеристики

Контекст
131 072 ток.
Тип
generative
Выпущена
сентябрь 2024 г.

API и примеры кода

from openai import OpenAI

client = OpenAI(
    base_url="https://infergate.ru/api/v1",
    api_key="ig-•••",
)

resp = client.chat.completions.create(
    model="meta-llama/llama-3.2-3b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

Поддерживаемые параметры запроса

modelstringобязательный
Идентификатор модели.
messagesarrayобязательный
Список сообщений диалога (роль + содержимое).
temperaturenumber
Случайность вывода, 0–2. По умолчанию 1.
max_tokensinteger
Максимум токенов в ответе.
top_pnumber
Nucleus-сэмплирование, 0–1.
top_kinteger
Ограничение сэмплирования top-K токенами.
min_pnumber
Минимальная вероятность токена относительно самого вероятного.
stopstring | string[]
Стоп-последовательности.
frequency_penaltynumber
Штраф за повторы, −2…2.
presence_penaltynumber
Штраф за присутствие, −2…2.
repetition_penaltynumber
Штраф за повторение токенов.
seedinteger
Фиксация для воспроизводимости.
logit_biasobject
Смещения вероятностей отдельных токенов.
logprobsboolean
Возвращать логарифмы вероятностей токенов.
top_logprobsinteger
Сколько наиболее вероятных токенов возвращать вместе с logprobs.

Цены ₽ / 1M токенов

Ввод3,92
Вывод25,80