Cohere: Rerank 4 Fast

Описание

Основополагающая модель поиска с ИИ от Cohere для повышения релевантности информации, выдаваемой в поисковых и RAG-системах. Отличается окном контекста в 32 тысячи токенов, многоязычной поддержкой в более чем 100 языках, отсутствием необходимости предварительной обработки данных и высокой производительностью с минимальной задержкой.

Характеристики

API и примеры кода

import requests

r = requests.post(
    "https://infergate.ru/api/v1/rerank",
    headers={"Authorization": "Bearer sk-•••"},
    json={
        "model": "cohere/rerank-4-fast",
        "query": "Столица Франции",
        "documents": ["Париж — столица Франции", "Берлин — столица Германии"],
        "top_n": 1,
    },
)
for res in r.json()["results"]:
    print(res["index"], res["relevance_score"])

Поддерживаемые параметры запроса