Moondream: Parakeet Ultraновая

Описание

Parakeet Ultra — это пост-обученная Moondream версия модели преобразования речи в текст Parakeet TDT 0.6B v3 от NVIDIA, с той же архитектурой, токенизатором и 0,6 миллиардами параметров. Она снижает частоту ошибок по словам в английских наборах данных Open ASR Leaderboard (5,80% против 6,26%) и в 25-язычном наборе FLEURS (9,55% против 11,62%), с большим приростом для зашумленного и длинного аудио. Поддерживает 25 европейских языков и возвращает транскрибированный текст с метками времени сегментов и слов.

Характеристики

API и примеры кода

from openai import OpenAI

client = OpenAI(
    base_url="https://infergate.ru/api/v1",
    api_key="sk-•••",
)

with open("speech.mp3", "rb") as f:
    resp = client.audio.transcriptions.create(
        model="moondream/parakeet-ultra",
        file=f,
        language="ru",
    )
print(resp.text)

Поддерживаемые параметры запроса