NVIDIA открыла веса Nemotron 3 Diarization для разметки голосов

NVIDIA выложила в открытый доступ Nemotron 3 Diarization, модель для разметки аудиозаписи по голосам. Она отвечает на вопрос, кто говорил и когда, и одинаково годится для готовых файлов и для потока.

Такая разметка нужна там, где есть расшифровки. Слова могут быть переданы верно, но без привязки к говорящему непонятно, кто взял на себя обязательство, а кто возразил. В стенограммах встреч, звонков и подкастов это часто важнее точности самого текста.

Модель весит около 100 млн параметров и различает до восьми участников. В офлайн-режиме она опирается на буфер длиной 30,4 секунды, в потоковом задержку можно снижать до 0,32 секунды. Границы реплик уточняются с шагом 10 мс, а длина записи при обработке по частям не ограничена.

Метки анонимные: «говорящий 2» вместо имени. Модель лишь разделяет голоса, связывать их с конкретными людьми приходится отдельно. Каналы выстроены по порядку первого появления голоса в записи, поэтому нумерация не сбивается между фрагментами.

Веса открыты, запускать модель можно локально. Лицензия OpenMDW 1.1 допускает и коммерческое использование. Есть легкий нативный рантайм NeMo-Speech.cpp: одной командой можно разметить файл или добавить метки говорящих прямо в расшифровку.

Отдельно описана интеграция со стриминговым распознаванием речи. Тогда метки говорящих приходят вместе с текстом, а не отдельным проходом после него. Это пригодится в сервисах стенографии и в разборе звонков.

Изображение: Kevin McCarthy CC BY 2.0 · Лицензия

Редактор перевода: Салтанов А.