Сейчас ML-модель может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера. Позднее алгоритм должен заработать в связке с YandexGPT: вместе нейросети смогут распознать более сложные эмоции, такие как сарказм.
Нейросеть была разработана на базе технологии распознавания речи Yandex SpeechKit. Новая разработка позволит бизнесу создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют распознавать человеческие эмоции.
ML-модель работает в потоковом режиме — расшифровка и анализ эмоций происходят прямо во время разговора. Если голосовой помощник считает негатив или грубость абонента, то оповестит о проблемах менеджмент.
Алгоритм умеет определять эмоции не только по содержанию речи спикера, но также учитывает скорость речи, высоту, тембр и другие параметры.