В рамках доклада будут представлен процесс бизнес-мониторинга качества виртуального ассистента. Важность задачи обусловлена высокой степенью влияния качества на ключевую бизнес-метрику ВА — месячную аудиторию (MAU). Будут рассмотрены требования от бизнеса и их непосредственная реализация с точки зрения аналитики. Будет представлена методология для оценки качества работы каждой из крупных ML-систем ВА, а также представлен механизм объединения этих оценок в единый пайп для получения «метрики всевластия» — e2e качества виртуального ассистента.