Короткий ответ
Нужен регулярный (например, ежемесячный) разбор логов диалогов бота: доля обращений, закрытых ботом без привлечения человека, доля «тупиковых» сценариев, частые новые формулировки вопросов, которые бот не распознаёт, и обновление сценария по этим данным.
Как это работает подробнее
большинство платформ ботов логируют диалоги и могут показывать статистику по срабатыванию сценариев/ключевых слов; на основе этой статистики редактируется база ключевых слов и ответов.
Что использовать на практике
- Действия. Ассортимент, акции, цены и условия меняются, поэтому без регулярного обновления бот начинает давать неактуальные ответы (устаревшая цена, закончившаяся акция).
- Также. Важно также мониторить жалобы пользователей на «бот не понимает», которые часто не видны в стандартной статистике срабатывания.
- Проверка. При ежемесячном разборе логов обнаружено, что 18% диалогов заканчиваются фразой пользователя «это не то, что я спрашивал», и чаще всего это вопросы про новую услугу, которой нет в сценарии. В бота добавляется новый блок ответа про эту услугу. Проверка: при следующем разборе логов доля подобных «тупиковых» ответов по этой теме снижается.
Подводные камни
- Риск. Настроить бота один раз при запуске и больше не возвращаться к нему.
- Также. Обновлять информацию в основном канале (сайт, прайс), но забывать синхронизировать её в сценарии бота.