Соберите набор до демонстрации
Возьмите типовые вопросы, редкие случаи, вопросы без ответа в документах и ситуации с ограничениями доступа. Для каждого заранее укажите ожидаемый факт, допустимый источник и действие при нехватке информации. Нельзя отбирать только вопросы, на которых система уже показала хороший ответ.
Что именно считается корректным
В этом счётчике корректный ответ решает поставленную задачу и подтверждается разрешённым источником. Правильно сформулированный отказ тоже может быть корректным, если вопрос не покрыт базой. Отдельно отмечайте частично верный ответ: он не становится полностью корректным только потому, что звучит убедительно.
Разделите ошибки и тяжесть последствий
Неподтверждённое утверждение — факт, для которого не найдено допустимого основания. Критическая ошибка определяется вашим процессом заранее: например, разглашение запрещённого раздела или выполнение недопустимого действия. Она может одновременно быть неподтверждённым ответом, поэтому эти две группы не складываются. Корректные ответы с ошибочными не пересекаются.
Пример разбора результата
На 50 вопросов получено 40 корректных ответов:80%. Неподтверждённых 5:10%. Один ответ критичен. При выбранных порогах 90% и 5% этот тест не проходит; критическая ошибка отдельно блокирует рекомендацию к выпуску. Пороги здесь демонстрационные: команда должна утвердить свои до испытания.
Как читать итог
Процент относится только к проверенному набору, а не ко всем будущим обращениям. Малый набор, повторяющиеся вопросы и ручной отбор искажают оценку. Отчёт не строит доверительный интервал и не доказывает статистическую значимость. Для сравнения версий используйте одинаковый замороженный набор и отдельно следите за новыми случаями.
Что передать разработчику
Передавайте обезличенный вопрос, ожидаемый источник, фактический ответ, тип ошибки и версию базы. Не включайте в открытый CSV клиентские переписки, доступы и внутренние документы. Сначала разберите, что сломалось: поиск источника, доступ, извлечение факта или принятие решения. Новая модель не исправляет автоматически неверную политику доступа.
Шаблон для команды
Скачайте структуру CSV, удалите демонстрационные строки и заполните обезличенными наблюдениями. Таблица не отправляется на сервер.
Скачать рабочий шаблон