Определяет категорию ТЗ из пяти возможных. Две модели работают параллельно на одних и тех же признаках — их ответы можно сравнить.
| Модель | Accuracy | Macro-F1 |
|---|
Метрики получены на повторной стратифицированной кросс-валидации, а не на одном отложенном разбиении: при 50 примерах тестовая выборка из 10 текстов давала бы чистый шум. Разница между моделями меньше одного примера — нейросеть здесь не даёт преимущества перед логистической регрессией.
Обратите внимание на уверенность: MLP почти всегда отвечает «100%». Это не признак качества, а симптом переобучения — сеть с сотнями тысяч параметров обучена на 40 примерах. У логистической регрессии числа скромнее и осмысленнее.
Датасет синтетический и написан одним человеком, поэтому 98% — это точность на синтетике, а не на реальных ТЗ. На живом потоке заказчиков цифра будет заметно ниже: там встречаются ТЗ сразу на несколько категорий, опечатки и формулировки «нужно всё под ключ».