Accuracy
Доля правильно выбранных исходов. Полезна, но зависит от сложности выборки и не оценивает качество самих процентов.
Brier Score
Штрафует уверенные ошибки сильнее осторожных и позволяет сравнивать качество вероятностных оценок.
Calibration
Проверяет смысл процентов. Если модель систематически говорит 80%, а выигрывает 60%, она плохо откалибрована даже при приемлемой Accuracy.
ROI и CLV
ROI показывает реализованный финансовый результат на выбранной истории; CLV показывает, удаётся ли получать цену лучше closing market.
- Короткий ROI шумный и не используется как единственный критерий.
- CLV фор/тоталов сравнивается только для идентичной линии.