Набор кандидатов
Метрика требует истории сравнимых вариантов, а не одного опубликованного победителя.
ПРОВЕРКА / РИСК ПОДГОНКИ
Лучший внутри выборки может оказаться худшим после выбора.
PBO анализирует поведение набора кандидатов на разбиениях и показывает риск того, что процедура отбора вознаграждает случайный пик.
EVIDENCE / VERDICTRESILIENT
UNSEEN
HOLDOUTPASSDSR0.93PBO18%
ДОМЕН СИСТЕМЫ03 / ПРОВЕРКА
Испытать кандидата до риска
- ПОИСК
- ОПТИМИЗАЦИЯ
- ПРОВЕРКА
- ИСПОЛНЕНИЕ
- НАБЛЮДЕНИЕ
Результат — это запись, а не зелёный бейдж.
Страница повторяет порядок приложения: сформулируйте вопрос, изучите прогон и отдельно укажите, чего эти данные доказать не могут.
- 01
Набор кандидатов
Метрика требует истории сравнимых вариантов, а не одного опубликованного победителя.
- 02
Разбиения
In-sample ранги сопоставляются с поведением тех же вариантов вне соответствующего участка.
- 03
Риск отбора
Высокий PBO — сигнал сузить пространство или пересмотреть механизм гипотезы.
- 04
Не вероятность убытка
PBO оценивает риск переобучения процедуры, а не будущую вероятность отрицательной сделки.
Разбиения
In-sample ранги сопоставляются с поведением тех же вариантов вне соответствующего участка.
Риск отбора
Высокий PBO — сигнал сузить пространство или пересмотреть механизм гипотезы.
Не вероятность убытка
PBO оценивает риск переобучения процедуры, а не будущую вероятность отрицательной сделки.
РАМКА РЕШЕНИЯ
Какая независимая проверка ещё может отвергнуть кандидата?
Читайте holdout, устойчивость во времени, поправку на перебор и stress-траектории как разные доказательства. Их согласие важнее одной зелёной метрики.
Защитить невидимые данные
Учесть каждую попытку
Принимать FAIL и недостаток данных
Проверка вывод
Важно
Исторические, статистические и модельные результаты не являются обещанием будущей доходности. kquant предоставляет вычислительные инструменты и техническое исполнение, но не оценивает пригодность конкретной сделки для пользователя.