Тест на корректное разделение train и test (имитация переобучения)
Нужно сгенерить несколько датасетов, на которых можно выявить,
- не пытается ли модель обучаться на test и valid части
- не переобучается ли она на любых доступных train-данных
В датасетах можно делать разные комбинации:
- корректный train, случайный test
- случайные train и test
- случайный train, корректный test и аналогичный комбинации с valid-выборкой (как в скоринговом примере)
Скорее всего, сейчас эти тесты будут падать.