А пока суть да дело, досчитался гроккинг в режиме "просто подождём подольше", там уплощение рельефа тоже есть. То есть есть основания полагать, что нейросеть, даже если её учить безо всяких хитростей стремится уплощать рельеф функции в окрестностях как учебных примеров, так и валидационных, после того как она научается отвечать на них правильно.

Ещё раз более медленно - рельеф меняется у неросети в валидационных примерах которых она никогда не видело ПОСЛЕ ТОГО, как она научилась на них правильно отвечать.
UPD: А для случайных точек, не являющихся валидационной задачей рельеф не уплощается. То есть там где данные корректные происходит какой-то процесс, а там где некорректные - не происзордит...

Согласитесь, очень сильно отличается от того, что нам говорят когда на первом же занятии рассказывают о том, что такое переобучение. и обобщение.

Следующий логичный шаг - как ситуация там, посмотреть на полнобатчевое обучение, и посмотреть в пределах какой доли шума во входных джанных рельеф остаётся приблизщительно гладким.

Кроме прочего новосибирский академгородок это много белок. И когда ты обращаешь внимание на них они сразу по умолчанию предполагают, что сейчас ты их будешь кормить. и радостно скачут в твою сторону. Но у меня ничего вкусненького не было. Это они тоже определят по поведению довольно быстро, и продолжают скакать по своим делам. Так что если соберётесь на сибирский датафест в следующем году не забудьте сунуть в карман пакетик орешков. И даже питбайкеры в академгородке какие-то более вежливые, что ли, более душевные.

Было исследование даже, что в дикой природе очень огрубляя три четверти времени белки тратять на то, чтобы найти чё пожрать, три четверти от оставшегося на создание запасов и обустройство к зиме, и жалкие 5-7% на всякое социальное общение. А в академгородке четверь времени они ищут еду, четверь времени обустриавют жизнь и запасы на зиму, а оставшиеся половину времени играют и веселятся.