Игорь запостил интересное наблюдение про LLM в плане того, как они переиспользуют данные во время обучения, я перескажу своими словами – если модель обучить на ходах «слабых игроков в шахматы», то модель которая получится после тренировки, будет играть лучше (!) чем лучшие шахматисты датасета – полученная модель сможет обыграть каждого из них

Звучит странно, но теория сейчас такая, что модель обучается решениям которые приводят к поражению и пытается их не допустить

При этом, если учить модель только на хороших играх, значительно лучше она не становится – видимо, хорошие игры не так разнообразны, и разнообразие в датасете, в данном случае, важнее качества данных

Произошла базовая проверка на юмор и метаиронию, четверг сразу перестал быть томным 🌚

Для тех, кто в танке, повторю - у меня в бложеге царит тирания и деспотизм и относительная свобода, и никаких платных постов как не было, так и не планируется. Если вам кажется иное, посмотрите еще раз)