Стало ли фармить кагл легче? Другие три года спустя 🤔

Я как-то собирал информацию о том, насколько сложно было стать мастером/грандмастером в разное время.

В прошлый раз я руками парсил вебархив и переносил цифры в эксель. С тех пор я узнал о Meta Kaggle, что упрощает задачу и позволяет залезть в профиль буквально каждого участника.

Спойлер: ничего не изменилось, кроме одной важной детали 📊

Что видно:

1️⃣ Тайтлов стало заметно больше: с конца 2023 года +89 GM (319 -> 408), +423 мастера и +3.4k экспертов. Но доля «титулованных» среди всех, кто когда-либо сабмитил, с 2021 года стоит на месте: эксперт+ ≈ 3%. Это потому, что большая часть титулованных- это эксперты, которые фармятся через получение серебра (топ 5%) и бронзы (топ 10%). А вот мастер+ медленно, но верно падает: 1.06% в 2016 -> 0.54% сейчас.

2️⃣ Нормированная производная: стать мастером стало сложнее (≈0.06 против 0.12–0.13 в 2018–2019). У GM она выросла (0.11–0.13 против ~0.07), но это скорее эффект знаменателя: новых мастеров стало меньше, а не GM проще. В пересчёте на участников новых GM после пика 2023 снова меньше. У экспертов ничего не поменялось

3️⃣ На 1000 активных участников в год: экспертов как давали ~20, так и дают. Новых мастеров стало вдвое меньше: 5 в 2018 -> 2.4–3 сейчас. GM пик был в 2023 (почти 1 на 1000), дальше снова спад

4️⃣ Почему мастером стать сложнее: меньше соревнований с золотом относительно прироста числа людей. Пик был в 2019: 1100 золотых медалей (каждый участник команды считается отдельно) и 37 медальных соревнований. В 2024–2025: ~700 золотых и 27–28 соревнований в год, а претендентов на это золото стало в 2.3 раза больше: экспертов 11.3k против 5.0k в 2019. При этом активных участников в год даже меньше, чем в 2019 (56–61k против 75k), так что дело не в наплыве новичков: очередь за первым голдом растёт, а золота раздают меньше. Сюда еще можно выделить соревнования типа ARC AGI и прочие 'продукты идентичные Kaggle-соревнованию'

В старом посте были колонки contrib/novices. 7 июля 2025 года Кагл в один день перевёл в Contributor 24.6 миллиона аккаунтов — сразу во всех категориях. С тех пор Contributor дают почти сразу после регистрации, то есть разница между Novice и Contributor фактически исчезла. Поэтому сейчас на странице рейтинга 207k контрибьюторов и… 71 новайс

Новайсов на всём Кагле осталось 40 904 из 34 миллионов. И почти все они зарегистрировались за три дня- 23–25 ноября 2024. Из всех, кто завёл аккаунт в эти дни, новайсами до сих пор остаются 81–92%, а регистраций было обычное количество. Похоже, этих ботов просто забыли при июльской миграции. Из них 71- человек, который реально соревнуется: сабмиты в CMI, Jane Street, CZII, AIMO-2, у семерых есть медали (3 серебра и 4 бронзы), у лучшего- 777 очков рейтинга. Т.е. это те кто (взял медальку, но не перешел в контрибьюторы по старой схеме) U (кого забыли)

TLDR: экспертом стать так же «легко», как и раньше. Получить первый голд и добить мастера стало еще сложнее: золота на всех не хватает. Каглить становится конкурентнее, серебро/бронзу фармить легче.

Нюансы: 2026 год неполный (по 20 октября). Для экспертов в формуле Валерия «тайтл ниже» = все, кто когда-либо сабмитил, так что после июля контрибьюторов нет.

Kaggriculture: перестановки после Брэдли–Терри

Придумал как визализировать сразу обе важные метрики, на которые по идее должен был влиять пересчет:
1. Медали
2. Очки рейтинга в competition ranking

В итоге после пересчета что-то реально изменилось аж для 4.6% участников Kaggriculture. 102 команды сменили в ту или иную сторону свою медаль.

Думаю все же статфикс был совершено, бесповоротно бесполезен:
Из золота в серебро (и обратно) переместилось буквально две команды и основная драма, как водится, случилась на границе бронзы/серебра.

Зато Каггл первый раз на моей памяти посчитал паблик скор по одной формуле, а приват по другой. В итоге очки пересчитали примерно по формуле: BTscore = Elo * 1.354 + 2093. Скорее всего просто всем 'добавили сверху', чтобы худшая команда имела ноль + eps очков, а потом уже посчитал BT. Для всех, кто минимально решал между просто Elo и BT R^2 удержался в 0.959.

Короче фикс ради фикса, популизм для нищих и дополнительная провокация лудоманов на фарм рл соревнований