mr Pa3฿aJluHа специально для @pseudolabeling описывает свое решение RSNA
Замечу от себя:
Мы размечали астрой
Мы не додумались несколько раз разметить астрой
Нам помогало хорошо стакать модели и вообще там вундервафля. Разберу его как опубликуем окончательно
SigReg изeine Jepa тащит и стабилизирует обучение, попробуйте его везде
Попробуйте все варианты разрешения инпута для картинок, 512 почти всегда лучше 256 и 344
Наш райтап живет тут, лайки ставить тоже сюда:
https://www.kaggle.com/competitions/rsna-knee-abnormality-detection/writeups/19th-place-solution
Ты скорее всего тоже в курсе что, соревнование чисто про метки по сути. Вся суть была в том, как из текста сделать метки, по которым можно учить картиночную модель.
Что делал:
- отчёты читали (без картинок) Kimi K3, MiMo-V2.6-Pro-RL, DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next-FP8 и GLM-5.3 на арендованных гпу, по два раза каждая, взял средние метки. В промпт дословно вшил рубрику организаторов (что считается разрывом ACL, какой выпот уже "да" и т.д.) и просил не "упомянуто ли в отчёте", а вероятность, что эксперт по снимку поставил бы плюс. Gold метки заметно строже текста, так что это реально решало. Всё калибровал на gold.
- дальше самообучение: цель = смесь LLM-метки и OOF-предсказаний самой модели, и так 10 раундов подряд (в начале каждый раунд давал ощутимо, но начиная с 4-5 начал уже приколы придумывать с метками, но это копейки давало и скорее шум). Между раундами также делал мелкие внедрения, но на четкие абляции ресурсов не хватило.
- модель 2.5D: бэкбон (в итоге ConvNeXt-S) на окнах по 3 среза, от каждого окна сетка признаков 2x2/3x3 вместо одного вектора, сверху трансформер и свой query на каждую патологию. Сетка дала самый жирный скачок, 0.938 -> 0.951.
- зум на колено: кроп 110 мм по центру вместо всего поля. Плюс правые колени зеркалю в левые и проверяю сторону по снимку — медиальный/латеральный от неё зависят, а тег пустой был в районе 30% исследований.
- судья — 58 gold: они предсказывали LB лучше, чем OOF на моих метках, хотя в дискашенах видел противополжное у кого-то.
С этим в начале октября вышел на 0.963, это была первая строчка по скору, и дней пять держался в топ2, потом народ подтянулся. Ансамбли своих моделей не давали практически ничего (корреляция 0.98), зашёл только второй тип моделей в бленде - 0.965 и 24 на паблике. На привате бог рандома смиловался и я поднялся на 16.
Замечу от себя:
Мы размечали астрой
Мы не додумались несколько раз разметить астрой
Нам помогало хорошо стакать модели и вообще там вундервафля. Разберу его как опубликуем окончательно
SigReg из
Попробуйте все варианты разрешения инпута для картинок, 512 почти всегда лучше 256 и 344
Наш райтап живет тут, лайки ставить тоже сюда:
https://www.kaggle.com/competitions/rsna-knee-abnormality-detection/writeups/19th-place-solution
🔥20👍7❤5🍌2
Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод».
29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле. Приглашаем инженеров данных, MLOps-специалистов и техлидов.
В программе — три доклада от практиков:
⚫️ Никита Гирш из ДОМ. РФ и Центрального университета расскажет, как мигрировали с SAS на dbt + Airflow: что пошло не так, как планировалось, и что в итоге получилось
⚫️ Ислам Янгуразов из Magnit Tech покажет, как чистить S3 так, чтобы не потерять важную историю — и почему здесь стоит подключить ИИ-агента
⚫️ Павел Лисичкин из X5 Tech объяснит, как научить ИИ самому находить узкие места в Spark-задачах и чинить их
Если захочется не только слушать, но и делиться опытом — при регистрации можно указать, что вам интересно преподавание: ссылка на регистрацию
29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле. Приглашаем инженеров данных, MLOps-специалистов и техлидов.
В программе — три доклада от практиков:
Если захочется не только слушать, но и делиться опытом — при регистрации можно указать, что вам интересно преподавание: ссылка на регистрацию
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💩13❤4😁3👌2🍌1
Запрети мне псевдолейблить
Нам пообещали починить Rl соревы на каггле! Кагл стафф пообещал починить будущие RL соревнования: будут прогонять модель Бредли-Терри после периода 'охлаждения' лб. Это ответ на огромную дисперсию и шатание рейтинга в покемонах. Сейчас используют вариацию…
Kaggriculture: перестановки после Брэдли–Терри
Придумал как визализировать сразу обе важные метрики, на которые по идее должен был влиять пересчет:
1. Медали
2. Очки рейтинга в competition ranking
В итоге после пересчета что-то реально изменилось аж для 4.6% участников Kaggriculture. 102 команды сменили в ту или иную сторону свою медаль.
Думаю все же статфикс был совершено, бесповоротно бесполезен:
Из золота в серебро (и обратно) переместилось буквально две команды и основная драма, как водится, случилась на границе бронзы/серебра.
Зато Каггл первый раз на моей памяти посчитал паблик скор по одной формуле, а приват по другой. В итоге очки пересчитали примерно по формуле: BTscore = Elo * 1.354 + 2093. Скорее всего просто всем 'добавили сверху', чтобы худшая команда имела ноль + eps очков, а потом уже посчитал BT. Для всех, кто минимально решал между просто Elo и BT R^2 удержался в 0.959.
Короче фикс ради фикса, популизм для нищих и дополнительная провокация лудоманов на фарм рл соревнований
Придумал как визализировать сразу обе важные метрики, на которые по идее должен был влиять пересчет:
1. Медали
2. Очки рейтинга в competition ranking
В итоге после пересчета что-то реально изменилось аж для 4.6% участников Kaggriculture. 102 команды сменили в ту или иную сторону свою медаль.
Думаю все же статфикс был совершено, бесповоротно бесполезен:
Из золота в серебро (и обратно) переместилось буквально две команды и основная драма, как водится, случилась на границе бронзы/серебра.
Зато Каггл первый раз на моей памяти посчитал паблик скор по одной формуле, а приват по другой. В итоге очки пересчитали примерно по формуле: BTscore = Elo * 1.354 + 2093. Скорее всего просто всем 'добавили сверху', чтобы худшая команда имела ноль + eps очков, а потом уже посчитал BT. Для всех, кто минимально решал между просто Elo и BT R^2 удержался в 0.959.
Короче фикс ради фикса, популизм для нищих и дополнительная провокация лудоманов на фарм рл соревнований
❤11🔥4😢2🤡2😁1🤣1🍌1
Кагл выпустил интервью с Исаеей из Туфа лабс.
Lux 3 он выиграл на домашнем пк, а через три года выиграл Orbit wars на железе туфы 2x8xb200
https://youtu.be/udrXyYygddo?is=8rkwsJIrTbeVgnfd
Lux 3 он выиграл на домашнем пк, а через три года выиграл Orbit wars на железе туфы 2x8xb200
https://youtu.be/udrXyYygddo?is=8rkwsJIrTbeVgnfd
YouTube
The Compute Divide: Inside Orbit Wars | Beyond the Leaderboard | Kaggle
What does a Kaggle leaderboard actually measure when the winner has almost 8x more compute than the second place finisher? Using Kaggle’s massive "Orbit Wars" AI competition as a case study, we break down how being a compute “have” or “have not” changes the…
👍19❤6🔥3🤔1🍌1
Нашёл в квантогольфе прикол: в описании верификатора написано одно, но работает НЕМНОГО ИНАЧЕ.
В описании говорят, что будут проверять
, но на самом деле проверяют только цикл
. Что схема делает с остальными значениями z — тесты не проверяют.
Например, f(a) = 11₂, а схема перед XOR переставляет два бита местами:
- Тест проходит: 00 → 11 → 00 — перестановка не меняет ни 00, ни 11.
- На другом входе ломается: для z = 01 правильный результат — 01 XOR 11 = 10. Но схема сначала переставляет биты: 01 → 10, затем делает XOR: 10 XOR 11 = 01.
Итого: должна вернуть 2, возвращает 1 и зеленые тесты
Спросил организаторов, можно ли так оптимизировать под тесты или после дедлайна будут новые приватные тесты.
Лайки можно сюда поставить.
https://www.kaggle.com/competitions/google-verifiable-quantum-circuit-compilation/discussion/755427
В описании говорят, что будут проверять
XOR z ↦ z ⊕ f(a)
, но на самом деле проверяют только цикл
0 → f(a) → 0
. Что схема делает с остальными значениями z — тесты не проверяют.
Например, f(a) = 11₂, а схема перед XOR переставляет два бита местами:
- Тест проходит: 00 → 11 → 00 — перестановка не меняет ни 00, ни 11.
- На другом входе ломается: для z = 01 правильный результат — 01 XOR 11 = 10. Но схема сначала переставляет биты: 01 → 10, затем делает XOR: 10 XOR 11 = 01.
Итого: должна вернуть 2, возвращает 1 и зеленые тесты
Спросил организаторов, можно ли так оптимизировать под тесты или после дедлайна будут новые приватные тесты.
Лайки можно сюда поставить.
https://www.kaggle.com/competitions/google-verifiable-quantum-circuit-compilation/discussion/755427
Kaggle
Google Quantum AI - Verifiable Quantum Circuit Compilation
Reducing the resources required for quantum applications
❤12🔥6🍌4🤡2 1
Осенний Avito ML Cup: ранжирование ленты рекомендаций и призовой фонд 1,5 млн ₽
В этот раз задача про ранжирование, а призовой фонд вырос вдвое. Решать можно самостоятельно или в команде до четырёх человек.
Какую задачу решаем. Для каждой рекомендательной ленты Авито уже отобраны кандидаты. Изучите историю пользователя и признаки объявлений, а потом расставьте кандидатов так, чтобы выше оказались те, с которыми человек совершит целевое действие.
Как участвовать. Регистрируйтесь на сайте ODS до 8 декабря. Чем раньше начнёте, тем больше решений успеете отправить: в день доступно пять попыток.
Призы:
1️⃣ 750 000 ₽ за 1-е место
2️⃣ 450 000 ₽ за 2-е место
3️⃣ 300 000 ₽ за 3-е место
С правилами участия можно ознакомиться здесь. Соревнование завершится 9 декабря.
Зарегистрироваться и решить задачу
В этот раз задача про ранжирование, а призовой фонд вырос вдвое. Решать можно самостоятельно или в команде до четырёх человек.
Какую задачу решаем. Для каждой рекомендательной ленты Авито уже отобраны кандидаты. Изучите историю пользователя и признаки объявлений, а потом расставьте кандидатов так, чтобы выше оказались те, с которыми человек совершит целевое действие.
Как участвовать. Регистрируйтесь на сайте ODS до 8 декабря. Чем раньше начнёте, тем больше решений успеете отправить: в день доступно пять попыток.
Призы:
С правилами участия можно ознакомиться здесь. Соревнование завершится 9 декабря.
Зарегистрироваться и решить задачу
Please open Telegram to view this post
VIEW IN TELEGRAM
💩11❤6🤡5🍌4🔥2
В начале года вышла целая статья на основе данных Kaggle в области менеджмента:
Searching together versus searching apart: Evidence from Kaggle
Главная находка статьи: у раннего мерджа есть контринтуитивная цена в виде потери вариативности итогового решения.
Этапов соревнования с точки зрения мерджа два- Independent search и Joint search.
Первый режим- это креатив на максимум и глубина на минимум. Каждый из участников соло пробует свои самые бузмные идеи и прощупывает направление, в котором стоит работать. Условно из разметки/внешних данных/подходов и претрейнов ищем что-то, что будет стоить докручивания.
Например в RSNA это было:
1. Как доразметить данные?
2. Какие внешние данные дают буст на лб?
3. Какие глобальные архитектуры (2.5D/3D) и локальные (Resnext/CoAtNet/VIT) работают лучше?
4. В каком разрешении учиться?
Второй режим- это эксплуатация. Примерно разобрались, что хотим попробовать и какие подходы точно не работают, поэтому концентрируемся на глубине. Вот по прошлым годам видим, что хорошо работает 2.5D Resnext, значит надо попробовать все его варианты. А еще в Kagriculture была идея учить SigReg лосс, чтобы избежать коллапса представлений- а давай попробуем его добавить в наше 2.5D пайплайн, вдруг сработает?
Если два человека ищут подход независимо, то пересечение идей малое. Если обсуждая- то пересечение будет сильно больше.
Searching together versus searching apart: Evidence from Kaggle
Главная находка статьи: у раннего мерджа есть контринтуитивная цена в виде потери вариативности итогового решения.
Этапов соревнования с точки зрения мерджа два- Independent search и Joint search.
Первый режим- это креатив на максимум и глубина на минимум. Каждый из участников соло пробует свои самые бузмные идеи и прощупывает направление, в котором стоит работать. Условно из разметки/внешних данных/подходов и претрейнов ищем что-то, что будет стоить докручивания.
Например в RSNA это было:
1. Как доразметить данные?
2. Какие внешние данные дают буст на лб?
3. Какие глобальные архитектуры (2.5D/3D) и локальные (Resnext/CoAtNet/VIT) работают лучше?
4. В каком разрешении учиться?
Второй режим- это эксплуатация. Примерно разобрались, что хотим попробовать и какие подходы точно не работают, поэтому концентрируемся на глубине. Вот по прошлым годам видим, что хорошо работает 2.5D Resnext, значит надо попробовать все его варианты. А еще в Kagriculture была идея учить SigReg лосс, чтобы избежать коллапса представлений- а давай попробуем его добавить в наше 2.5D пайплайн, вдруг сработает?
Если два человека ищут подход независимо, то пересечение идей малое. Если обсуждая- то пересечение будет сильно больше.
👍8❤2🍌2 1
И тут у меня для вас есть некоторые соображения по стратегии на основе моего личного опыта:
Когда мерджиться на раннем этапе (если вы решили не преследовать сологолд):
1. Когда в соревновании много данных и понятно как их использовать. Это означает только одно- нужны ресурсы. Те у кого нет сервака дома, потратят кучу времени на менеджмент датасетов и облачных видеокарт, чтобы не разориться на аренде -> проведут меньше экспериментов и натренируют меньше фолдов. Если данные весь период на одной машине и эксперименты длятся по 4+ часа, то надо искать себе тиммейтов с железом.
2. Если вдруг соревнование на узкую тему и вы знаете человека с экспертизой. Например в том же RSNA был мой японский тиммейт Ay, с которым мы решали вместе Pokemon. Он буквально работал предыдущие 3 года над MRI коленей как MLE и точно шарил в области. К сожалению, когда я решил вплотную заняться RSNA он уже был почти в золоте и с пустыми руками к нему идти было стыдновато, а когда у нас появились результаты- Ay уже нашел себе слишком большую команду.
3. Когда есть много априорной информации: мы с @biostat_r и @F1VEL только что закончили биохаб вместе и были полностью довольны всем процессомкроме шейкдауна и друг другом.
Когда мерджиться в конце (или до последнего пытаться выбить сологолд):
1. Когда вы неичего не знаете о тиммейтах. Тиммейты могут потерять мотивацию, найти себе дела поинтереснее или смертельно заболеть. В таком случае лучше не рисковать и мерджиться уже по достижениям на лб. Но опасайтесь оверфита на лб! Знаю пару примеров, когда люди специально старались занять какое-нибудь высокое место в первый месяц челленджа, чтобы на основе этих результатов померджиться с каким-нибудь большим и сильным кагглером и ехать на его нежелании опускаться в рейтинге.
2. Когда сначала с соревнованием все понятно и под конец наступает кризис идей. Вроде бы все попробовали и нащупали хорошее решение, но до золота его докрутить не получается без оверфита. В RSNA мы так померджились с shin0000 и yuto083(кстати Arc Agi 3 кончился, и он теперь грандмастер. Путь к кгм у него занял 3 месяца от первого золота). Мотивация простая: мы поняли, что топчемся на месте, дедлайн близко и до золота еще явно не хватает. Ожидания были такие, что мы сейчас стакнем наши модели и быстренько поднимемся в золото. Не удалось, пришлось интегрировать наш набор находок в одну мега-модель, которая брала лучшие подходы от обеих команд.
Когда не мерджиться вообще:
1. У вас уже есть 4 золотые командные медали🥇
2. Вы слишком круты для тех, с кем все еще можно объединиться
3. У вас есть то или иное нечестное приемущество в виде бесконечных ресурсов и кучи свободного времени
4. Вам повезло с соревнованием, которое попадает точнехонько в вашу предметную узкую область специализации
5. У вас есть рабы, которые будут работать на вас и не будут присоединяться к соревнованию, полностью отдавая вам все свои идеи. Да, это можно делать на каггле абсолютно легально
Ставьте один банан за каждого стажера, который выиграл вам медальку на каггле за хорошую оценку на ревью
Когда мерджиться на раннем этапе (если вы решили не преследовать сологолд):
1. Когда в соревновании много данных и понятно как их использовать. Это означает только одно- нужны ресурсы. Те у кого нет сервака дома, потратят кучу времени на менеджмент датасетов и облачных видеокарт, чтобы не разориться на аренде -> проведут меньше экспериментов и натренируют меньше фолдов. Если данные весь период на одной машине и эксперименты длятся по 4+ часа, то надо искать себе тиммейтов с железом.
2. Если вдруг соревнование на узкую тему и вы знаете человека с экспертизой. Например в том же RSNA был мой японский тиммейт Ay, с которым мы решали вместе Pokemon. Он буквально работал предыдущие 3 года над MRI коленей как MLE и точно шарил в области. К сожалению, когда я решил вплотную заняться RSNA он уже был почти в золоте и с пустыми руками к нему идти было стыдновато, а когда у нас появились результаты- Ay уже нашел себе слишком большую команду.
3. Когда есть много априорной информации: мы с @biostat_r и @F1VEL только что закончили биохаб вместе и были полностью довольны всем процессом
Когда мерджиться в конце (или до последнего пытаться выбить сологолд):
1. Когда вы неичего не знаете о тиммейтах. Тиммейты могут потерять мотивацию, найти себе дела поинтереснее или смертельно заболеть. В таком случае лучше не рисковать и мерджиться уже по достижениям на лб. Но опасайтесь оверфита на лб! Знаю пару примеров, когда люди специально старались занять какое-нибудь высокое место в первый месяц челленджа, чтобы на основе этих результатов померджиться с каким-нибудь большим и сильным кагглером и ехать на его нежелании опускаться в рейтинге.
2. Когда сначала с соревнованием все понятно и под конец наступает кризис идей. Вроде бы все попробовали и нащупали хорошее решение, но до золота его докрутить не получается без оверфита. В RSNA мы так померджились с shin0000 и yuto083
Когда не мерджиться вообще:
1. У вас уже есть 4 золотые командные медали
2. Вы слишком круты для тех, с кем все еще можно объединиться
3. У вас есть то или иное нечестное приемущество в виде бесконечных ресурсов и кучи свободного времени
4. Вам повезло с соревнованием, которое попадает точнехонько в вашу предметную узкую область специализации
Ставьте один банан за каждого стажера, который выиграл вам медальку на каггле за хорошую оценку на ревью
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌32😁12👍8❤2
AI-инженерам есть что обсудить
AI-индустрия уже сталкивается с вопросами, на которые пока нет готовых ответов. Как масштабировать агентные системы, управлять рисками и считать экономику внедрения?
27 ноября Т-Банк соберет опытных инженеров, архитекторов и техлидов на встрече «Агенты влияния», чтобы вместе обсудить эти вызовы и будущее индустрии.
Вместо докладов — тематические круглые столы без видеозаписи. Участники смогут открыто поговорить о проблемах AI-разработки, сравнить подходы разных компаний, поделиться своим опытом и вместе поискать решения.
Еще в программе живые демо AI-агентов и открытый микрофон, где можно показать собственную разработку, рассказать о технических деталях и ответить на вопросы коллег.
Встреча пройдет 27 ноября в Москве, в БЦ «Око».
Есть чем поделиться или о чем поспорить?
Подайте заявку и присоединяйтесь к обсуждению
AI-индустрия уже сталкивается с вопросами, на которые пока нет готовых ответов. Как масштабировать агентные системы, управлять рисками и считать экономику внедрения?
27 ноября Т-Банк соберет опытных инженеров, архитекторов и техлидов на встрече «Агенты влияния», чтобы вместе обсудить эти вызовы и будущее индустрии.
Вместо докладов — тематические круглые столы без видеозаписи. Участники смогут открыто поговорить о проблемах AI-разработки, сравнить подходы разных компаний, поделиться своим опытом и вместе поискать решения.
Еще в программе живые демо AI-агентов и открытый микрофон, где можно показать собственную разработку, рассказать о технических деталях и ответить на вопросы коллег.
Встреча пройдет 27 ноября в Москве, в БЦ «Око».
Есть чем поделиться или о чем поспорить?
Подайте заявку и присоединяйтесь к обсуждению
💩17❤8🤡3🍌2👍1👎1😁1🖕1 1
Тут важен не скилл, а то, что скилл от джейн стрит
<скилл сократического учителя>:
> не дает ответы
> выясняет что ты уже знаешь
> направляет, чтобы ты сам пришел к ответам
https://github.com/janestreet/agent_skills
<скилл сократического учителя>:
> не дает ответы
> выясняет что ты уже знаешь
> направляет, чтобы ты сам пришел к ответам
https://github.com/janestreet/agent_skills
GitHub
GitHub - janestreet/agent_skills: Agent skills
Agent skills. Contribute to janestreet/agent_skills development by creating an account on GitHub.
⚡12❤6😁5🍌1
А с кем, собственно, мерджиться?
Мердж- это игра в покер в темную. Не хочется раскрывать все свои идеи, потому что страшно, что их украдут, но нужно получить максимум информации о решении потенциальных тиммейтов.
Интуиция подсказывает, что надо идти от топ1 лб к концу и мерджиться с теми, кто как можно выше. Это едиственная действительная измеримая открытая метрика, на которую можно смотреть без опаски. Но смотреть надо с опаской: вы мне сами уже можете подсказать, как оверфитнуться на лб и добавить себе халявные 50 мест ценой 20 сабмитов и не изменить при этом свой CV. Давайте еще вспомним Гутхарта и его 'Когда мера становится целью, она перестает быть хорошей мерой'
Так вот, перед мерджем в typic kaggle comp с незнакомыми людьми рекомендую спрашивать:
0. Скор CV. Топ 1 на лб остается им после привата только в 49.5% случаев. Если считать с 2023 года, то вообще 48.6%
1. Описание схемы валидации. Надо сравнивать яблоки с яблоками
2. Если вдруг есть общий язык- можно обсудить глобальную идею решения. Если времени мало, то ваше решение просто не успеют украсть. В то же время совсем непохожее на ваше решение с близким скором может дать огромный прирост качества на CV.
2. Какой скор на валидации по каждому из фолдов? Можно оценить дисперсию и посмотреть, вяжется ли ваше соотношение CV-Public с соотношением потенциальных тиммейтов
3. Если описание валидации, это не секретная техника, ведущая к победе в соревновании сама по себе, то можно пошерить свой маппинг фолдов и попросить посчитать по нему
4. Спросить, есть ли в команде специалисты в области, достижения которых тоже можно как-то верифицировать? Да и просто спросить про достижения норм. Обычно люди не слишком обманывают. Если тиммейты жесткие, то с ними по крайней мере будет интересно общаться.
5. Железки конечно. Железки часто можно компенсировать обещанием депнуть на vast
6. Веяние времени: доступ к дорогим подпискам тоже сегодня решает. В RSNA например надо было размечать кодексом данные и разметка была в несколько ресетов
7. Для серьезных дядек: планы на отпуск. Неиронично глупо будет мерджиться с людьми, которые заранее отказываются от финального рывка
Что я забыл? Ах да, никому блин не рассказывайте детали этого обсуждения. Законы каггла резиновые и товарищ стафф легко пришьет вам прайвет шеринг.
Кстати, все те же правила работают для поиска кофаундеров в вашу неолабу
Мердж- это игра в покер в темную. Не хочется раскрывать все свои идеи, потому что страшно, что их украдут, но нужно получить максимум информации о решении потенциальных тиммейтов.
Интуиция подсказывает, что надо идти от топ1 лб к концу и мерджиться с теми, кто как можно выше. Это едиственная действительная измеримая открытая метрика, на которую можно смотреть без опаски. Но смотреть надо с опаской: вы мне сами уже можете подсказать, как оверфитнуться на лб и добавить себе халявные 50 мест ценой 20 сабмитов и не изменить при этом свой CV. Давайте еще вспомним Гутхарта и его 'Когда мера становится целью, она перестает быть хорошей мерой'
Так вот, перед мерджем в typic kaggle comp с незнакомыми людьми рекомендую спрашивать:
0. Скор CV. Топ 1 на лб остается им после привата только в 49.5% случаев. Если считать с 2023 года, то вообще 48.6%
1. Описание схемы валидации. Надо сравнивать яблоки с яблоками
2. Если вдруг есть общий язык- можно обсудить глобальную идею решения. Если времени мало, то ваше решение просто не успеют украсть. В то же время совсем непохожее на ваше решение с близким скором может дать огромный прирост качества на CV.
2. Какой скор на валидации по каждому из фолдов? Можно оценить дисперсию и посмотреть, вяжется ли ваше соотношение CV-Public с соотношением потенциальных тиммейтов
3. Если описание валидации, это не секретная техника, ведущая к победе в соревновании сама по себе, то можно пошерить свой маппинг фолдов и попросить посчитать по нему
4. Спросить, есть ли в команде специалисты в области, достижения которых тоже можно как-то верифицировать? Да и просто спросить про достижения норм. Обычно люди не слишком обманывают. Если тиммейты жесткие, то с ними по крайней мере будет интересно общаться.
5. Железки конечно. Железки часто можно компенсировать обещанием депнуть на vast
6. Веяние времени: доступ к дорогим подпискам тоже сегодня решает. В RSNA например надо было размечать кодексом данные и разметка была в несколько ресетов
7. Для серьезных дядек: планы на отпуск. Неиронично глупо будет мерджиться с людьми, которые заранее отказываются от финального рывка
Что я забыл? Ах да, никому блин не рассказывайте детали этого обсуждения. Законы каггла резиновые и товарищ стафф легко пришьет вам прайвет шеринг.
Кстати, все те же правила работают для поиска кофаундеров в вашу неолабу
👍21🔥13❤4🍌1💊1
Нет, ну круто конечно иметь ускоренную асимптотически непараметрическую версию k-means, но зачем
https://e-means.github.io/playground.html
https://e-means.github.io/playground.html
e-means.github.io
The e-means playground
Compare e-means with Lloyd k-means on 2D synthetic distributions
❤12😁4🍌1