Запрети мне псевдолейблить
4.47K subscribers
276 photos
2 videos
6 files
241 links
Канал о пути к Kaggle competitions (теперь уже) GrandMaster и поте, которым обливаешься в процессе

Последний авторский канал про мл, претендующий на искренность и позволяющий ставить клоунов

Для контакта пишите в сообщения канала, они бесплатные
Download Telegram
3/5 🥇, пора задумываться о эпопее сологолда

RSNA (колени) законился и нам повезло не вылететь с последнего места с голдом в трубу. Придется разбирать соревнование и как так вышло

Спасибо всей команде, а особенно @biostat_r и @F1VEL
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🔥11🫡7❤4🍌11
Новое соревнование: Google Quantum AI - Verifiable Quantum Circuit Compilation
https://www.kaggle.com/competitions/google-verifiable-quantum-circuit-compilation

Нужно оптимизировать квантовые алгоритмы, чтобы они дешевле считались и все еще были корректными. Пока что выглядит как соревнование на оптимизацию субзадач через кодинг агентов. По сути- квантогольф, где нужно метапромтить агентов на эффективное сжигание токенов

Медали, 150к призовых и 50к из них за первое место

Лучшее место, чтобы подождать санту
❤‍🔥18👍5🔥4❤32🍌1
По мотивам вчерашнего спора про уровень образования:
PhD как минимум чаще пишут, что они PhD, когда уже нафармливают Master+
🍌23😁9👍2
У ваших 3090 купленых с майнинг бума может быть вторая жизнь для фарма кагла

https://github.com/Zagitta/gpu-unlock

Кастомное анлок ядро линукса, которое разблокирует часть железа.
Можно получить почти двухкратный прирост в Bf16/fp16/Tf32 и получить карту эквивалентную по производительности трем четвертям 5070TI с 24 гб чуть более медленной памяти. Зато можно NVlink использовать, чтобы в консьюмер машину поставить 4/8 карт
🔥21❤4🍌1
Тут еще есть и для 40* серии анлок, оказывается:
https://github.com/JustAResearcher/gpu-unlock-ada

Судя по мнению ллмок, такой анлок потенциально можно и для серии 50* сделать
❤11🍌11
mr Pa3฿aJluHа специально для @pseudolabeling описывает свое решение RSNA

Ты скорее всего тоже в курсе что, соревнование чисто про метки по сути. Вся суть была в том, как из текста сделать метки, по которым можно учить картиночную модель.

Что делал:
- отчёты читали (без картинок) Kimi K3, MiMo-V2.6-Pro-RL, DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next-FP8 и GLM-5.3 на арендованных гпу, по два раза каждая, взял средние метки. В промпт дословно вшил рубрику организаторов (что считается разрывом ACL, какой выпот уже "да" и т.д.) и просил не "упомянуто ли в отчёте", а вероятность, что эксперт по снимку поставил бы плюс. Gold метки заметно строже текста, так что это реально решало. Всё калибровал на gold.
- дальше самообучение: цель = смесь LLM-метки и OOF-предсказаний самой модели, и так 10 раундов подряд (в начале каждый раунд давал ощутимо, но начиная с 4-5 начал уже приколы придумывать с метками, но это копейки давало и скорее шум). Между раундами также делал мелкие внедрения, но на четкие абляции ресурсов не хватило.
- модель 2.5D: бэкбон (в итоге ConvNeXt-S) на окнах по 3 среза, от каждого окна сетка признаков 2x2/3x3 вместо одного вектора, сверху трансформер и свой query на каждую патологию. Сетка дала самый жирный скачок, 0.938 -> 0.951.
- зум на колено: кроп 110 мм по центру вместо всего поля. Плюс правые колени зеркалю в левые и проверяю сторону по снимку — медиальный/латеральный от неё зависят, а тег пустой был в районе 30% исследований.
- судья — 58 gold: они предсказывали LB лучше, чем OOF на моих метках, хотя в дискашенах видел противополжное у кого-то.

С этим в начале октября вышел на 0.963, это была первая строчка по скору, и дней пять держался в топ2, потом народ подтянулся. Ансамбли своих моделей не давали практически ничего (корреляция 0.98), зашёл только второй тип моделей в бленде - 0.965 и 24 на паблике. На привате бог рандома смиловался и я поднялся на 16.


Замечу от себя:
Мы размечали астрой
Мы не додумались несколько раз разметить астрой
Нам помогало хорошо стакать модели и вообще там вундервафля. Разберу его как опубликуем окончательно
SigReg из eine Jepa тащит и стабилизирует обучение, попробуйте его везде
Попробуйте все варианты разрешения инпута для картинок, 512 почти всегда лучше 256 и 344

Наш райтап живет тут, лайки ставить тоже сюда:

https://www.kaggle.com/competitions/rsna-knee-abnormality-detection/writeups/19th-place-solution
🔥18👍7❤5🍌2
Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод».

29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле. Приглашаем инженеров данных, MLOps-специалистов и техлидов.

В программе — три доклада от практиков:

⚫️ Никита Гирш из ДОМ. РФ и Центрального университета расскажет, как мигрировали с SAS на dbt + Airflow: что пошло не так, как планировалось, и что в итоге получилось
⚫️Ислам Янгуразов из Magnit Tech покажет, как чистить S3 так, чтобы не потерять важную историю — и почему здесь стоит подключить ИИ-агента
⚫️Павел Лисичкин из X5 Tech объяснит, как научить ИИ самому находить узкие места в Spark-задачах и чинить их

Если захочется не только слушать, но и делиться опытом — при регистрации можно указать, что вам интересно преподавание: ссылка на регистрацию
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💩12❤3😁3👌2🍌1
Запрети мне псевдолейблить
Нам пообещали починить Rl соревы на каггле! Кагл стафф пообещал починить будущие RL соревнования: будут прогонять модель Бредли-Терри после периода 'охлаждения' лб. Это ответ на огромную дисперсию и шатание рейтинга в покемонах. Сейчас используют вариацию…
Kaggriculture: перестановки после Брэдли–Терри

Придумал как визализировать сразу обе важные метрики, на которые по идее должен был влиять пересчет:
1. Медали
2. Очки рейтинга в competition ranking

В итоге после пересчета что-то реально изменилось аж для 4.6% участников Kaggriculture. 102 команды сменили в ту или иную сторону свою медаль.

Думаю все же статфикс был совершено, бесповоротно бесполезен:
Из золота в серебро (и обратно) переместилось буквально две команды и основная драма, как водится, случилась на границе бронзы/серебра.

Зато Каггл первый раз на моей памяти посчитал паблик скор по одной формуле, а приват по другой. В итоге очки пересчитали примерно по формуле: BTscore = Elo * 1.354 + 2093. Скорее всего просто всем 'добавили сверху', чтобы худшая команда имела ноль + eps очков, а потом уже посчитал BT. Для всех, кто минимально решал между просто Elo и BT R^2 удержался в 0.959.

Короче фикс ради фикса, популизм для нищих и дополнительная провокация лудоманов на фарм рл соревнований
❤9🔥4😢2🤡2😁1🤣1🍌1