#LB_probing три истории про эксплойты через зондирование лидерборда
1. https://export.arxiv.org/pdf/1707.01825
2. https://www.kaggle.com/code/cdeotte/lb-probing-strategies-0-890-2nd-place/
3. https://www.kaggle.com/c/30-days-of-ml/discussion/269541/

#recommender #graph

🌐 ML на графах для решения задачи матчинга

Один из наших подписчиков, Иван, написал очень крутую статью про решение задач матчинга с помощью графовых нейронных сетей.

А если конкретнее - про применение алгоритмов кластеризации на графах при поиске одинаковых товаров в онлайн-магазине.

Классический подход для  решения такой задачи состоит из двух этапов:
1. Подбор кандидатов. На этом этапе используется грубый, но быстрый алгоритм для подбора большого количества схожих объектов, потенциальных пар
2. Проверка пар моделью (т. н. матчинг) — более точная проверка того, действительно ли в паре одинаковые объекты.

У объекта может быть более одного дубликата, и хочется их объединять в одну группу, один кластер.

Просто склеить все найденные пары в один кластер — не лучшая идея, поскольку предсказания модели на 2 этапе имеют не нулевой процент ошибок, а такая склейка их только размножит.

В статье рассказывается про то, как алгоритмы Community Detection позволяют эту проблему решать

Статья на хабре тут

Сказ о потерянном skip connection.

Забабахал архитектуру.
Обучаю трансформер.
Чет лосс почти не падает.
Кручу-верчу лернинг рейт, один хрен.
Смотрю на выход (с zero инициализацией на последнем слое), и он еле-еле колеблется в районе 0.
Чешу репу, смотрю код, и опа!
В трансформерном блоке было нечто такое (для краткости опущены нормализации и RoPE):
x = x + self_attn(x)
x = cross_attn(x)
x = x + feedforward(x)
Добавил потерянный skip и все заработало 🚀.

Мораль сей басни такова - не теряйте skip connections!

Я смотрю тут все ждут тестов двух новых плат?
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)

Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.

https://youtu.be/9t8eASTrIP0

#ml #dl #llm

Дайджест статей

Baseline OpenAI end-to-end chat reference architecture
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat

Using Data Democratization for Better Business Forecasting and Results
https://www.smartdatacollective.com/using-data-democratization-for-better-business-forecasting-and-results/?utm_source=pocket_saves

Data Cleaning in Python vs. Data Quality Tools
https://www.datasciencecentral.com/data-cleaning-in-python-vs-data-quality-tools/?utm_source=pocket_saves

Introduction to Modern Data Stack
https://dzone.com/articles/introduction-to-modern-data-stack?utm_source=pocket_saves

Data Analytics Trends To Watch in 2024
https://dzone.com/articles/data-analytics-trends-to-watch?utm_source=pocket_saves

The Evolution of Database Architectures: Navigating Big Data, Cloud, and AI Integration
https://dzone.com/articles/the-evolution-of-database-architectures-navigating?utm_source=pocket_saves

Платформа Rasa в действии: оценка работы виртуального ассистента с помощью конвейера данных диалогов и аналитики
https://habr.com/ru/articles/798879

6 способов применения искусственного интеллекта для автоматизации процессов продаж
https://habr.com/ru/articles/799127/

Эпоха цифровых двойников: как виртуальные модели выводят промышленность на новый уровень
https://habr.com/ru/companies/sberbank/articles/797827/

Цена качества модели: как метрики качества модели машинного обучения влияют на финансовый результат
https://habr.com/ru/articles/798077/

#ab #analytics

3 лучших доклада по аналитике

, которые я посмотрел за последнее время

Ранее мы уже говорили про насмотренность, в этот раз хочу посоветовать несколько интересных на мой взгляд докладов:

1. Ценообразование в Яндекс.Еде, Роман Халкечев
Эволюция аналитики в сервисе яндекс еды за последние несколько лет и ключевые улучшения, которые аналитики делали каждый год

2. Динамический минимальный чек в ультра-быстрой доставке продуктов, Никита Бобух
Никита рассказывает, как они находили баланс между спросом и предложением с помощью динамического чека, а также про оценку и улучшение точности прогнозирования курьеров. Очень емкий и структурный доклад

3. «Вечная» контрольная группа, Александр Купцов и Сергей Максимов
Как в Циане выделяли постоянную контрольную группу, чтобы оценивать суммарный эффект от всех фичей и отличать рост продукта от роста рынка. Рекомендую секцию вопросов тоже не пропускать. Сам рассказ начинается примерно с 01:00:00, в видео есть и другие выступления

Напишите в комментариях, какие доклады или статьи за последнее время понравились вам
и ставьте 🐳, если хочется чаще видеть подобные подборки в канале!

#dl #cv #interview

Q: Briefly describe two similarities and two dissimilarities of ConvNeXt architecture, compared to ResNet.

A:
Similarities:
1. They are both only utilizing convolution operations for feature extraction (no attention needed)
2. They both utilize residual skip connections in their building blocks
3. They have the same number of "stages", in which operations are performed on the same spatial size, followed by trainable down-sampling, implemented with Conv layer

Differences:
1. Inverted bottleneck - in ConvNext first spatial mixing is performed with depth-wise convolution, then channel mixing using 1x1 convolutions vs in ResNet first squeezing # of channels using 1x1 convolution and then performing combined channel-spatial mixing using 3x3 convolution.

2. Patchify stem - in its stem ConvNext utilizes approach similar to ViT architecture, splitting the images into 4x4 patches with stride 4, effectively converting each of these patches into independent embeddings using convolution vs ResNet uses 7x7 convolution with stride 2 and 2x2 maxpool with stride 2 to achieve 4x down-sampling of the features with respect to the original image, and each "pixel" of the feature map has information about neighboring pixels.

3. LayerNorm instead of BatchNorm - in BN, features are normalized across samples, leading to randomized behavior, and feature statistics are only measured during training, which leads to different behavior during inference, while LayerNorm has similar behavior across stages and does not depend on the input.

4. Less Normalizations and Activations - in ConvNext, normalization is only performed after non-unit-size convolutions (Stem, Inter-stage downsampling, inside Bottleneck blocks), while in ResNet normalization is performed after each convolution. Also, only 1 activation is used inside ConvNext block, between channel mixing stages, against the starnart convention of using activation after every convolution, mimicking the structure of Swin block

​🧑‍🎓 Leetcode по ML/DS

Думаю, все знают про leetcode, с помощью которого можно отлично натаскаться на алгоритмические задачки.
Нашли аналогичный сервис по ML/DS задачкам, на котором можно попрактиковаться в решении задач по SQL, Python, Теории вероятностей и статистике. В нём собраны задачки, которые спрашивают топовых компаниях вроде Tesla/Twitter/Facebook/Linkedin и т.д.

Отличная штука для того, чтобы попрактиковаться перед собеседованием 🙂

https://datalemur.com/questions

#algo #code