А НУ ОТДАЙ

Волею судеб в последнее время часто рассказываю про смену тимлида в команде. То на Тимлидконфе (ждете запись? я тоже!!), то своим ребятам.

Недавно уходящий вдаль тимлид спросил у меня чек-лист, что передавать при уходе. Поделюсь им и с вами:

Про каждого из людей в команде
◻️Что человек регулярно делает в проекте, какие задачи решал, что умеет делать хорошо
◻️Какие задачи нравятся, а каких хотелось бы избежать
◻️Темперамент, мотивация, подходящий стиль управления
◻️Планы на развитие и карьеру, предыдущие договоренности
◻️Известные слабые места и сложности

Про проект
◻️Что проект делает и как он устроен (обзорно)
◻️Кто стейкхолдеры проекта и чего они от него ждут
◻️Формальные обязательства: цели, роадмап, KPI, метрики, показатели
◻️Обещания стейкхолдерам и пользователям
◻️Какие есть известные проблемы и риски
◻️Текущее видение краткосрочного и долгосрочного развития продукта

Про себя
◻️Что ты делал в проекте с разной регулярностью
◻️Какими уникальными знаниями по проекту ты обладаешь
◻️Доски, тикеты и прочая бухгалтерия, желательно приведенная в порядок
◻️Будешь ли ты готов отвечать на вопросы по проекту после ухода, как долго и в каком формате

Еще раз про обещания
◻️Публичные
◻️Внутри команды
◻️Смежникам
◻️Руководителям
◻️Стейкхолдерам

Можно дополнять!

#тимлид

Давайте поговорим про GAN.
В последнее время принято друг за другом повторять: GAN — парадигма прошлого, диффузия и авторегрессия рулят. Тем не менее, даже сейчас, не смотря на доминирование диффузии в text-to-image, GAN находят применение в Super Resolution и обучениях VAE, а также используются в методах дистилляции (ADD) и альтернативных архитектурах диффузии (PaGoDa). При этом, GAN имеют очевидные проблемы. Работы ниже конректизируют проблемы и предлагают способы их решения.

Towards a Better Global Loss Landscape of GANs
[NeurIPS 2020, код/веса]

Авторы выделяют две основные проблемы при обучении GAN:
1. Mode collapse —падение разнообразия генераций)
2. Divergence — расхождение процесса обучения

Для этого проводят анализ поверхности лоссов наиболее популярных вариантов GAN.
Предлагается поделить все GAN на два семейства по типу используемых лосс функций:
1. Separable-GAN — почти все популярные GAN, где D независимо оценивает правильность real/fake примеров. Сюда относят классические JS-GAN, W-GAN
2. Relativistic-GAN — модели, в которых D оценивает реальность fake примера относительно соответствующего ему real примера. Основной пример - RpGAN.

Авторы показывают, что эта разница принципиальна. Separable-GAN работает в предположении, что все real и fake данные можно разделить одной границей. Тогда задачей G становится минимальный перенос fake примеров за эту границу. Таких решений экспоненциально много, многие из них вырождены, что и приводит к проблемам. В то же время, авторы показывают, что обучение Relativistic-GAN такой проблемой не обладает, а каждый минимум является глобальным.

The GAN is dead; long live the GAN!
A Modern Baseline GAN
[NeurIPS 2024, код]

Всё сказанное выше правда, все минимумы - глобальные, вот только никто не сказал, что градиентный спуск может легко найти их. На практике, RpGAN без доп регуляризаций не всегда сходится.

Вклад этой работы в том что авторы:
1️⃣ Анализируют то какие именно регуляризации полезны для RpGAN, получается, что это комбинация R1 + R2 (gradient penalty для D и G), называют модель R3GAN
2️⃣ Обнуляют все трюки из StyleGAN2, после чего заново подбирают и аблейтят архитектуру

На выходе получают модель с ResNeXt-ify архитектурой для G и D и отстутствием каких-либо трюков кроме RpGAN + R1 + R2 лосса. Финальная версия улучшает FID на FFHQ 256 c 7.52 до 7.05 при сохранении размеров G и D.

Итог
Очень нравятся работы про раздебаг и упрощение систем, когда вместо yet another заплатки находят и устраняют проблему. Переносимость результатов на смежные задачи и бОльшие масштабы требует доп. проверки.

#ml #dl #systemdesign #courses

Офигеть, мой друг и бывший коллега Саша Джумурат выложил топовый курс <создание ML продуктов>
🤯

https://m.youtube.com/playlist?list=PLkMuRSRMaoRv6Vv6DNrb8Gt1yJT96YGfS

#novice #courses #python #database

База для Data Engineer

Сегодня поговорим о том, какие скиллы нужно развивать DE. 🚀

В Data Engineering обычно приходят двумя путями:

- ▫️ Backend разработчики с опытом
- ▫️ Аналитики данных и специалисты смежных областей

Если для первых переход относительно простой, то вторым придется серьезно подтянуть техническую часть.

🎯 Вот топ-5 ресурсов, которые помогут вам освоить необходимые навыки:

1️⃣ Основы Linux
Курс "Введение в Linux" - must have для работы с терминалом

2️⃣ Базы данных
Fundamentals of Database Engineering - лучший курс для понимания СУБД

3️⃣ Python
Два отличных курса от Сергея Балакирева:
• Базовый Python
• Python ООP

4️⃣ Оркестрация
Выбирайте, что больше нравится:
• Airflow Academy
• Dagster University

5️⃣ Практика
DE Zoomcamp - бесплатный курс с реальными проектами


Я лично прошел все перечисленные курсы.
Это не просто список рекомендаций - это проверенный путь, который помог мне стать Data Engineer'ом.

Путь Data Engineer - это увлекательное путешествие, которое требует постоянного обучения и практики.
Начните с основ, постепенно наращивайте свои навыки, и не забывайте практиковаться на реальных проектах.
Помните, что технологии постоянно развиваются, поэтому важно следить за новыми инструментами и подходами в области Data Engineering.

#dl #nlp

#ml #papers

Статистические свойства PSI

https://scholarworks.wmich.edu/cgi/viewcontent.cgi?article=4249&context=dissertations

Ссылка: https://github.com/jgatheral/RoughVolatilityWorkshop

#systemdesign #courses

#systemdesign #courses