#ml #dl

Итоги года на канале.

Где-то чуть больше года назад я в порыве ночных раздумий понял, что пора бы завести канал. Еще помню, как выбирал название: основной вариант был "arxiv weekly" — именно так называлась еженедельная сводка обзоров статей, которую я вёл в Яндексе. Вариант "Information Retriever" с ретривером на аватарке был скорее шуточный, но каким-то образом реализовался. Ни о чем не жалею =)

Началось все с того, что после ухода Миши Ройзнера @WazowskiRecommends я вызвался подхватить организацию научного семинара по рекомендательным системам в Яндексе. Каждую неделю мы разбирали по две статьи. Я искал докладчиков, сам регулярно выступал и помогал подбирать статьи для выступлений. Чтобы было проще искать статьи, стал выпускать в чате семинара дайджест "arxiv weekly": каждую неделю просматривал все статьи, выходящие в секции arxiv cs/IR, отбирал 5-10 штук, писал про них краткие хайлайты в пару строчек. Постепенно ребята, уходящие из Яндекса, убедили меня что было бы круто перенести "arxiv weekly" в публичное пространство.

Еще в какой-то момент на нетворкингах люди стали благодарить за доклады про трансформерную персонализацию. Когда Саша Сидоров подошел и сказал, что в Wildberries смогли на основе этих докладов что-то внедрить, у меня прямо сдвиг парадигмы произошел =) Появилось понимание, что могу рассказывать что-то интересное и полезное для широкой публики, что эти доклады кто-то смотрит.

В совокупности эти два фактора, вероятно, и сподвигли на создание канала. Первые посты были очень корявые; их чтение вызывает те же ощущения, которые в эпоху вконтакте вызывало перечитывание старых переписок :) Тем не менее, постепенно сформировался какой-то свой, «авторский», стиль; о чем и как я пишу. Дальше идут итоги года в постах и выступлениях.

Выступления:

* Про нейросетевое ранжирование на ML party.
* Про индустриальные тренды рексистем на Датафесте.
* Best practices доклад про трансформерную персонализацию на Turbo ML Conf, который я попытался сделать полезнее и информативнее всех прошлых.
* Про кейсы, в которых нам пригодились статьи на практике на рекомендательном митапе от Сбера.

Посты:

* Про (1) проблемы next item prediction, (2) двухбашенные модели и logQ-коррекцию, (3) обучаемые векторы для рексистем. У нас с командой очень сильное желание сделать свой курс по рексистемам: такие посты похожи на то, что хотелось бы покрыть в курсе. Процесс создания хорошего курса долгий и сложный, пока всё на стадии сбора материала: я собираю, "коллекционирую" различные термины, концепты, теории, с которыми сталкиваюсь при работе и в статьях. Этот процесс может занять годы =)

* Про (1) ранжирование в Пинтересте, (2) ранжирование в Ютубе, (3) рекомендации похожих пинов в Пинтересте. Изначально я собирал много system design заметок про то, как устроены рекомендации в разных известных сервисах. Собирал статьи, парсил блоги на медиуме, искал выступления. Пока что это, пожалуй, один из наиболее сложных типов постов для реализации.

* Про рабочие проекты и команду: (1) чтение статей для r&d, (2) графовые нейросети, (3) нейросетевое ранжирование, (4) чем занимается наша команда, (5) трансформер с миллиардом параметров. Писать про команду приятно и просто, здесь я недорабатываю :)

* Серия постов про праздник рекомендательных систем на ACM RecSys 2024: 1, 2, 3, 4, 5, 6, 7.

* "Кулуарные" посты, в которых пытался передать атмосферу нетворкинга и какие-то приватные, но не очень, обсуждения: (1) конфа вышки, (2) датафест, (3) turbo ml conf, (4) pml conf.

* Обзорные посты с кучей ссылок на статьи: (1) NLP образца 2020-го года, (2) what's on google's deepmind, (3) скейлинг в рексистемах, (4) sigir 2024, (5) топ статей про нейросети в рекистемах.

Спасибо, что были со мной этот год! И до встречи в следующем :)

Закончил 2ю половину workshop по CI/CD на примере контейнера с DuckDB и 1м SQL файлом.

Во 2й части мы занялись deployment, и в качестве destination выбрали Docker Hub. Посмотрели на GitHub и Docker tags, добавили Release, все через GitHub Actions.

Вы можете самостоятельно все проделать.

Ссылка на инструкции: https://github.com/surfalytics/data-projects/tree/main/dataops-projects/01_git_and_ci_cd

Мое решение: https://github.com/dimoobraznii1986/surfalytics-ci-cd-project

Статьи в тему, которые мы написали с Настей:
- Part 1: How to work with SQL queries as a pro
- Part 2: How to work with SQL queries as a pro


Если не уверены в CLI, IDE, Docker, Git, начните с Модуля 0 (Surfalytics), там может и на английском, но все команды и примеры и так понятны https://www.youtube.com/watch?v=LJIiCLu2gr8&list=PLNCDg7zJiXhP5Z_-TXUdorz2n7sjYHHKE

Понимание, что такое CI/CD, Git, как это работает и как используют другие компании помогает лучше адаптировать DevOps практики для своих аналитических проектов и повышает качество проекта.

#ЭтонаНовыйгод: все о профессиональном бренде и публичных выступлениях

Итоги года в моем канале невозможно представить без подборки по созданию профессионального бренда и публичным выступлениям.

Выбрала самое удачное из своего плюс прошлась по каналам экспертов, которых я на эту тему читаю/смотрю.
Сохраняйте, изучайте, дополняйте в комментариях и входите в новый год с планом, как быть заметными в своих индустриях.

⚡️ЗАЧЕМ?
Начнем с целеполагания

📺Интервью Николая Картозии - одного из главных экспертов на эту тему в русскоязычном пространстве
📺Подкаст «Разве это карьера?» с вашим любимым и скромным автором
📌Посты кофаундера маркетингового агентства БУНТ и автора канала «Состояние потока» Наили Аслановой
🔸Зачем нужен корпоративный личный бренд?
🔸Личный бренд эксперта внутри индустрии
📌Кирилл Гурбанов объясняет, почему руководителям без умения выступать – никуда


⚡️КТО?
Узнать себя, чтобы рассказать другим

📌Личный бренд: и Библия персонажа
📌Помоги себе не сам: менторы, коучи и наставники и публичные выступления
📌Эволюция спикеров
📌Role models и референсы в жизни: как это работает?
📌О чем говорит внешность и при чем тут личный бренд?

⚡️КАК?
Инструменты и каналы коммуникации с аудиторией

🎤Публичные выступления
❗️4 моих «великих» лонгрида о том, как подготовить доклад и интервью, если вы спикер или организатор
📌Классные советы автора канала «Кирилл говорил» Кирилла Гурбанова
🔸Как подходить к прогонам
🔸Как работать с вопросами из зала

И снова от меня
📌Вредные советы спикеру: коллаборация с автором канала The Art Of Programming Антоном Черноусовым
📌Вредные советы спикеру: коллаборация с каналом Олега Козырева
📌Как планировать выступления на конференциях?
📌Мастер-класс - жанр для тех, кто, кажется, сделал в публичных выступлениях уже все

Telegram
📌Telegram-канал: плюсы, минусы, подводные камни
📌Ведение Telegram-канала и разные типажи экспертов на примере технических директоров - пост автора канала «Говорите громче» Жени Голевой
📌Актуальные советы из 2019 года от «Ночного Писаревского»

Такс, кажется, этого достаточно, чтобы вдохновиться и даже сформулировать стратегию.

Расскажите, планируете ли вы уделять внимание своей видимости как профессионала в 2025?

❤️ - однозначно да

👌- планирую начать

👍- если времени хватит

👎- нет, мне это не нужно

🤔- подумаю об этом завтра

Карта типов CDO
К обзору книги Carruthers, Jackson - The Chief Data Officer's Playbook

Хочется дополнить наш недавний обзор книги про CDO моей любимой картой архетипов дата лидеров.

Оригинальная статья была опубликована около 5 лет назад компанией Informatica, хотя недавно ее почему-то удалили. Однако у меня ходы остались записаны! Хочу поделиться с вами)

По концепту все Chief Data Officers делятся на 4 категории - по их самым сильным сторонам.

- Digital Innovators. Ключевые навыки дата лидера - в знании data science/ML/AI технологий. Такой CDO сможет затащить поиск перспективных идей, быстрые эксперименты и исследования, внедрение новых решений. Как правило, эти лидеры вырастают из дата саентистов.

- Analytics Champions. Фокус - на построении процессов для надежной отчетности: развитие BI-инструментов и дашбордов, настройка качественных end2end пайплайнов, включая оптимизацию работы отчетов в рамках BI и витрин данных под ними. Чтобы все работало четко, быстро, не ломалось - давало бизнесу возможность прозрачно видеть нужные данные по процессам и принимать решения. Такой тип лидера обычно вырастает из дата аналитика.

- Governance Circus. Ключевые скиллы и фокус внимания - на качестве данных, системном развитии архитектуры данных, процессов и инструментов управления ими и обеспечении их безопасности. Этот тип дата лидера вырастает из дата архитекторов, системных аналитиков, реже - из дата инженеров.

- Operational Optimizers. Основной бекграунд - в развитии инфраструктуры и технических процессов работы с данными. Это гуру в развитии платформенных сервисов и автоматизации всех этапов работы с данными: от сбора и интеграций, до деплоя отчетности и ML-моделей. Такой тип обычно вырастает из дата инженеров.

Верхнеуровнево, два правых квадранта - больше про монетизацию данных, а два левых - про их подготовку для того, чтобы их можно было использовать. В разные моменты времени, для разных отраслей и этапов развития компании - ей могут требоваться различные типы CDO.

По моему опыту, у всех CDO сильной группой навыков будет один, максимум два квадранта. Остальное может быть также закрыто, но уже как вторичная группа - с разной степенью погруженности и возможности управлять процессом.

Об этой картинке рекомендую задумываться, и когда принимаете решение о найме и думаете о профиле нужного вам специалиста, и если вы CDO/дата-лид, и собираете свою команду.

Ваш @Reliable ML

#business #cdo

#dl #cv

CRAFT

Препарируем динозавра, чтобы лучше понять устройство актуальных моделей.

CRAFT — U-net подобная модель 2019 года, с VGG-16 внутри, которая призвана была решить проблему распознавания «in the wild» текста. В реальной жизни текст может состоять из символов разного шрифта, цвета, ориентации, с разными фонами и искажениями. Поэтому логично пробовать детектировать не целое слово за раз, а отдельные символы и промежутки между ними. Именно эту задачу и решает CRAFT.

Но как получить разметку для таких данных в большом количестве? Какие недостатки у такой модели и почему она не работает в одиночку? На эти и другие вопросы мы ответили в новой статье: https://deepschool-pro.notion.site/CRAFT-afe83ca8925041cea46c287fd3611e7d?pvs=4

#courses #math #statistics #ml #dl

Тут оказывается у CSC есть сайт, в котором собраны все курсы

Вот ссылка например за 2019 учебный год: https://compscicenter.ru/courses/?academic_year=2019&branch=spb&terms=autumn,spring

#учимпитон

Какой же кайф найти в старой репе готовую функцию, которую хочешь написать. Удобно для экспериментов делать структурированные вложенные конфиги, но W&B кривовато работает с многоуровневыми конфинами, поэтому для логгирования надо их расплющивать. И вот такую штуку нашел в репе с дипломом, забирайте, кому надо:

from typing import Any
from collections.abc import Mapping
from collections import defaultdict


def flatten_dict(d: Mapping[str, Any], sep=".") -> dict[str, Any]:
    res = {}
    for k, v in d.items():
        assert isinstance(k, str)
        assert sep not in k
        if isinstance(v, Mapping):
            res.update({
                sep.join((k, k_in)): v_in
                for k_in, v_in in flatten_dict(v).items()
            })
        else:
            res.update({k: v})
    return res


def unflatten_dict(d: Mapping[str, Any], sep=".") -> dict[str, Any]:

    def nest_default_dict():
        return defaultdict(nest_default_dict)

    res = defaultdict(nest_default_dict)
    for k, v in d.items():
        cur = res
        parts = k.split(sep)
        for part in parts[:-1]:
            cur = cur[part]
        cur[parts[-1]] = v

    def dictify(d):
        res = {}
        for k, v in d.items():
            if isinstance(v, defaultdict):
                res[k] = dictify(v)
            else:
                res[k] = v
        return res

    return dictify(res)