Закончил 2ю половину workshop по CI/CD на примере контейнера с DuckDB и 1м SQL файлом.

Во 2й части мы занялись deployment, и в качестве destination выбрали Docker Hub. Посмотрели на GitHub и Docker tags, добавили Release, все через GitHub Actions.

Вы можете самостоятельно все проделать.

Ссылка на инструкции: https://github.com/surfalytics/data-projects/tree/main/dataops-projects/01_git_and_ci_cd

Мое решение: https://github.com/dimoobraznii1986/surfalytics-ci-cd-project

Статьи в тему, которые мы написали с Настей:
- Part 1: How to work with SQL queries as a pro
- Part 2: How to work with SQL queries as a pro


Если не уверены в CLI, IDE, Docker, Git, начните с Модуля 0 (Surfalytics), там может и на английском, но все команды и примеры и так понятны https://www.youtube.com/watch?v=LJIiCLu2gr8&list=PLNCDg7zJiXhP5Z_-TXUdorz2n7sjYHHKE

Понимание, что такое CI/CD, Git, как это работает и как используют другие компании помогает лучше адаптировать DevOps практики для своих аналитических проектов и повышает качество проекта.

#ЭтонаНовыйгод: все о профессиональном бренде и публичных выступлениях

Итоги года в моем канале невозможно представить без подборки по созданию профессионального бренда и публичным выступлениям.

Выбрала самое удачное из своего плюс прошлась по каналам экспертов, которых я на эту тему читаю/смотрю.
Сохраняйте, изучайте, дополняйте в комментариях и входите в новый год с планом, как быть заметными в своих индустриях.

⚡️ЗАЧЕМ?
Начнем с целеполагания

📺Интервью Николая Картозии - одного из главных экспертов на эту тему в русскоязычном пространстве
📺Подкаст «Разве это карьера?» с вашим любимым и скромным автором
📌Посты кофаундера маркетингового агентства БУНТ и автора канала «Состояние потока» Наили Аслановой
🔸Зачем нужен корпоративный личный бренд?
🔸Личный бренд эксперта внутри индустрии
📌Кирилл Гурбанов объясняет, почему руководителям без умения выступать – никуда


⚡️КТО?
Узнать себя, чтобы рассказать другим

📌Личный бренд: и Библия персонажа
📌Помоги себе не сам: менторы, коучи и наставники и публичные выступления
📌Эволюция спикеров
📌Role models и референсы в жизни: как это работает?
📌О чем говорит внешность и при чем тут личный бренд?

⚡️КАК?
Инструменты и каналы коммуникации с аудиторией

🎤Публичные выступления
❗️4 моих «великих» лонгрида о том, как подготовить доклад и интервью, если вы спикер или организатор
📌Классные советы автора канала «Кирилл говорил» Кирилла Гурбанова
🔸Как подходить к прогонам
🔸Как работать с вопросами из зала

И снова от меня
📌Вредные советы спикеру: коллаборация с автором канала The Art Of Programming Антоном Черноусовым
📌Вредные советы спикеру: коллаборация с каналом Олега Козырева
📌Как планировать выступления на конференциях?
📌Мастер-класс - жанр для тех, кто, кажется, сделал в публичных выступлениях уже все

Telegram
📌Telegram-канал: плюсы, минусы, подводные камни
📌Ведение Telegram-канала и разные типажи экспертов на примере технических директоров - пост автора канала «Говорите громче» Жени Голевой
📌Актуальные советы из 2019 года от «Ночного Писаревского»

Такс, кажется, этого достаточно, чтобы вдохновиться и даже сформулировать стратегию.

Расскажите, планируете ли вы уделять внимание своей видимости как профессионала в 2025?

❤️ - однозначно да

👌- планирую начать

👍- если времени хватит

👎- нет, мне это не нужно

🤔- подумаю об этом завтра

Карта типов CDO
К обзору книги Carruthers, Jackson - The Chief Data Officer's Playbook

Хочется дополнить наш недавний обзор книги про CDO моей любимой картой архетипов дата лидеров.

Оригинальная статья была опубликована около 5 лет назад компанией Informatica, хотя недавно ее почему-то удалили. Однако у меня ходы остались записаны! Хочу поделиться с вами)

По концепту все Chief Data Officers делятся на 4 категории - по их самым сильным сторонам.

- Digital Innovators. Ключевые навыки дата лидера - в знании data science/ML/AI технологий. Такой CDO сможет затащить поиск перспективных идей, быстрые эксперименты и исследования, внедрение новых решений. Как правило, эти лидеры вырастают из дата саентистов.

- Analytics Champions. Фокус - на построении процессов для надежной отчетности: развитие BI-инструментов и дашбордов, настройка качественных end2end пайплайнов, включая оптимизацию работы отчетов в рамках BI и витрин данных под ними. Чтобы все работало четко, быстро, не ломалось - давало бизнесу возможность прозрачно видеть нужные данные по процессам и принимать решения. Такой тип лидера обычно вырастает из дата аналитика.

- Governance Circus. Ключевые скиллы и фокус внимания - на качестве данных, системном развитии архитектуры данных, процессов и инструментов управления ими и обеспечении их безопасности. Этот тип дата лидера вырастает из дата архитекторов, системных аналитиков, реже - из дата инженеров.

- Operational Optimizers. Основной бекграунд - в развитии инфраструктуры и технических процессов работы с данными. Это гуру в развитии платформенных сервисов и автоматизации всех этапов работы с данными: от сбора и интеграций, до деплоя отчетности и ML-моделей. Такой тип обычно вырастает из дата инженеров.

Верхнеуровнево, два правых квадранта - больше про монетизацию данных, а два левых - про их подготовку для того, чтобы их можно было использовать. В разные моменты времени, для разных отраслей и этапов развития компании - ей могут требоваться различные типы CDO.

По моему опыту, у всех CDO сильной группой навыков будет один, максимум два квадранта. Остальное может быть также закрыто, но уже как вторичная группа - с разной степенью погруженности и возможности управлять процессом.

Об этой картинке рекомендую задумываться, и когда принимаете решение о найме и думаете о профиле нужного вам специалиста, и если вы CDO/дата-лид, и собираете свою команду.

Ваш @Reliable ML

#business #cdo

#dl #cv

CRAFT

Препарируем динозавра, чтобы лучше понять устройство актуальных моделей.

CRAFT — U-net подобная модель 2019 года, с VGG-16 внутри, которая призвана была решить проблему распознавания «in the wild» текста. В реальной жизни текст может состоять из символов разного шрифта, цвета, ориентации, с разными фонами и искажениями. Поэтому логично пробовать детектировать не целое слово за раз, а отдельные символы и промежутки между ними. Именно эту задачу и решает CRAFT.

Но как получить разметку для таких данных в большом количестве? Какие недостатки у такой модели и почему она не работает в одиночку? На эти и другие вопросы мы ответили в новой статье: https://deepschool-pro.notion.site/CRAFT-afe83ca8925041cea46c287fd3611e7d?pvs=4

#courses #math #statistics #ml #dl

Тут оказывается у CSC есть сайт, в котором собраны все курсы

Вот ссылка например за 2019 учебный год: https://compscicenter.ru/courses/?academic_year=2019&branch=spb&terms=autumn,spring

#учимпитон

Какой же кайф найти в старой репе готовую функцию, которую хочешь написать. Удобно для экспериментов делать структурированные вложенные конфиги, но W&B кривовато работает с многоуровневыми конфинами, поэтому для логгирования надо их расплющивать. И вот такую штуку нашел в репе с дипломом, забирайте, кому надо:

from typing import Any
from collections.abc import Mapping
from collections import defaultdict


def flatten_dict(d: Mapping[str, Any], sep=".") -> dict[str, Any]:
    res = {}
    for k, v in d.items():
        assert isinstance(k, str)
        assert sep not in k
        if isinstance(v, Mapping):
            res.update({
                sep.join((k, k_in)): v_in
                for k_in, v_in in flatten_dict(v).items()
            })
        else:
            res.update({k: v})
    return res


def unflatten_dict(d: Mapping[str, Any], sep=".") -> dict[str, Any]:

    def nest_default_dict():
        return defaultdict(nest_default_dict)

    res = defaultdict(nest_default_dict)
    for k, v in d.items():
        cur = res
        parts = k.split(sep)
        for part in parts[:-1]:
            cur = cur[part]
        cur[parts[-1]] = v

    def dictify(d):
        res = {}
        for k, v in d.items():
            if isinstance(v, defaultdict):
                res[k] = dictify(v)
            else:
                res[k] = v
        return res

    return dictify(res)

Chinese researchers reveal how to reproduce Open-AI's o1 model from scratch

Твитор Статья, PDF

подкаст по статье, кому лень читать как и мне)

#ml #dl #llm #papers

После появления LLM ок текстовые энкодеры стали часто использовать для задач RAG.

Они позволяют превратить текст в осмысленный вектор, эмбединг, по которому можно искать релевантные куски в условной базе знаний нужную информацию, и подсовывать в контекст ллмки.

Однако следует понимать что тут есть одна идейная проблема - мы хотим что бы "вектора смысла" у

> Помогите не могу зайти в электронную почту, пишет учетка заблокирована за большое число неверных попыток, что делать?
> В случае ввода пароля более 10 раз неверно, аккаунт блокируется. Для разблокировки необходимо создать заявку в хелпдеск

смысл этих предложений немного разный, блин, одно из них вообще вопрос, а второе - утвердительное предложение. Из за чего механизм с векторным поиском может давать много сбоев.

Чуть чуть помогает исправить ситуацию - reranker-ы. Они работают чуть по другому, принимая на вход 2 куска текста - вопрос и элемент базы знаний - анализируют их вместе и возвращают число - релевантность чанка по отношению к вопросу. Можно представить что это 2 LLM -ки, с перемешанными последними слоями и Value Head-ом на конце.

Такой подход позволяет более глубоко анализировать семантику языка, но и дороже в компьюте (для проверки N чанков потребуется O(N^2) вызовов модели, когда как с векторынми механизмами O(N)), так что его имеет смысл ставить на втором этапе работы вашего RAG-а для переранжирования уже более менее релевантных кусков найденых векторным поиском

Для обучения таких штук обычно берут претреинед модельки, после чего поверх учат метриклернингом

Ну и в подарок небольшой гайд как выбрать reranker под вашу задачу, в коментариях в полном качестве