В последнем выпуске подкаста Валентин затрагивал много вопросов вокруг анализа данных для маркетинга и клиентской аналитики. Пара книг по теме:

📚 G.S. Linoff, M.J.A. Berry - Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management
Когда то давно сам по этой книге знакомился с предметной областью, разделы именно про бизнес задачи вроде бы не потеряли актуальность.
📚 I.Katsov - Introduction to Algorithmic Marketing
А вот эту книгу коллеги очень рекомендуют.

Может быть у кого-то еще есть список рекомендаций полезных материалов по теме DS в маркетинге? Делитесь)

Обычно в начале и в конце года все кругом начинают особенно интенсивно писать и говорить про грядущие тренды. Если кто-то помнит, весной, как раз на заре NoML, мы тоже не отстали и обсудили тренды в области данных и аналитики по мотивам поста Gartner.

В преддверии приближающегося 2022 года снова будем обсуждать "тренды" в области анализа данных. В кавычках, потому что претендовать на точный прогноз глобальных трендов не будем, а то мы ведь в Гартнерах не работали) Будет интересно поделимся друг с другом мыслями про наши личные тренды, кто и на что собирается обратить внимание в своей работе в следующем году.

Собираемся в этот четверг, 9 декабря в 21:00 МСК в голосовом чате.
До встречи в эфире=)

Пройдемся по трендам, о которых пишет Gartner.

📌 The 4 Trends That Prevail on the Gartner Hype Cycle for AI
1) Операционализация ИИ
Все понятно)
2) Эффективное использование данных, моделей и вычислений
В тексте под этим трендом написано про Composite AI - составной подход конструирования решений на базе AI/ML. В таких приложениях у нас давно не одна модель и не одна технология, а аналитический каскад данных, предиктивных и оптимизационных моделей и бизнес правил.
3) Ответственный ИИ
И вообще как говорит Саша Бородин, "Используйте ML осознанно”).
А по теме осознанности: я все жду, когда хайп закончится, наступит и осознание и где-то даже разочарование со стороны бизнеса о возможностях ML/AI, и случится наконец выход на плато продуктивности.
4) Данные для ИИ
Andrew Ng говорит, что чтобы модели строить нужны данные норм)
А если серьезно интересно, что все заговорили про small data и wide data.

📌 Gartner Top Strategic Technology Trends for 2022
"12 стратегических трендов", но если взять проекцию на область данных и аналитики, многие тренды хорошо ложатся на свойства платформы и процессов data & analytics (D&A).
Trend 1: Data Fabric
Во-первых, это общий тренд в управлении корпоративными данными. Во-вторых, как когда то уже рассуждали, глобальные принципы Data Fabric находят очень хорошее применение локально, при проектировании Feature Store, например.
Trend 3: Privacy-Enhancing Computation
В контексте D&A формируется область Privacy AI или Privacy Analytics, основная задача: как организовать анализ данных без доступа к детальным индивидуальным данным. В ближайшие годы, например, точно увидим много кейсов применения гомоморфного шифрования в контексте анализа данных. Ну и инструменты и технологии Privacy Analytics станут неотъемлемой частью платформ D&A.
Кстати это прямо мой личный тренд на следующий год=)
Trend 4: Cloud-Native Platforms
Нужен облачный ModelOps и облачные платформы D&A)
Trend 5: Composable Applications
Проекции на D&A видится целых 2:
1) Сами корпоративные платформы для анализа данных стали сильно композитными, если вспомнить как сейчас много решений и инструментов, закрывающих ту или иную задачу жизненного цикла аналитики, то становится понятно что платформа D&A в каждом случае собирается по отдельным кусочкам.
2) Сами платформы для управления жизненным циклом аналитики должны оперировать композитными и составными решениями, опять же, модель больше не одна модель, а аналитический каскад данных, моделей и бизнес правил.
Trend 6: Decision Intelligence
Взгляд на задачи анализ данных и управление жизненным циклом аналитики через призму решаемой бизнес задачи.
Нужен Decision Ops))
Trend 7: Hyperautomation
В контексте D&A хотим заавтоматизировать ModelOps настолько насколько это возможно)
Trend 8: AI Engineering
Очередной инжиниринг для тех кому не хватило DE и MLE;-)
Trend 11: Autonomic Systems
Опять же на задачи конструирования приложений на базе технологий непрерывного дообучения и прочего RL можно и нужно смотреть в контексте общей платформы для анализа данных и жизненного цикла моделей. Причем работает в обе стороны: тут и задачи построения автономно работающих систем решаются во многом за счет платформы, и сами такие задачи выдвигают новые требования к платформам управления моделями и аналитикой.
Trend 12: Generative AI
Тут и так понятно)

В общем, подводя итог всему перечисленному, можно выделить главный тренд: становление понимания полноты ModelOps и вообще Data & Analytics платформ, как стека технологий, так и методологических процессов над ним.

Коллеги подготовили статью с перечислением бизнес кейсов графовой аналитики:
📌 Графовый анализ - обзор и области применения


Кстати, интересно, в трендах ли еще графы как универсальный супер мега инструмент, который может улучшить решение любой бизнес задачи (см., например, тут - Trend No. 8: Graph relates everything)? Кажется, что скорее очень хорошо работает для отдельно взятых нишевых задач, но серебряной пулей точно не является. Что думаете?

Интересно, что все любят высказывать прогнозы трендов, но про оценку качества своих предсказаний редко кто говорит.

Вот бы все также делали ретроспективу:
📌 2021 AI Predictions: What We Got Right And Wrong

И тут же какие-то тренды на 2022:
📌 The 5 Biggest Data Science Trends In 2022

⚡️⚡️⚡️Оформили программу нашего внезапного предновогоднего митапа по теме Feature Store.
Встречаемся очно в Москве 28 декабря в 18:00.

Детали и регистрация по ссылке. В программе:

😎 Иван Аникин, Team Lead ML Engineering, Big Data Lenta
FeatureStore - больше, чем просто фичи

😎 Сергей Ярымов, Data Engineer в МТС Big Data
Опыт построения корпоративного Feature Store

🎅 Дед Мороз
Расскажет что-то про Feature Store

😎 Спикеры, а также в лучших традициях наших голосовых чатов, все желающие
Круглый стол: Feature Store - хайп или необходимость

🍾🥂 Фуршет и свободное общение

Регистриуйтесь и приходите!

Новый выпуск подкаста Дайте Данных появился на всех основных площадках.
В гостях 😎 Полина Полунина, независимый консультант по Data Science (*на момент записи выпуска).

📌 Anchor
📌 Яндекс Музыка
📌 Apple Podcasts
📌 YouTube

Выпуск подкаста Дайте Данных с Полиной Полуниной затрагивает тему "Как попасть в Data Science". Поэтому мы решили сделать подборку связанную как с переходом в DS, так и с любыми изменениями в профессиональной жизни. (Спасибо, @nataliatoganova=))

🎙 Есть множество классных подкастов, в которых можно послушать истории перехода в ИТ и в аналитику данных: IT-шниками не рождаются, Becoming a Data Scientist, Каждый может.

✔️ Практически у всех ключевых игроков на рынке дополнительного образования в области аналитики данных и Data Science есть прекрасные сайты, сообщества, каналы, блоги и т.п. с большим количеством полезной информации. (Мы просто не знаем, на кого дать ссылку, чтобы другие не обиделись.... гугл в помощь)))


Поскольку нехватки в личных историях и советах по переходу в профессию нет, то мы решили накидать просто литературы, которая немного об изменениях, немного о переходах и в любом случае - с хорошим чувством юмора и сможет поддержать вас когда фит не придиктиться.

📌 Адам Грант "Подумайте еще раз. Сила знания о незнании" - Эту книжку надо читать, если вдруг вам мешает жить мысль о том, что "свое мнение нельзя менять ни в коем случае". Можно и это даже порой полезно. Поэтому если интересует data science непременно стоит попробовать.
📌 Scott Adams "How to Fail at Almost Everything and Still Win Big: Kind of the Story of My Life" - Кажется, эту книгу все еще не перевели на русский. А зря. Это одна из книг автора комиксов про Гилберта, в которой он рассказывает, как постоянно терпел неудачи в жизни и все равно двигался вперед. Очень смешная.
📌 Елена Резанова "Никогда-нибудь" - Кажется, уже классика жанра российского производства об изменениях. Коротко, весело и по делу.
📌 Уильям Ирвин "Радость жизни. Философия стоицизма для XXI века" - Если все перечисленное выше не помогло и код все еще не пишется, то современное прочтение стоиков всегда в кассу.

Да, если вы хотите подборку более серьезных книг по DS и связанным вещам - пишите, составим😉

Все материалы Start Career in DS в одном сборнике!

Не так давно я осознал, что постов в канале уже больше 150 и ориентироваться в них становиться непросто. Поэтому подготовил страничку на Notion, которая позволит быстро находить нужный вам пост.

Ключевые блоки, которые там есть:
- Для новичков (разобраться что такое DS)
- Составление резюме, поиск работы
- Вопросы с собеседований и тестовые задания, шпаргалки (CheatSheets) для подготовки
- Математика для DS (в большинстве своём Статистика)
- Python и базовые библиотеки
- SQL
- Алгоритмы (классические)
- Git
- Базовые алгоритмы ML
- Предобработка данных, отбор признаков
- Метрики, функции ошибки
- Курсы
- Визуализация, A/B тесты, Apache Spark
- Soft Skills

Ну и подписывайтесь на нас в tg и на Youtube чтобы не пропускать новые материалы :)
[Ссылка тут]

В следующую среду, 22 декабря в 17:00 МСК у нас планируется второй семинар (второй - и вообще, и по теме оптимизации)).

😎 Максим Гончаров расскажет про комплексный подход к оптимизации товарного ассортимента.

Детали будут в понедельник.

В эту среду 22 декабря в 17:00 МСК собираемся на второй семинар NoML.

Докладывать будет 😎 Максим Гончаров, руководитель направления Supply Chain Intelligence, GlowByte Advanced Analytics.

План доклада:
📌 Оригинальный алгоритм оценки качества кластеризации товаров и магазинов
📌 Прогнозирование функции плотности вероятностного распределения спроса с учетом конкуренции товаров на pytorch
📌 Собственная реализация алгоритма последовательной линейной аппроксимации выпуклой нелинейной функции цели для целочисленной нелинейной оптимизации
📌 Прогнозирование продаж и оптимизация ассортимента при помощи двух проходов на одной нейросети

Пока не решили, будем продолжать заставлять работать Google Meet, или перейдем на Zoom. Ссылка для подключения будет ближе к делу.

1️⃣ Что вы думаете об MLOps, Feature Store и Model Performance Monitoring? Правильно, это всем надо! Команда DS & Big Data компании Lenta готова поделиться секретами и собственным опытом! Итак, приглашаем на 🔥 ML REPA Meetup #8: Продвинутая аналитика и опыт команды Big Data Ленты

🗓 Dates: 22 Декаябр 2021 ( 19:00 - 21:00 Moscow time)
✅ Голощапова Ирина, Head of Data Science, Lenta
✅ Юрченко Максим, Разрабочик, Big Data Lenta
✅ Аникин Иван, Team Lead ML Engineering, Big Data Lenta
✅ Петров Иван, ML Engineer, Big Data Lenta
📺 Format: Online, zoom
Регистрация: ​​https://ml-repa.timepad.ru/event/1528739/

По теме нашего NoML митапа на следующей неделе, подборка статей из рассылки www.featurestore.org:
📌 Was 2021 the Year of Feature Stores?

Также напоминаю про регистрацию на митап)

Напоминаем, что через 20 минут у нас начнется семинар, ссылка для подключения: meet.google.com/wgr-nsdd-aqe

Спасибо Максиму и спасибо всем кто пришел!

Запись семинара по ссылке.
Google meet мы так и не победили, качество опять не очень(
В следующий раз точно переходим в Zoom.

Кстати, у нас в какой-то момент появилась база знаний в Notion, там пока не то чтобы много информации, но в разделе Семинары можно найти список прошедших семинаров с ссылками на записи и материалами.

Вчера вспомнили, что на предыдущем семинаре был вопрос про сравнение движков выпуклой целочисленной оптимизации, обещали со всеми поделиться ссылками:

📄 Kronqvista J., Bernalb D.E., Lundellc A., Grossmann I.E., A Review and Comparison of Solvers for Convex MINLP, 2018

А также сравнение движков Couenne, Bonmin, SHOT с MIDACO:
📄 Schlüter M., Gerdts M., Rückmann J.J., A Numerical Study of MIDACO on 100 MINLP Benchmarks, 2012

Про трудности с развитием и финансированием проектов COIN-OR (опенсорсные оптимизационные движки и солверы Cbc, Clp, Ipopt):
‼️ Future of COIN-OR

Спасибо @epoepo за наводку на пост)


Кстати для тех, кто вдруг только подписан на канал, напоминаем, что еще есть чатик, в котором можно задавать вопросы про ML, DS и решаемые ими бизнес задачи)

Наш митап пройдет в пространстве Exposed. Внезапно оказалось, что это галерея, в которой сейчас проходит выставка художника Павла Шаппо. Так что, если даже тема Feature Store вам не очень близка, все равно регистриуйтесь и приходите, устроим круглый стол про современное искусство))

Информация про митап завтра.

Адрес: ул. Шаболовка 31Г, пространство Exposed.

Для тех кто своим ходом: от метро налево, через дорогу (3 минуты пешком), говорят розовую штуку на картинке видно прямо от метро.

Для тех кто на машине: с парковкой все грустно, отдельной парковки нет, только городская, пожалуйста учитывайте это при планировании маршрута и времени.

На странице мероприятия регистрация закрыта.
Если очень хотите дойти очно, пишите в личку @psnurnitsyn.
Если планируете смотреть онлайн, трансляция будет в нашем канале. Ссылка непосредственно на трансляцию будет в канале завтра ближе к делу.

Финальный в этом сезоне выпуск подкаста Дайте Данных появился на всех основных площадках.
😎 Александр Бородин сам у себя в гостях))

📌 Anchor
📌 Яндекс Музыка
📌 Apple Podcasts
📌 YouTube