Дайджест статей с хабра по data science за неделю:

О том, как выделять кластеры в очень больших данных с помощью Clickhouse
https://habr.com/ru/post/645291/
В статье автор на примерах clickhouse-диалекта sql-запросов показывает, как произвести кластеризацию очень больших данных.

Анализ постов Артемия Лебедева и модель, генерирующая посты в его стиле
https://habr.com/ru/post/596035/
Авторы проанализировали посты из телеграмма Артемия Лебедева. В статье есть много названий инструментов, которые можно поизучать, в конце дана модель, которая генерирует посты в стилистике Лебедева, но сама статья, мне кажется, вышла не очень интересной.

О некоторых трюках в соревнованиях по Data Science
https://habr.com/ru/post/600067/
Несколько трюков, направленных на сокрытие информации о своей успешности или на получение доп информации о приватной части датасета.

Достаточно объемная статья от ODS по интерпретации моделей
https://habr.com/ru/company/ods/blog/599573/
О проблемах и техниках в интерпретации моделей.

Какие курсы пройти по работе с данными

Новый запуск курса от Open Data Science
https://ods.ai/tracks/open-ml-course
Курс по основам Data Science стартует 1 февраля.

Курс от сообщества The Rolling Scopes
https://rs.school/machine-learning/
Бесплатный вводный курс по машинному обучению, стартует 7 февраля.

Новая волна курса от Deep Learning School
https://www.dlschool.org/
Предположительно стартует в фервале. Имеет два потока - продвинутый и базовый.

Курс по инжинирингу данных
https://datalearn.ru/kurs-po-getting-start-with-data-engineering
Пока что бесплатный курс по data engineering от практикующего специалиста.

Довольно интересное видео:
https://www.youtube.com/watch?v=gGce2JDbJAQ

Небольшая подборка каналов с вакансиями в data science.

Думаю, можно провести небольшой опрос, о том, что для вас более привлекательно. К примеру, определим:
data science - область, связанная с глубоким пониманием механизмов работы алгоритмов обучения, статистики, с созданием новых моделей и алгоритмов, с погружением в научную литературу;
data analytics - область, связанная с анализом предметной области с использованием уже более-менее устоявшихся подходов и моделей из data science, а также с представлением результатов анализа;
data engineering - область, связанная с обеспечением процесса анализа данных, в том числе за счет обеспечения хранения, доставки и сбора данных.

Вероятно, с первого февраля мы начнем совместное прохождение курса по machine learning от open data science: https://ods.ai/tracks/open-ml-course
Для того, чтобы попасть в slack этого курса, необходимо заполнить анкету, желательно указать более-менее реальные данные и адекватно заполнить поля.
В поле “*Как Вы узнали о сообществе?*” напишите “open-ml-course”.
ods-сообщество отклоняет слабозаполненные анкеты или анкеты с явно фейковыми именами, или без указания того, как узнал о сообществе.
Чтобы получить доступ к трэку, надо в правом верхнем углу кликнуть "Start the track"
Обратите внимание, что ваши персональные данные будут переданы Сбербанку и неназванным партнерам курса.
Формат совместного прохождения пока неизвестен, обсуждать вопросы можно будет в нашем чате https://t.me/datascienceforfun_chat и в их slack.

Материалы для изучения Machine Learning и Deep Learning. Не со всеми материалами я согласен, особенно в части математики, но можно почерпнуть для себя интересные ресурсы.
https://atmyre.notion.site/atmyre/ML-DL-913ff757d59041d2a4580097cc260a76

Если кто-то ещё не слышал - начинается новый поток в Deep Learning School: https://vk.com/dlschool_mipt?w=wall-155161349_1488

Небольшой опрос для тех, кто собирается проходить курс по ml от ods: https://forms.gle/k1nLsvp5HDaokfmz8
Опрос анонимный, результаты выложу через неделю-полторы.

Напомню, что завтра официально начнется курс по machine learning от ods (https://ods.ai/tracks/open-ml-course).
Вопросы можно задавать у них в слэк. У нас тоже можно, но в том чате ответят быстрее, а может и правильнее. В этом же чате я постараюсь инициировать обсуждения около дата сайнс и приносить интересные материалы.
А еще мы проводим небольшой входной опрос (~2 минуты): https://forms.gle/k1nLsvp5HDaokfmz8

Курс уже почти начался. Но всё ещё есть возможность пройти наш входной опрос: https://forms.gle/k1nLsvp5HDaokfmz8

Кстати, пока ожидаем тут первого видео от ods, ods объявляет хакатон pet-проектов!
https://ods.ai/competitions/pet_projects_wh2022
А я предлагаю поучаствовать. Идея проста: в первой лекции будут основы обработки данных, так почему бы не совместить приятное с полезным? Скачаем данные, проанализируем их освоенными инструментами и представим результаты.
Что это даст:
- увидим, что уже можем быть в какой-то степени полезными;
- применим данные на практике;
- создадим свой первый pet-проект и научимся пользоваться git'ом.

Интересная книжка промелькнула в слэке ods - математика для машинного обучения на английском:
https://mml-book.github.io/

Вступительная лекция опубликована: https://www.youtube.com/watch?v=CcgpXK5PE9c

Там вышло второе видео: https://ods.ai/tracks/open-ml-course/blocks/4de086db-8793-48a9-8560-72b8f5b6c65e

Мне кажется, что у некоторых могли возникнуть сложности с установкой. Поэтому предлагаю небольшой лайфхак - воспользоваться сервисом гугла colab.research.google.com. Вообще, мне кажется, что установка новой версии python - не самый нужный шаг, но чтобы исключить вероятность ошибок из-за несоответствия версий, можно и обновиться.

Создайте в колабе свой первый ноутбук и выполните в нем следующие команды:

# получение свежих списков пакетов в репозитории
!sudo apt update -y

# установка нужной версии python:
!sudo apt install python3.9

Дальше можно установиться pip3 для python3.9:

# установка библиотеки виртуального окружения 
!sudo apt install python3.9-venv

# закачка файла (официальный способ)
!wget https://bootstrap.pypa.io/get-pip.py

# установка pip для python3.9 
!python3.9 get-pip.py

# убедимся, что новый pip3 ассоциирован с нашей версией python
!pip3 --version

Эти действия надо будет повторять при каждом запуске среды исполнения колаб-ноутбука.

Каталог открытых данных от некоммерческой организации: https://www.datacatalogs.ru/

#открытые_данные #каталог #датасеты

В субботу будет ещё какая-то активность в виде стрима, а потом что-то в spatial.chat (?). Там можно будет познакомиться с менторами, и где-то в то же время можно будет пройти тренировочное собеседование. Это будет ивент, посвященный открытию курса. Или курсов.
https://ods.ai/events/course_fest_spring_22