Пост для новичков и чуть меньше для старичков этого канала. Немного расскажу о себе :)

Меня зовут Ваня, я студент 4 курса НИТУ МИСИС, Middle+ Data Scientist в Яндексе, а также хакатонный ветеран вместе с моей бандочкой Mr MISISter.

Люблю футбол, настольный теннис, шахматы. Не люблю болеть 😥

Для кого этот канал? - Для всех. Пишу что-то о дата сайнс, что-то про свои мысли, про свой опыт, иногда просто сыплю мемасы 😌

Почему я начал вести этот канал и почему веду его сейчас? - Мне нравится писать, выражать свои мысли на бумаге. Кроме того, я надеюсь, мой контент вам полезен или просто интересен :)

Если вам нравится контент, то лучшая благодарность - это поделиться ссылкой на канал. Так я буду видеть, что действительно пишу не зря, т.к посты создаются долго и скрупулезно.

Добро пожаловать на самый Добрый канал о Data Science ♥️

#Ботаем

Сегодня я, как обещал ранее, расскажу про платные/бесплатные курсы по DataScince.

Итак, про платные могу лишь сказать, что никогда их не проходил и явного отличия между актуальными продуктами на рынке не знаю. Могу лишь сказать, что для человека с дисциплиной и желанием эти все курсы не нужны)

А вот про бесплатные буду менее лаконичен. И начать хотелось бы с Deep Learning School - объективно, самого качественного и продвинутого бесплатного русскоязычного курса. Обучение происходит на платформе Stepik: абсолютно любому пользователю доступны 2 потока (базовый и продвинутый), в каждом из них по 2 семестра насыщенного контента, состоящего из лекций, семинаров и домашек.

Если вы присоединяетесь к семестру вовремя (т.е. слушаете материал вместе с тем, как он выкладывается), то у вас будет возможность сдавать свои домашки на проверку и по совокупности оценок получить диплом. Лично я смотрел этот курс в записи, не сдавал домашки и не получал диплом: выполнения домашек самостоятельно мне было достаточно чтобы хорошо усвоить материал.

Преподаватели - опытные сотрудники МФТИ/Вышки/..., из года в год модернизирующие программу DLS (Deep learning school). У многих из них есть свои каналы/лекции на ютубе, которые отлично дополняют DLS.

Как показала практика, пройти эти семестры - достаточно, чтобы стать крепким ML/DL/AI и претендовать на места в компаниях, победы на чемпионатах и хакатонах, ну и на неплохой бэкграунд.

Ссылочки на записи прошлого семестра (свежий осенний семестр можно также найти на степике):

Семестр 1 (Базовый, 2023):
https://stepik.org/course/135002/promo

Базовый поток будет полезен почти для всех областей проги (так как работать с данными - ценный навык для любого айтишника)

Семестр 1 (Продвинутый, 2023): https://stepik.org/course/135003/promo

Продвинутый - это уже конкретно про Deep Learning, там не соскучишься

P.s. в обоих потоках вас ждет финальный проект, который отлично подойдет для портфолио (о важности которого тоже будет пост!)

Фух, а еще советую подписаться на группу ДЛС в ВК, чтоб не пропускать их анонсы 😘

ё

В мире существует два типа людей, контента, и всего-всего: направленное на созидание и направленное на разрушение.

Если не всë, то многое можно разделить по этому принципу. В принципе, похоже на добро и зло, только разделять проще.

Ежедневно фильтрую тонну контента, направленного на разрушение всего, что только можно разрушить. Я уверен, что вы, мои подписчики, тоже.

Очень хочу, чтоб этот канал был зеленым островком созидания☘️

Это кстати хорошая идея для пятничной рубрики, сыпьте в комменты мемы

#Хакатоны

29 октября завершился публичный этап чемпионата RuCode7 по ИИ от МФТИ.

Несколько лиг (новички, середнячки, профи). Мы, конечно же, залетаем в профи. 3 задачи, по 3 победителя в каждой.

Итак:

1 задача состоит из двух задач: табличная классификация и табличная регрессия. По ней будет отдельный пост, и это будет #ИсторияАдмина

2 задача: необходимо стандартизировать адрес, входящий в свободной форме. Например, улиц. Одуванчиковая г. Москва дом 1 => г. Москва ул. Одуванчиковая д. 1

3 задача: предсказать, на какой слог в слове падает ударение

Упорная борьба, жоская заруба среди МЛщиков. С 29 сент. до 1 окт. засылаем приватный ЛБ. Скоро будут резы🔥🔥🔥

В ожидании результатов небольшой ликбез по соревновательному датасайнс, т.к. новички и гуманитарии, скорее всего, не поняли мой сленг.

На соревнованиях организаторы предоставляют тренировочные данные (на которых участники обучают модели) и публичные тестовые данные (на которых участники тестируют свои модели).

На основании метрик, полученных на публичных тестовых данных формируется лидерборд (ЛБ), который также называется публичным или public (паблик).

В конце соревнования организаторы предоставляют приватный тестовый набор данных и дают небольшое количество времени для того, чтобы участники оценили свои модели на этих данных и отправили результаты. На этих результатах строится приватный лидерборд (private или просто приват).

Итоговый результат формируется из результата команды на приватном лидерборде, иногда еще вклад вносит финальный питч, но это уже зависит от соревнования.

Надеюсь, стало чуть понятнее 😌

#ИсторияАдмина

RuCode 2 место, задача нормализации адресов 🍒

Было бы очень радостно, если бы в последние 2 часа не упустили первое место в задаче нормализации адресов и третье место в табличной задаче.

Ну да ладно, ждем защиту 14 октября в физтехе

Дорогие подписчики, от своих слов я не отказываюсь. Как только канал пробивает 100 подписчиков, я провожу голосование за возвращение 💩 в реакции :)

Ждемс

Простите, слишком жизненно...

#ИсторияАдмина

А что, собственно говоря, происходит у админа в ВУЗе? Из интересного сейчас реализую бота в ВК, который детектирует объекты на фото.

На самом деле, достаточно интересный предмет. Ну скажите, когда б я еще

- Пилил бота
- Пихал в него логгирование
- Писал к нему тесты
- Рисовал граф бота и строил граф пользовательских запросов
- Деплоил все это

И тд и тп, так что неплохо

В целом, в этом и вижу пользу уника - расширение кругозора. Пускай ВУЗ не даст мне хороших МЛ-скилов, зато даст вычмаш, сисадмин- и бэкенд- навыки, ну и матеша, куда без неё 😎

Предлагаю в такую мерзкую погоду немного отвлечься)

Желательно в рамках приличия, т.к. хочу транслировать в комменты

t.me/questianonbot?start=1397630247

🏆 Барабанная дробь... Объявляем финалистов трека «Искусственный интеллект» в этом сезоне

Задача «Нормализация адреса»
🏅 Лига начинающих
1 - Команда «Ильдар Бикмаматов»
2 - Pop().Usk
3 - ML reference

🏅 Лига продвинутых
1 - mr MISISter
2 - Polevoi_AI_MISIS
3 - BigBall

Забираем топ1 RuCode 7.0 (Mr MISISter), официально 😎😎😎

#ИсторияАдмина

Почему машин лернинг это не просто

from catboost import CatBoostRegressor
model = CatBoostRegressor()
model.fit().predict()

и почему надо анализировать данные, особенно, в соревновательном DataScience?

Да, зачастую, если фичи (данные) не представляют собой какие-то физические величины или временные ряды, они могут не иметь никакой зависимости между собой и быть распределены черти как.

Но взглянуть хотя бы на pairplot (график зависимости одной фичи от другой попарно для всех фичей) однозначно стоит, особенно, если признаков не пипец много.

И вот здесь, шикарный пример - первая задача рукода. Описана она очень высокоуровнево, но, по замыслу, там зашита интересная физико-геометрическая задачка. На графиках построены попарные зависимости некоторых фичей и, о да, они (см. графики где красные точки) образуют какую-то функцию, которую градиентный бустинг, при всей моей любви к нему, нормально не поймает.

Что можно сделать? Ну, как минимум, сгенерировать новую фичу, которая бы объединяла в себе эти две фичи. Например, перейти в полярные координаты и получить две новые фичи: аргумент полярной координаты (угол наклона вектора, проведенного от точки (0, 0) до заданной точки, к оси икс) и длина вектора.

В результате, сразу увеличиваем метрику на лидерборде почти на 5%.

Анализируйте данные 💅