Data Scientist | IT
1.94K subscribers
652 photos
3 videos
1 file
708 links
Добро пожаловать в клуб.

Полезные материалы из мира DS & ML на регулярной основе.

По всем вопросам: @godinmedia
Download Telegram
Машинное обучение и дизельные двигатели

#почитать

По имеющимся оценкам, только эксплуатационные затраты на один самосвал достигают 50 тысяч рублей в час. При этом, если простой оказался незапланированным, это увеличивает сумму ещё на 30%. Очевидно, что одно дело, когда самосвал остановили на запланированный ремонт, и совершенно другое — если он груженный рудой внезапно сломался посреди смены где‑нибудь в глубине карьера.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
Предварительная обработка данных для машинного обучения

#почитать

Подготовка данных – это процесс подготовки «сырых» (необработанных) данных для их дальнейшей обработки и анализа.

Предобработка данных включает следующие процедуры:

проверка данных;
очистка данных;
трансформация данных;
трансформация данных;
дополнение;
оптимизация.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики

#почитать

Профессия аналитика идеально подходит тем, кто находит удовольствие в работе с данными и анализе, предпочитая это общению с людьми. Это не означает, что аналитикам вообще не приходится взаимодействовать с коллегами или клиентами, но основная часть их работы связана с анализом информации, а не с постоянным общением.

Аналитика данных требует глубокого погружения в информацию, изучения трендов и поиска закономерностей. Это занятие для тех, кто может часами сосредотачиваться на цифрах и таблицах.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍21
Улучшаем технику серфинга с помощью компьютерного зрения

#почитать

Я — серфер. Я катаюсь на волнах Тенерифе и углубленно изучаю мир серфинга.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥21
Почему именно SQL и Python — мастхев для аналитика

#почитать

1. SQL используется для работы с базами данных, позволяет извлекать, преобразовывать данные и изменять структуру таблиц.
2. Python используется для более сложных манипуляций с данными, включая сложные вычисления и визуализацию.
3. Важные библиотеки Python для аналитики данных включают NumPy, Pandas, Matplotlib и SciPy.
4. Python и SQL покрывают основные потребности аналитиков, делая их более ценными на рынке труда по сравнению с знающими только Excel.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥1
Разбор Gradient Boosting

#почитать

Архитектурные шаблоны в машинном обучении представляют собой общие структуры и методологии, которые позволяют разработчикам более эффективно решать задачи. Они представляют собой набор bewährte Lösungen, то есть "проверенных решений", которые могут быть адаптированы к конкретным задачам и данным. Использование архитектурных шаблонов позволяет сэкономить время и ресурсы при разработке моделей машинного обучения.

Gradient Boosting – это один из наиболее мощных и гибких архитектурных шаблонов в машинном обучении. Он позволяет строить ансамбли моделей, комбинируя слабые ученики в сильную модель, способную решать разнообразные задачи классификации и регрессии. Этот метод обрел популярность благодаря своей способности обучаться на ошибках предыдущих моделей, постепенно улучшая свои прогнозы.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥1
Дата-сайентисты и Docker с Kubernetes

#почитать

В целом, хотя дата-сайентистам не обязательно становиться экспертами по Kubernetes, общее представление об этой технологии полезно для эффективного взаимодействия с другими командами, развертывания моделей и приложений.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥21👌1
🔤🔤🔤🔤🔤🔤🔤🔤🌌🔤🔤🌌🔤🔤🔤🔤 — божественный канал для бизнес и системных аналитиков и продуктовых менеджеров

➡️ Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍3🔥1
Linux для аналитика

#почитать

Я ведущий аналитик направления Big Data Лиги Цифровой Экономики. Я проведу небольшую ознакомительную экскурсию в мир Linux и покажу, что аналитик вполне себе может решать повседневные задачи в этой операционной системе.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥1👌1
Есть ли у ИИ-художника свой стиль

#почитать

Внутри каждой из txt-2-img нейросетей есть модель, обученная на своем датасете. Если модель удачная, то и генерации будут получаться качественными, красивыми, соответствующими запросу. Разумеется, посмотреть, что представляет из себя модель, на каком датасете она обучена, не получится – это коммерческая тайна любого из продуктов, о которых я буду писать ниже.

И всё-таки, попробуем определить, где лучше генерировать изображения, хотя бы по факторам красоты/соответствия запросу.

Будем исходить из того, что в каждом из продуктов, который участвует в наших экспериментах, есть большие или меньшие веса для определённых изображений. То есть она предрасположена выдавать в результатах генераций следы тех изображений, которых или больше в датасете или которые имеют больший вес.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1
▫️Машинное обучение – из разработчика в ML-инженеры

#посмотреть

Разбираем общие понятия, посмотрим на основные принципы на примерах и обсудим инструменты в промышленном ML.

Смотреть на YouTube 40 минут
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1
ML: как понять, что вы больше не джун

#почитать

Грейды отличают две вещи.
Первая — технический стек. Четких градаций навыков дата-аналитиков нет, потому разные компании фокусируются на разных скиллах в зависимости задач, но базовый набор такой:

Junior: SQL (window functions), Excel (sheets), Python (pandas, matplotlib, numpy), Statistics, Data Visualisation (BI platforms), git;

Middle: SQL (DDL, DML, optimisation), differences between DB, Python ML stack (scikit-learn), Data Mining (e.g. API);

Senior: ETL (e.g. Airflow), Data Modeling, OOP or functional programming.

Вторая отличающая грейды вещь — умение работать самостоятельно.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1
Учим большие языковые модели описывать продукты данных

#почитать

Рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍2🔥1
▫️ Градиентный бустинг: XgBoost vs LightGBM vs CatBoost

#посмотреть

- Автор ушел в мелкие детали, а лучше бы рассказал качественные отличия различных бустингов. Один лучше там (потому- то), второй- тут (потому- то), третий вот там (по такой- то причине)... А это просто мешок слов из книжки.


- Фишка в том, что тут нет понятия хуже или лучше. Это зависит исключительно от задачи, которую нужно решить. А чтобы выбрать подходящий бустинг, нужно знать как он работает. Если нужен самый быстрый то лучше всего LightGBM, в силу того, что он обсчитывает не весь датасет, а часть. Если много категориальных переменных, то лучше всего CatBoost потому что он под это заточен


Смотреть на Youtube 35 минут
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥1
Почему витамины и лекарства не работают на 100%? Машинное обучение нашло ответ

#почитать

В период пандемии ковида и недавней эпидемии гриппа многие из нас прибегали к употреблению большого количества витаминов и микроэлементов, для поддержания иммунитета. Выбор БАДов в аптеках по всей стране весьма широкий и привлекательный, однако совместное их применение очень ограничено. Все дело в белках-переносчиках

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥1
Как взламывают биометрию и заставляют нейросети придумывать способы атак

#почитать

Атаки на биометрию уже освоили достаточно приземленные мошенники. У пользователя взламывают Telegram, находят записи голосовых сообщений, прогоняют их через специальные нейросети, такие как voice.ai и murf.ai, и отправляют голосовое сообщение с просьбой о помощи по контакт-листу в мессенджере.

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍71
Все говорят, что работы в айти стало меньше...

На самом деле, работы полно. Мы подготовили 7 правильных каналов с вакансиями для тестировщиков, аналитиков, проджект-менеджеров и программистов.

В чем фишка этих каналов?

— зарплатная вилка🍴во всех вакансиях
— еженедельные подборки стажировок для начинающих — как здесь (для QA), здесь (для PM) и здесь (для BA&SA)
— быстрый телеграм/email контакт для прямой связи с рекрутером
— удобная навигация по уровням/условиям работы/направлениям тестирования

▪️QA Jobs — работа для тестировщика
▪️PM Jobs — работа для Project и Product менеджера
▪️BA & SA Jobs — работа для бизнес- и системых аналитиков
▪️C# & .NET Jobs — работа для C# инженеров
▪️DS&ML Jobs — работа для DS инженеров
▪️PHP Jobs — работа для PHP разработчиков
▪️JAVA Jobs — работа для Java разработчиков

Подписаться на все каналы сразу
5
Анализ зависимостей бинарных файлов на основе ML

#почитать

Мы реализовали анализатор бинарного кода на основе ML-подходов — Binary SCA. Наш проект совмещает две предметные области — информационную безопасность и ML.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7
40 Полезных инструментов Дата Саентиста

#почитать

Благодаря активному сообществу разработчиков, практически для любой задачи на Python можно найти готовый и полезный инструмент, который поможет вам в решении самых сложных задач. Надеюсь, вы найдете что-то полезное для себя.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
6
Подготовка к собеседованию на позицию DS. Специализированное машинное обучение

#почитать

▪️Глубокое обучение
▪️Обработка текстов на естественном языке
▪️Компьютерное зрение
▪️Графовые нейронные сети
▪️Обучение с подкреплением
▪️Рекомендательные системы
▪️Временные ряды
▪️Big Data

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Требования к данным для систем ИИ по верификации людей

#почитать

▫️Системы верификации
▫️Общие требования к данным
▫️Требования к эталонному набору данных
▫️Требования к сравниваемым объектам

Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
6