Data Scientist | IT
1.94K subscribers
652 photos
3 videos
1 file
708 links
Добро пожаловать в клуб.

Полезные материалы из мира DS & ML на регулярной основе.

По всем вопросам: @godinmedia
Download Telegram
Градиентный бустинг (XGBoosting) на пальцах

#почитать

Если брать определение из словарика, то градиентный бустинг - модель машинного обучения, решающая задачи классификации и регрессии. Она состоит из ансамбля более слабых моделей (чаще всего дерево решений) и учится последовательно на ошибках предыдущей модели.

Но здесь я хочу упростить все сложные статьи с кучей математических терминов, коих в интернете немало, поэтому просто предлагаю разобрать это определение бустинга простыми словами.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Пятничное. Создаем цифровых двойников Ленина и Николая Второго

#почитать

Идея этого эксперимента возникла во время изучения возможностей сервиса HeyGen. Казалось, что задумка проста и гениальна. Мне, как любителю истории, очень хотелось узнать ответы на целый ряд вопросов непосредственно из уст Императора. Но, забегая вперед, скажу, что трудности возникли, причем в очень неожиданном месте.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Команда AI VK ищет ML-разработчика для развития системы рекомендаций и поиска контента 🔥

Какие задачи предлагают:
- улучшение базового качества рекомендаций,
- запуск новых сценариев музыкальных рекомендаций для платформы VK Музыка,
- анализ статистики потребления контента, проведение А/B тестов, а также взаимодействие со смежными командами.

Требуется опыт промышленного применения ML, глубокое понимание алгоритмов классического ML (LogReg, MF, CatBoost, etc..) и навык работы с большими данными (MapReduce/Spark). Отдельный плюс — знание Java и опыт в построении рекомендательных систем.

Узнать подробности можно по ссылке, а, чтобы откликнуться — пишите в ЛС в tg https://t.me/ellinatsyra.
🔥7
Метрики в ИИ. Регрессия. MSE, RMSE, MAE, R-квадрат, MAPE

#почитать

Задача регрессии в машинном обучении — это тип обучения в ИИ, когда модель обучается на данных с непрерывным значением, чтобы предсказывать его на основе одного или нескольких входных параметров. Отличие регрессии от задач классификации заключается в том, что регрессия предсказывает непрерывные значения (например, цену на дом, температуру, количество продаж), в то время как классификация предсказывает категориальные метки (например, да/нет, красный/синий/зеленый).

То есть задача регрессии предсказывает какую-то цифру, а задача классификации - это как выбор в тесте из нескольких вариантов ответа.


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71
Максимально точное увеличение разрешения изображений: билинейная аппроксимация

#почитать

Это вторая статья из этого цикла, и, как говорилось в первой – интерполяция категорически не подходит для этой задачи, так как нарушает условие среднего (соответствующие пиксели получившегося изображения в среднем должны быть пикселем исходного).


Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥21
Streamlit для Data Science

#почитать

Для создания веб-приложений ты скорее всего использовал бы такие Python фреймворки, как Django или Flask. Но крутая кривая обучения этим фреймворкам и большие временные затраты на имплементацию таких приложений являются серьезным препятствием. Streamlit делает создание приложений настолько простым, насколько просто писать скрипты на Python.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥1
Перспективы профессии Data Science: ликбез для джунов

#почитать

Дата-аналитики анализируют исторические данные. Результат их работы — выводы, отчёты, документация. В дата-анализе есть много направлений. Например, системные аналитики могут участвовать в построении инструментов для хранения данных, бизнес-аналитики общаются с заказчиками и формируют бизнес-требования, выстраивают бизнес-процессы.

Часто аналитики решают аd-hoc задачи — это задачи, которые не входят в повседневные обязанности аналитика. Например, если в данных выявили аномалию, дата-аналитику могут срочно поручить разобраться с этой проблемой.

Аналитику не нужно разбираться в работе алгоритмов и предиктивных моделей, поэтому порог входа в профессию ниже.

Дата-сайентисты специализируются на построении моделей и прогнозировании. Основной результат их работы — это модели машинного обучения. В зависимости от задач и типов данных дата-сайентисты могут строить как линейные модели или модели на «деревьях решений» для табличных данных, так и модели нейронных сетей для работы с изображениями, видео, текстами и так далее.

Чтобы работать дата-сайентистом, специалисту нужна неплохая математическая и алгоритмическая база. Работодатели ценят кандидатов с техническим образованием, а самые сильные спецы на рынке — это, как правило, выпускники МФТИ, НИУ ВШЭ И МГУ.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7
Материалы для подготовки к собеседованию. Дизайн систем машинного обучения

#почитать

- Книги
- Курсы
- Шаблоны
- Блоги

Посмотреть
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👌1
Расширенные функции Apache Flink

#почитать

Что такое rich-функции в Apache Flink, зачем они нужны, чем отличаются от обыкновенных UDF и как с ними работать: простой пример на PyFlink с запуском в Google Colab.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Реактивно быстрое введение в машинное обучение для чайников

#почитать

Хорошая статья для первого знакомства с темой


Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
📚 Друзья, для тех, кто хочет ознакомиться с большим количеством книг по тестированию, есть отличный телеграм-канал — Библиотека QA

Совместно с Библиотекой QA мы подготовили бриллиантовую 💎 подборку книг для обучения тестированию. Все эти книги можно бесплатно скачать у ребят на канале:

💎 "Тестирование программного обеспечения. Основы" Захаров В.В.
Обзор базовых понятий и методик тестирования программного обеспечения, подходящий для студентов и начинающих специалистов в области ИТ.

💎 "Эффективное тестирование" на русском Maurício Aniche
Практическое пособие по улучшению процессов тестирования с использованием различных техник, включая тестирование на основе данных и автоматизацию.

💎 "Тестирование DOT COM" Роман Савин
Практическое руководство по тестированию веб-приложений, в котором автор делится своим опытом и методами выявления и устранения багов.

💎 «Тестирование программного обеспечения. Базовый курс» Святослав Куликов
Введение в основы тестирования программного обеспечения, охватывающее ключевые концепции, методы и инструменты для начинающих тестировщиков.

💎 «Как тестируют в Google» Джефф Каролло, Джеймс Уиттакер, Джейсон Арбон
Описание уникальных подходов и практик тестирования, применяемых в Google, с акцентом на автоматизацию, масштабируемость и инновации.

💎 "Сам себе тестировщик. Пошаговое руководство по тестированию ПО" Чхави Радж Досадж
Пошаговое руководство, предназначенное для тех, кто хочет начать карьеру в тестировании программного обеспечения, с множеством примеров и практических советов.


🐞 Подписывайтесь на Библиотеку QA
👍52🔥1
Я тебя с вертухи сломаю, если ещё раз заговоришь об ИИ

#почитать

Лично я получил формальное образование дата-саентиста, даже выиграв в высококонкурентном конкурсе по машинному обучению в одном из лучших университетов Австралии и написав магистерскую, для которой создал в MATLAB с нуля собственные библиотеки. Я не гений в этой сфере, но, очевидно, лучше большинства конкурентов, то есть практиков вроде меня; я не могу, сидя в пещере, создавать собственные библиотеки на C, но умею читать учебники, реализовывать готовые решения на языках высокого уровня и использовать библиотеки, написанные элитными организациями.

Поэтому с глубочайшим сожалением должен объявить, что следующий человек, который начнёт говорить мне о реализации ИИ, получит от меня сеанс живительных процедур над позвоночником; иными словами, я сломаю ему нафиг шею.


Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Пятничное. "Netflix знает о нас все"

#почитать

Одним из наиболее значительных достижений в рамках Netflix Prize стало широкое использование методов матричной факторизации, а также машин Больцмана. Эти методы позволяли моделировать скрытые (латентные) факторы, которые определяют предпочтения пользователей и характеристики фильмов. Буквально, Netflix попыталась залезть в когнитивные привычки зрителей.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
▫️ Advanced Colab - How to go Beyond the Basics

#посмотреть

Some of the more advanced features in Google Colab and to customize it.

Смотреть на YouTube 15 минут
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Бизнес-аналитик — канал для тех, кто уже работает или хочет работать в бизнес-анализе.

Если вам кажется, что
◾️бизнес-анализ это просто
◾️писать user stories просто
◾️клиент понимает, как устроена разработка

подписывайтесь на канал и мы развеем эти мифы. Плюс ко всему, там вы найдете кучу полезных статей и видео по теме.

Подписаться можно по ссылке: @business_analyst_ru
👍6🔥1
LLMops: что есть, кроме ChatGPT, и как это развернуть

#почитать

В статье вас ждёт: обзор LLM-моделей, техники работы с ними через призму MLOps, разбор лицензий и требований к железу. А так же трюки с квантизацией и файн-тюнингом «на сладкое».

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥61
Можно ли научить нейросеть определять иронию (да, вполне)

#почитать

Акустический и паралингвистический анализ показал, что все хорошо распознанные иронические и неироничные высказывания в эксперименте с аудио были синхронизированы с одним из жестов. Направление жеста в 100% случаев соответствовало направлению движения тона как в ироничных, так и в неироничных высказываниях. Вершина жеста совпала с началом ядра (интонационного центра). Большинство правильно оцененных иронических высказываний сопровождались движением головы, примерно в трети случаев наблюдалась дополнительная огубленность. Например, при произнесении гласного «а» или «и» губы округлялись, как при произнесении «у», чуть реже с интонационным центром совпадали движения руками или глазами. Интересно, что подобное совпадение было характерно и для актерской речи без иронии. Главным же отличием иронической мимики и жестикуляции стала ее комплексность – т.е. одновременная реализация нескольких движений. В нейтральной речи такие совпадения наблюдались гораздо реже.

Другим интересным фактом было то, что направление движения жестикулятора в большинстве исследованных отрывков, как ироничных, так и неироничных, совпадало с направлением движения тона – мелодической кривой. Например, актер или актриса одновременно с падением тона опускали руку вниз, опускали взгляд, делали кивок головой и т.д.


Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍1
Как я стал специалистом по машинному обучению. Open AI и Dota 2

#почитать

Инвестор и разработчик ПО, один из основателей и президент компании OpenAI. Начал свою карьеру в компании Stripe в 2010 году и стал ее CTO в 2013 году. Покинул Stripe в 2015 году, чтобы стать соучредителем OpenAI.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
Метрики оценки качества моделей и анализ ошибок в ML. Подробно

#почитать

Рассмотрены популярные метрики для задач классификации, регрессии и кластеризации, а также инструмент для анализа ошибки модели, известный как bias-variance decomposition. Помимо этого, для большей части метрик будут представлены ручные расчёты и реализация с нуля на Python, а в конце вы сможете найти дополнительные источники для более глубокого ознакомления.

Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2
🔥 Бриллиантовая подборка книг по Agile, которую мы составили совместно с каналом @pm_lib — кликайте по ссылкам, забирайте себе и читайте! А еще — подписывайтесь на @pm_lib. Там регулярно выкладвают свежие книги по Project- и Product-менеджменту на русском языке!

💎 Чистый Agile. Основы гибкости (2020) — Роберт Мартин
Роберт Мартин в своей книге объясняет основные принципы и практики Agile, которые помогают командам достичь гибкости и эффективности в разработке программного обеспечения.

💎 Agile-менеджмент. Лидерство и управление командами (2018) — Юрген Аппело
Эта книга раскрывает принципы Agile-менеджмента, фокусируясь на лидерстве и эффективном управлении командами, чтобы повысить их продуктивность и мотивацию.

💎 Постигая Agile. Ценности, принципы, методологии (2018) — Эндрю Стеллман, Дженнифер Грин
Книга охватывает ключевые аспекты Agile, включая его ценности, принципы и методологии, предлагая читателям глубокое понимание гибких подходов к управлению проектами.

💎 Agile для всех. Создание быстрой, гибкой, клиентоориентированной компании (2019) — Мэтт Лемей
Мэтт Лемей делится стратегиями, как сделать компанию более гибкой и ориентированной на клиента, применяя Agile подходы во всех аспектах бизнеса.

💎 12 шагов к гибкому бизнесу (2019) — Гайдн Шонесси, Фин Голдинг
Авторы предлагают пошаговое руководство по внедрению Agile в бизнес-процессы, чтобы компании могли быстрее адаптироваться к изменениям и повышать свою конкурентоспособность.

💎 Эпоха Agile. Как умные компании меняются и достигают результатов (2019) — Стивен Деннинг
Стивен Деннинг исследует, как успешные компании применяют Agile принципы для достижения высоких результатов и устойчивого роста в условиях быстро меняющегося рынка.
🔥5👍2
Неочевидное ML

#почитать

Казалось бы, нам всем так прожужжали уши аббревиатурой «ИИ», что с ней всё уже очевидно.

Но весь хайп последних лет крутится вокруг нескольких сценариев: «нарисуй картинку», «напиши код», «ответь на вопрос».

И по-моему, сейчас самое интересное — это менее заезженные применения. Окей, стало можно одним промптом нарисовать капибару верхом на драконе, это мы поняли. А вот чем нейросети могут помочь инженерам, редакторам или неслышащим людям? До чего дошёл прогресс, в чём сложности, как их преодолевают?


Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥1