Статябрь. День 15. Дисперсионный анализ.

Ранее мы научились сравнивать средние двух групп. Было все просто: формулируем нулевую гипотезу, выставляем уровень значимости, проводим измерения, находим вероятность получить такое значение тестовой статистики при верности нулевой гипотезы. Если эта вероятность (p-value) меньше уровня значимости (0.05), то мы отклоняем нулевую гипотезу. А что же делать, если у нас возможно несколько воздействий? Что если мы испытываем не один вид удобрений, а сразу несколько?

Читать далее в ноутбуке: https://colab.research.google.com/drive/1EysPyoswynvpv-G71vaeINHGZ8xwPTz6?usp=sharing

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 16. Непрерывное равномерное распределение.

Не все измеряемые величины подчиняются нормальному распределению. Одно из распространенных альтернативных распределений — непрерывное равномерное распределение. Если в нормальном распределении вероятность получить значение переменной, сильно отличное от среднего, довольно мала, то в равномерном распределении все иначе: вероятности получить определенные значения одинаковы на некотором интервале и равны нулю за его пределами. Это можно увидеть и на графике плотности вероятности.

Равномерное распределение часто используется как модель для описания случайных процессов без предпочтений или для аппроксимации ошибок измерения. Один из примеров: ошибка округления до ближайшего целого на измерительном приборе имеет равномерное распределение. Другой пример — вероятность получить определенного результата от генератора случайных значений.

Вики с графиком: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 17. Критерий Краскела-Уоллиса.

Сегодня у нас на очереди непараметрический тест для нескольких выборок. Он подходит для тех случаев, когда по каким-либо причинам мы не можем использовать дисперсионный анализ. Критерий является обобщением ранее рассмотренного критерия Манна-Уитни.

Суть критерия в следующем. Пусть у нас есть несколько выборок. Чтобы определить, есть ли среди них различия, мы, как и в критерии Манна-Уитни, ранжируем данные. Наше основное предположение состоит в том, что если группы одинаковые, то ранги распределяются случайным образом между ними. Иными словами, H-критерий Краскела-Уоллиса показывает наличие сдвига в параметрах положения (сдвиг медиан) двух или более сравниваемых выборок, имеющих одинаковые формы распределения. Этот критерий имеет асимптотическое распределение хи-квадрат с k-1 степенями свободы, где k — количество выборок.

Вывод формулы для критерия дан в русской вики: https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9A%D1%80%D0%B0%D1%81%D0%BA%D0%B5%D0%BB%D0%B0_%E2%80%94_%D0%A3%D0%BE%D0%BB%D0%BB%D0%B8%D1%81%D0%B0

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 18. Критерий Хи-квадрат Пирсона.

Критерий хи-квадрат применяется при работе с категориальными данными, когда мы хотим узнать, есть ли статистически значимая разница между несколькими группами. К примеру, мы можем хотеть узнать, отличается ли количество выигравших в лотерею (категории: выигравшие, проигравшие) в зависимости от пола. Другим примером может служить смертность от болезни в зависимости от степени ожирения.

Идея критерия заключается в следующем. В нашей нулевой гипотезе мы предполагаем, что распределение наблюдений — мультиномиальное. Примером такого распределения может служить распределение вероятностей выпадения каждой из сторон игрового кубика при n попытках. Иными словами, мы предполагаем, что различия в полученных результатах объясняются только случайными факторами.

Затем мы вычисляем сумму квадратов разностей между наблюдаемыми и ожидаемыми значениями, деленную на те же ожидаемые значения. Почему мы делим на ожидаемое значение? При больших n распределение наблюдаемых частот можно приближённо считать нормальным, поскольку мультиномиальное распределение по центральной предельной теореме стремится к нормальному. В частных случаях, если вероятность категории мала, отдельные категории могут приближаться к распределению Пуассона. В итоге мы получаем сумму квадратов разностей, деленную на эквивалент дисперсии. Как мы знаем, величины такого типа имеют распределение хи-квадрат. Нам остается только вычислить число степеней свободы, определить значение p и проверить, меньше ли полученное значение заранее заданного уровня значимости.

Ссылка на доп. материал: https://bigenc.ru/c/polinomial-noe-raspredelenie-be9c62

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 19. Дисперсионный анализ для связанных выборок.

Ранее мы рассмотрели идею дисперсионного анализа для несвязанных выборок. Например, с его помощью мы могли определить, существует ли разница между несколькими видами лекарств в нескольких разных группах пациентов. В дисперсионном анализе для связанных выборок группа испытуемых будет одна, а вопросы нас будут интересовать, к примеру, следующие: 1. Как группа испытуемых воспринимает некое воздействие через разные интервалы времени. 2. Какие изменения можно наблюдать в одной и той же группе испытуемых при разных воздействиях.

Идея дисперсионного анализа для связанных выборок довольно проста. В обычном дисперсионном анализе мы сравнивали меры межгрупповой и внутригрупповой вариативности. Ведь если они примерно равны, это означает, что некий фактор не оказывал значимого влияния, отличного от шума. При связанных выборках мы делаем почти то же самое, с одним исключением. Если раньше мы знали, что участники в выборках независимы, то сейчас нам также известно, что часть внутригрупповой дисперсии объясняется индивидуальными особенностями каждого из участников. А так как участники у нас одни и те же в нескольких экспериментах, мы можем оценить и исключить «шум», вносимый каждым участником во внутригрупповую вариативность. Затем мы снова находим F-статистику и вычисляем её уровень значимости.

Ссылка на доп. материал: https://statistics.laerd.com/statistical-guides/repeated-measures-anova-statistical-guide.php

#статябрь #статябрь2025 #statober #statober2025

Я думаю, что посты по статистическим методам можно прекратить. Но они все также будут доступны в тг-группе: https://t.me/datascienceforfun

Будем считать этот эксперимент неудавшимся 😅

Следующий эксперимент на подходе 😀

Learning Machine Learning

Список тем на следующие два месяца по машинному обучению. Планирую на каждую тему подготовить небольшой ноутбук с примерами на Python.

1. Линейная регрессия (Linear Regression)
2. Регрессия с регуляризацией (Ridge, Lasso)
3. Логистическая регрессия (Logistic Regression)
4. Наивный Байес (Naive Bayes)
5. Деревья решений (Decision Trees)
6. Случайный лес (Random Forest)
7. Адаптивный бустинг (AdaBoost)
8. Градиентный бустинг (Gradient Boosting — XGBoost, LightGBM, CatBoost)
9. Машины опорных векторов (Support Vector Machines, SVM)
10. K-ближайших соседей (K-Nearest Neighbors, KNN)
11. K-Means
12. Иерархическая кластеризация (Hierarchical Clustering)
13. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
14. Метод главных компонент (Principal Component Analysis, PCA)
15. Линейный дискриминантный анализ (Linear Discriminant Analysis, LDA)

Learning Machine Learning

Итак, мы начинаем наше путешествие в мир машинного обучения. Формат обучения будет такой. В первый день я даю ссылки на материалы и задачи. А через дней несколько делюсь своим конспектом и решением. Задать вопросы можно в чатах тг или в комментариях.

Чат в тг по python: https://t.me/learnpythonforfun_chat
Чат в тг по данным: https://t.me/datascienceforfun_chat

Learning Machine Learning. Линейная регрессия.

Наша первая тема - один из самых простых и самых важных алгоритмов машинного обучения. Через несколько дней я выложу свой конспект, а пока - материалы:

Объяснение: https://www.youtube.com/watch?v=_PlC8Niun7U
Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices

Примеры решения можно найти во вкладке Code по запросу Linear regression. И там надо будет разбираться 🙈

#LearningMachineLearning2025 #LearningMachineLearning
Буду рад вопросам и ответам в комментариях.

Практика по линейной регрессии.

Я вам тут накидал небольшой ноутбук, чтобы было легче начать анализировать. Если вы посмотрели видео из прошлого поста, то у вас начнут появляться вопросы. Ответы на некоторые из них можно найти в книжке "Введение в статистическое обучение с примерами на языке Python" от
Гарет Джеймс и др. Я нашел её здесь: https://annas-archive.org/md5/e9d11665dbd051585a2eff1f58407de5

Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices

Мой ноутбук: https://colab.research.google.com/drive/1yPCY4O6fLEXsjzJ02Vj6oc3mBLsaPk2y?usp=sharing

Learning Machine Learning. Регрессия с регуляризацией (Ridge, Lasso).

Первая и вторая темы нашего прохождения сильно связаны между собой. На этой неделе мы начинаем изучать регрессию с регуляризацией.

Короткое объяснение: https://www.youtube.com/watch?v=C98SRCZfgkk
Задача все та же: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Теперь необходимо посмотреть, как регулризация влияет на получаемое решение.

Буду рад вопросам и ответам в комментариях.

#LearningMachineLearning2025 #LearningMachineLearning

Предлагаю начать вместе читать System Design от Алекса Сюй. Это книга позволит вам понять, как устроены онлайн-сервисы, а в последующем позволит и пройти интервью.

Предлагаю каждому выбрать гипотетический онлайн-сервис (конкурент тик-тока, онлайн дилер и т.д.) и пытаться применить принципы из книжки. Предлагаю в конце недели, после очередной главы, обсуждать реализацию принципов в своем проекте.

В этот раз читаем первую главу. Обсудим её в эти выходные.

П.С. Книжку придется самим найти в Интернете.

Вебинар по первой главе System design

В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы первой главы.
Ссылка: https://telemost.yandex.ru/j/79925380906890

Вебинар по первой главе System design

Вебинар сдвинут на 12.00 по Москве.
Ссылка: https://telemost.yandex.ru/j/79925380906890

Читаем System design. Главы 2 и 3.

План на эту неделю: читаем главы 2 и 3, а в выходные проведем вебинар, где попытаемся сделать создать архитектуру небольшого сервиса.

Название книги: System Design. Подготовка к сложному интервью. Алекс Сюй.

Вебинар по второй и третьей главам System design

В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы второй и третьей глав.

Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670

Вебинар по второй и третьей главам System design

Через пару минут начинаем.

Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670

Итоги 2025 года

В общем, год для меня выдался тяжелым. Я хочу поблагодарить всех, кто участвовал в обсуждениях в тг, участвовал в вебинарах, в обсуждениях книг и мини-курса по статистике. Ничего не обещаю на следующий год, потому что сам буду занят поиском работы 😀

Удачи всем нам в новом 2026 году!

Готовимся к собесам.

Всем привет! У меня небольшая новость: мы меняем формат. Дело в том, что я должен найти работу до конца года в Германии (где я сейчас и нахожусь), а это значит, что мне предстоит повторить много разных тем. А вместе это делать точно веселее.

Вводные данные:
Я получил PhD в области человеко-машинного взаимодействия, знаю базовую статистику, умею проводить эксперименты с пользователями и немного программировать.

Куда подаваться:
Мне интересны позиции аналитика данных, исследователя рынка и пользователей. В общем, то, где надо анализировать поведение людей и принимать решения на основе данных.

Что мы будем делать:
Я планирую, что материалы будут появляться самые разные. Мы будем изучать основные инструменты, понятия, метрики, нырнем немного в область UX исследований, повторим python и sql. Если всё пойдет по плану, добавлю материалы по NLP, машинному обучению и байесовской статистике. И, конечно, буду делиться свежим опытом прохождения собеседований.

В общем, будет интересно :D

Looker Studio

В эту неделю мы изучаем Google Looker Studio. Эта утилита позволяет создавать очень гибкие дашборды. Кроме этого, платная версия имеет свой язык запросов LookML, который отличен от традиционного SQL. Вот небольшое видео, иллюстрирующее возможности Looker Studio.
https://www.youtube.com/watch?v=5NNMzBKEFCg