У меня такое предложение. С ноября начать вместе читать System Design от Алекса Сюй. Я постараюсь выбрать какой-то пет-проект и пытаться применить принципы из книжки. Можно читать по одной главе и обсуждать потом. Каждый желающий может выбрать по пет-проекту, а в конце недели, после очередной главы, обсуждать реализацию в своем проекте.
👍9
Forwarded from Data&Knowledge
Статябрь. День 13. Критерий МакНемара.
Как повлияла наша рекламная кампания на группу пользователей? Подействовала ли вакцина на группу пациентов? Изменилось ли мнение внуков о бабушке после двух дней кабачковой диеты? Чтобы ответить на такие вопросы, где: 1) наблюдения парные или сильно связаны между собой, 2) результат представлен категориальной переменной (любит/не любит, есть болезнь/нет болезни), можно использовать тест МакНеймара.
Продолжение в ноутбуке: https://colab.research.google.com/drive/1NLr9XDeqcC2PzFEj6QHQFUP948AxhrNn?usp=sharing
#статябрь #статябрь2025 #statober #statober2025
Как повлияла наша рекламная кампания на группу пользователей? Подействовала ли вакцина на группу пациентов? Изменилось ли мнение внуков о бабушке после двух дней кабачковой диеты? Чтобы ответить на такие вопросы, где: 1) наблюдения парные или сильно связаны между собой, 2) результат представлен категориальной переменной (любит/не любит, есть болезнь/нет болезни), можно использовать тест МакНеймара.
Продолжение в ноутбуке: https://colab.research.google.com/drive/1NLr9XDeqcC2PzFEj6QHQFUP948AxhrNn?usp=sharing
#статябрь #статябрь2025 #statober #statober2025
Google
Критерий МакНемара.
Colab notebook
Forwarded from Data&Knowledge
Статябрь. День 14. Показательное (экспоненциальное) распределение.
Сегодня мы совсем коротко поговорим о показательном (экспоненциальном) распределении. Оно является крайне полезным для моделирования времени ожидания или времени безотказной работы.
Попробуем понять логику безотказной работы. Вероятность безотказной работы начинается с единицы и экспоненциально убывает к нулю при увеличении времени. Иными словами, чтобы смоделировать вероятность безотказной работы, нам нужно найти такое распределение, которое бы начиналось с единицы и стремилось бы к нулю в бесконечности. Одним из лучших кандидатов в этом случае является экспенента.
Одним из свойств показательного распределения является отсутствие памяти. Цитируя учебник Гмурмана: вероятность безотказной работы элемента на интервале времени длительностью t не зависит от времени предшествующей работы до начала рассматриваемого интервала, а зависит только от длительности времени t (при заданной интенсивности отказов). Иными словами, вероятность того, что при известной интенсивности отказов новый телевизор сломается в первые десять лет такая же, что и вероятность телевизора сломаться в последующие десять лет, если он проработал без поломок первые десять лет.
#статябрь #статябрь2025 #statober #statober2025
Сегодня мы совсем коротко поговорим о показательном (экспоненциальном) распределении. Оно является крайне полезным для моделирования времени ожидания или времени безотказной работы.
Попробуем понять логику безотказной работы. Вероятность безотказной работы начинается с единицы и экспоненциально убывает к нулю при увеличении времени. Иными словами, чтобы смоделировать вероятность безотказной работы, нам нужно найти такое распределение, которое бы начиналось с единицы и стремилось бы к нулю в бесконечности. Одним из лучших кандидатов в этом случае является экспенента.
Одним из свойств показательного распределения является отсутствие памяти. Цитируя учебник Гмурмана: вероятность безотказной работы элемента на интервале времени длительностью t не зависит от времени предшествующей работы до начала рассматриваемого интервала, а зависит только от длительности времени t (при заданной интенсивности отказов). Иными словами, вероятность того, что при известной интенсивности отказов новый телевизор сломается в первые десять лет такая же, что и вероятность телевизора сломаться в последующие десять лет, если он проработал без поломок первые десять лет.
#статябрь #статябрь2025 #statober #statober2025
Forwarded from Data&Knowledge
Статябрь. День 15. Дисперсионный анализ.
Ранее мы научились сравнивать средние двух групп. Было все просто: формулируем нулевую гипотезу, выставляем уровень значимости, проводим измерения, находим вероятность получить такое значение тестовой статистики при верности нулевой гипотезы. Если эта вероятность (p-value) меньше уровня значимости (0.05), то мы отклоняем нулевую гипотезу. А что же делать, если у нас возможно несколько воздействий? Что если мы испытываем не один вид удобрений, а сразу несколько?
Читать далее в ноутбуке: https://colab.research.google.com/drive/1EysPyoswynvpv-G71vaeINHGZ8xwPTz6?usp=sharing
#статябрь #статябрь2025 #statober #statober2025
Ранее мы научились сравнивать средние двух групп. Было все просто: формулируем нулевую гипотезу, выставляем уровень значимости, проводим измерения, находим вероятность получить такое значение тестовой статистики при верности нулевой гипотезы. Если эта вероятность (p-value) меньше уровня значимости (0.05), то мы отклоняем нулевую гипотезу. А что же делать, если у нас возможно несколько воздействий? Что если мы испытываем не один вид удобрений, а сразу несколько?
Читать далее в ноутбуке: https://colab.research.google.com/drive/1EysPyoswynvpv-G71vaeINHGZ8xwPTz6?usp=sharing
#статябрь #статябрь2025 #statober #statober2025
Google
Дисперсионный анализ.ipynb
Colab notebook
Forwarded from Data&Knowledge
Статябрь. День 16. Непрерывное равномерное распределение.
Не все измеряемые величины подчиняются нормальному распределению. Одно из распространенных альтернативных распределений — непрерывное равномерное распределение. Если в нормальном распределении вероятность получить значение переменной, сильно отличное от среднего, довольно мала, то в равномерном распределении все иначе: вероятности получить определенные значения одинаковы на некотором интервале и равны нулю за его пределами. Это можно увидеть и на графике плотности вероятности.
Равномерное распределение часто используется как модель для описания случайных процессов без предпочтений или для аппроксимации ошибок измерения. Один из примеров: ошибка округления до ближайшего целого на измерительном приборе имеет равномерное распределение. Другой пример — вероятность получить определенного результата от генератора случайных значений.
Вики с графиком: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5
#статябрь #статябрь2025 #statober #statober2025
Не все измеряемые величины подчиняются нормальному распределению. Одно из распространенных альтернативных распределений — непрерывное равномерное распределение. Если в нормальном распределении вероятность получить значение переменной, сильно отличное от среднего, довольно мала, то в равномерном распределении все иначе: вероятности получить определенные значения одинаковы на некотором интервале и равны нулю за его пределами. Это можно увидеть и на графике плотности вероятности.
Равномерное распределение часто используется как модель для описания случайных процессов без предпочтений или для аппроксимации ошибок измерения. Один из примеров: ошибка округления до ближайшего целого на измерительном приборе имеет равномерное распределение. Другой пример — вероятность получить определенного результата от генератора случайных значений.
Вики с графиком: https://ru.wikipedia.org/wiki/%D0%9D%D0%B5%D0%BF%D1%80%D0%B5%D1%80%D1%8B%D0%B2%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5
#статябрь #статябрь2025 #statober #statober2025
Wikipedia
Непрерывное равномерное распределение
Непреры́вное равноме́рное распределе́ние в теории вероятностей — распределение случайной вещественной величины, принимающей значения, принадлежащие некоторому промежутку конечной длины, характеризующееся тем, что плотность вероятности на этом промежутке почти…
Forwarded from Data&Knowledge
Статябрь. День 17. Критерий Краскела-Уоллиса.
Сегодня у нас на очереди непараметрический тест для нескольких выборок. Он подходит для тех случаев, когда по каким-либо причинам мы не можем использовать дисперсионный анализ. Критерий является обобщением ранее рассмотренного критерия Манна-Уитни.
Суть критерия в следующем. Пусть у нас есть несколько выборок. Чтобы определить, есть ли среди них различия, мы, как и в критерии Манна-Уитни, ранжируем данные. Наше основное предположение состоит в том, что если группы одинаковые, то ранги распределяются случайным образом между ними. Иными словами, H-критерий Краскела-Уоллиса показывает наличие сдвига в параметрах положения (сдвиг медиан) двух или более сравниваемых выборок, имеющих одинаковые формы распределения. Этот критерий имеет асимптотическое распределение хи-квадрат с k-1 степенями свободы, где k — количество выборок.
Вывод формулы для критерия дан в русской вики: https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9A%D1%80%D0%B0%D1%81%D0%BA%D0%B5%D0%BB%D0%B0_%E2%80%94_%D0%A3%D0%BE%D0%BB%D0%BB%D0%B8%D1%81%D0%B0
#статябрь #статябрь2025 #statober #statober2025
Сегодня у нас на очереди непараметрический тест для нескольких выборок. Он подходит для тех случаев, когда по каким-либо причинам мы не можем использовать дисперсионный анализ. Критерий является обобщением ранее рассмотренного критерия Манна-Уитни.
Суть критерия в следующем. Пусть у нас есть несколько выборок. Чтобы определить, есть ли среди них различия, мы, как и в критерии Манна-Уитни, ранжируем данные. Наше основное предположение состоит в том, что если группы одинаковые, то ранги распределяются случайным образом между ними. Иными словами, H-критерий Краскела-Уоллиса показывает наличие сдвига в параметрах положения (сдвиг медиан) двух или более сравниваемых выборок, имеющих одинаковые формы распределения. Этот критерий имеет асимптотическое распределение хи-квадрат с k-1 степенями свободы, где k — количество выборок.
Вывод формулы для критерия дан в русской вики: https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9A%D1%80%D0%B0%D1%81%D0%BA%D0%B5%D0%BB%D0%B0_%E2%80%94_%D0%A3%D0%BE%D0%BB%D0%BB%D0%B8%D1%81%D0%B0
#статябрь #статябрь2025 #statober #statober2025
Wikipedia
Критерий Краскела — Уоллиса
Критерий Краскела — Уоллиса предназначен для проверки равенства медиан нескольких выборок. Данный критерий является многомерным обобщением критерия Уилкоксона — Манна — Уитни. Критерий Краскела — Уоллиса является ранговым, поэтому он инвариантен по отношению…
Forwarded from Data&Knowledge
Статябрь. День 18. Критерий Хи-квадрат Пирсона.
Критерий хи-квадрат применяется при работе с категориальными данными, когда мы хотим узнать, есть ли статистически значимая разница между несколькими группами. К примеру, мы можем хотеть узнать, отличается ли количество выигравших в лотерею (категории: выигравшие, проигравшие) в зависимости от пола. Другим примером может служить смертность от болезни в зависимости от степени ожирения.
Идея критерия заключается в следующем. В нашей нулевой гипотезе мы предполагаем, что распределение наблюдений — мультиномиальное. Примером такого распределения может служить распределение вероятностей выпадения каждой из сторон игрового кубика при n попытках. Иными словами, мы предполагаем, что различия в полученных результатах объясняются только случайными факторами.
Затем мы вычисляем сумму квадратов разностей между наблюдаемыми и ожидаемыми значениями, деленную на те же ожидаемые значения. Почему мы делим на ожидаемое значение? При больших n распределение наблюдаемых частот можно приближённо считать нормальным, поскольку мультиномиальное распределение по центральной предельной теореме стремится к нормальному. В частных случаях, если вероятность категории мала, отдельные категории могут приближаться к распределению Пуассона. В итоге мы получаем сумму квадратов разностей, деленную на эквивалент дисперсии. Как мы знаем, величины такого типа имеют распределение хи-квадрат. Нам остается только вычислить число степеней свободы, определить значение p и проверить, меньше ли полученное значение заранее заданного уровня значимости.
Ссылка на доп. материал: https://bigenc.ru/c/polinomial-noe-raspredelenie-be9c62
#статябрь #статябрь2025 #statober #statober2025
Критерий хи-квадрат применяется при работе с категориальными данными, когда мы хотим узнать, есть ли статистически значимая разница между несколькими группами. К примеру, мы можем хотеть узнать, отличается ли количество выигравших в лотерею (категории: выигравшие, проигравшие) в зависимости от пола. Другим примером может служить смертность от болезни в зависимости от степени ожирения.
Идея критерия заключается в следующем. В нашей нулевой гипотезе мы предполагаем, что распределение наблюдений — мультиномиальное. Примером такого распределения может служить распределение вероятностей выпадения каждой из сторон игрового кубика при n попытках. Иными словами, мы предполагаем, что различия в полученных результатах объясняются только случайными факторами.
Затем мы вычисляем сумму квадратов разностей между наблюдаемыми и ожидаемыми значениями, деленную на те же ожидаемые значения. Почему мы делим на ожидаемое значение? При больших n распределение наблюдаемых частот можно приближённо считать нормальным, поскольку мультиномиальное распределение по центральной предельной теореме стремится к нормальному. В частных случаях, если вероятность категории мала, отдельные категории могут приближаться к распределению Пуассона. В итоге мы получаем сумму квадратов разностей, деленную на эквивалент дисперсии. Как мы знаем, величины такого типа имеют распределение хи-квадрат. Нам остается только вычислить число степеней свободы, определить значение p и проверить, меньше ли полученное значение заранее заданного уровня значимости.
Ссылка на доп. материал: https://bigenc.ru/c/polinomial-noe-raspredelenie-be9c62
#статябрь #статябрь2025 #statober #statober2025
Большая российская энциклопедия
Полиномиальное распределение
Полиномиа́льное распределе́ние, совместное распределение вероятностей случайных величин, каждая из которых есть число появлений одного из нескольких...
❤1
Forwarded from Data&Knowledge
Статябрь. День 19. Дисперсионный анализ для связанных выборок.
Ранее мы рассмотрели идею дисперсионного анализа для несвязанных выборок. Например, с его помощью мы могли определить, существует ли разница между несколькими видами лекарств в нескольких разных группах пациентов. В дисперсионном анализе для связанных выборок группа испытуемых будет одна, а вопросы нас будут интересовать, к примеру, следующие: 1. Как группа испытуемых воспринимает некое воздействие через разные интервалы времени. 2. Какие изменения можно наблюдать в одной и той же группе испытуемых при разных воздействиях.
Идея дисперсионного анализа для связанных выборок довольно проста. В обычном дисперсионном анализе мы сравнивали меры межгрупповой и внутригрупповой вариативности. Ведь если они примерно равны, это означает, что некий фактор не оказывал значимого влияния, отличного от шума. При связанных выборках мы делаем почти то же самое, с одним исключением. Если раньше мы знали, что участники в выборках независимы, то сейчас нам также известно, что часть внутригрупповой дисперсии объясняется индивидуальными особенностями каждого из участников. А так как участники у нас одни и те же в нескольких экспериментах, мы можем оценить и исключить «шум», вносимый каждым участником во внутригрупповую вариативность. Затем мы снова находим F-статистику и вычисляем её уровень значимости.
Ссылка на доп. материал: https://statistics.laerd.com/statistical-guides/repeated-measures-anova-statistical-guide.php
#статябрь #статябрь2025 #statober #statober2025
Ранее мы рассмотрели идею дисперсионного анализа для несвязанных выборок. Например, с его помощью мы могли определить, существует ли разница между несколькими видами лекарств в нескольких разных группах пациентов. В дисперсионном анализе для связанных выборок группа испытуемых будет одна, а вопросы нас будут интересовать, к примеру, следующие: 1. Как группа испытуемых воспринимает некое воздействие через разные интервалы времени. 2. Какие изменения можно наблюдать в одной и той же группе испытуемых при разных воздействиях.
Идея дисперсионного анализа для связанных выборок довольно проста. В обычном дисперсионном анализе мы сравнивали меры межгрупповой и внутригрупповой вариативности. Ведь если они примерно равны, это означает, что некий фактор не оказывал значимого влияния, отличного от шума. При связанных выборках мы делаем почти то же самое, с одним исключением. Если раньше мы знали, что участники в выборках независимы, то сейчас нам также известно, что часть внутригрупповой дисперсии объясняется индивидуальными особенностями каждого из участников. А так как участники у нас одни и те же в нескольких экспериментах, мы можем оценить и исключить «шум», вносимый каждым участником во внутригрупповую вариативность. Затем мы снова находим F-статистику и вычисляем её уровень значимости.
Ссылка на доп. материал: https://statistics.laerd.com/statistical-guides/repeated-measures-anova-statistical-guide.php
#статябрь #статябрь2025 #statober #statober2025
Laerd
Repeated Measures ANOVA - Understanding a Repeated Measures ANOVA | Laerd Statistics
An introduction to the repeated measures ANOVA. Learn when you should run this test, what variables are needed and what the assumptions you need to test for first.
Я думаю, что посты по статистическим методам можно прекратить. Но они все также будут доступны в тг-группе: https://t.me/datascienceforfun
Будем считать этот эксперимент неудавшимся 😅
Будем считать этот эксперимент неудавшимся 😅
Telegram
Data&Knowledge
Работаем с данными
❤1
Forwarded from Data&Knowledge
Learning Machine Learning
Список тем на следующие два месяца по машинному обучению. Планирую на каждую тему подготовить небольшой ноутбук с примерами на Python.
1. Линейная регрессия (Linear Regression)
2. Регрессия с регуляризацией (Ridge, Lasso)
3. Логистическая регрессия (Logistic Regression)
4. Наивный Байес (Naive Bayes)
5. Деревья решений (Decision Trees)
6. Случайный лес (Random Forest)
7. Адаптивный бустинг (AdaBoost)
8. Градиентный бустинг (Gradient Boosting — XGBoost, LightGBM, CatBoost)
9. Машины опорных векторов (Support Vector Machines, SVM)
10. K-ближайших соседей (K-Nearest Neighbors, KNN)
11. K-Means
12. Иерархическая кластеризация (Hierarchical Clustering)
13. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
14. Метод главных компонент (Principal Component Analysis, PCA)
15. Линейный дискриминантный анализ (Linear Discriminant Analysis, LDA)
Список тем на следующие два месяца по машинному обучению. Планирую на каждую тему подготовить небольшой ноутбук с примерами на Python.
1. Линейная регрессия (Linear Regression)
2. Регрессия с регуляризацией (Ridge, Lasso)
3. Логистическая регрессия (Logistic Regression)
4. Наивный Байес (Naive Bayes)
5. Деревья решений (Decision Trees)
6. Случайный лес (Random Forest)
7. Адаптивный бустинг (AdaBoost)
8. Градиентный бустинг (Gradient Boosting — XGBoost, LightGBM, CatBoost)
9. Машины опорных векторов (Support Vector Machines, SVM)
10. K-ближайших соседей (K-Nearest Neighbors, KNN)
11. K-Means
12. Иерархическая кластеризация (Hierarchical Clustering)
13. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
14. Метод главных компонент (Principal Component Analysis, PCA)
15. Линейный дискриминантный анализ (Linear Discriminant Analysis, LDA)
❤8
Forwarded from Data&Knowledge
Learning Machine Learning
Итак, мы начинаем наше путешествие в мир машинного обучения. Формат обучения будет такой. В первый день я даю ссылки на материалы и задачи. А через дней несколько делюсь своим конспектом и решением. Задать вопросы можно в чатах тг или в комментариях.
Чат в тг по python: https://t.me/learnpythonforfun_chat
Чат в тг по данным: https://t.me/datascienceforfun_chat
Итак, мы начинаем наше путешествие в мир машинного обучения. Формат обучения будет такой. В первый день я даю ссылки на материалы и задачи. А через дней несколько делюсь своим конспектом и решением. Задать вопросы можно в чатах тг или в комментариях.
Чат в тг по python: https://t.me/learnpythonforfun_chat
Чат в тг по данным: https://t.me/datascienceforfun_chat
Telegram
Учим Питон (Чат)
Курс с нуля: https://stepik.org/course/58852/
Курсы для прохождения: https://docs.google.com/document/d/1N-SxSRbe5eaV3z4BEknNVB1G7EKgtfdgVmTyy-q95fY/edit?usp=sharing
Правила: https://vk.com/@learnpythonforfun-pravila-gruppy-i-chatov
Курсы для прохождения: https://docs.google.com/document/d/1N-SxSRbe5eaV3z4BEknNVB1G7EKgtfdgVmTyy-q95fY/edit?usp=sharing
Правила: https://vk.com/@learnpythonforfun-pravila-gruppy-i-chatov
Forwarded from Data&Knowledge
Learning Machine Learning. Линейная регрессия.
Наша первая тема - один из самых простых и самых важных алгоритмов машинного обучения. Через несколько дней я выложу свой конспект, а пока - материалы:
Объяснение: https://www.youtube.com/watch?v=_PlC8Niun7U
Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Примеры решения можно найти во вкладке Code по запросу Linear regression. И там надо будет разбираться 🙈
#LearningMachineLearning2025 #LearningMachineLearning
Буду рад вопросам и ответам в комментариях.
Наша первая тема - один из самых простых и самых важных алгоритмов машинного обучения. Через несколько дней я выложу свой конспект, а пока - материалы:
Объяснение: https://www.youtube.com/watch?v=_PlC8Niun7U
Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Примеры решения можно найти во вкладке Code по запросу Linear regression. И там надо будет разбираться 🙈
#LearningMachineLearning2025 #LearningMachineLearning
Буду рад вопросам и ответам в комментариях.
YouTube
Лекция 8. Линейная регрессия
https://compscicenter.ru/
Линейный регрессионный анализ. Модель, интерпретация оценок коэффициентов, множественный коэффициент детерминации. Интерпретация множественного коэффициента детерминации, ограничения на область его применения. Выявление наиболее…
Линейный регрессионный анализ. Модель, интерпретация оценок коэффициентов, множественный коэффициент детерминации. Интерпретация множественного коэффициента детерминации, ограничения на область его применения. Выявление наиболее…
Forwarded from Data&Knowledge
Практика по линейной регрессии.
Я вам тут накидал небольшой ноутбук, чтобы было легче начать анализировать. Если вы посмотрели видео из прошлого поста, то у вас начнут появляться вопросы. Ответы на некоторые из них можно найти в книжке "Введение в статистическое обучение с примерами на языке Python" от
Гарет Джеймс и др. Я нашел её здесь: https://annas-archive.org/md5/e9d11665dbd051585a2eff1f58407de5
Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Мой ноутбук: https://colab.research.google.com/drive/1yPCY4O6fLEXsjzJ02Vj6oc3mBLsaPk2y?usp=sharing
Я вам тут накидал небольшой ноутбук, чтобы было легче начать анализировать. Если вы посмотрели видео из прошлого поста, то у вас начнут появляться вопросы. Ответы на некоторые из них можно найти в книжке "Введение в статистическое обучение с примерами на языке Python" от
Гарет Джеймс и др. Я нашел её здесь: https://annas-archive.org/md5/e9d11665dbd051585a2eff1f58407de5
Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Мой ноутбук: https://colab.research.google.com/drive/1yPCY4O6fLEXsjzJ02Vj6oc3mBLsaPk2y?usp=sharing
annas-archive.org
Введение в статистическое обучение с примерами на языке Python - Anna’s Archive
Гарет Джеймс, Даниела Уиттен, Тревор Хасти, Роберт Тибширани, Джонатан Тейлор
В этой книге доступным языком описывается все разнообразие форм статистического обучения. Рассматрив
ДМК Пресс
В этой книге доступным языком описывается все разнообразие форм статистического обучения. Рассматрив
ДМК Пресс
Forwarded from Data&Knowledge
Learning Machine Learning. Регрессия с регуляризацией (Ridge, Lasso).
Первая и вторая темы нашего прохождения сильно связаны между собой. На этой неделе мы начинаем изучать регрессию с регуляризацией.
Короткое объяснение: https://www.youtube.com/watch?v=C98SRCZfgkk
Задача все та же: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Теперь необходимо посмотреть, как регулризация влияет на получаемое решение.
Буду рад вопросам и ответам в комментариях.
#LearningMachineLearning2025 #LearningMachineLearning
Первая и вторая темы нашего прохождения сильно связаны между собой. На этой неделе мы начинаем изучать регрессию с регуляризацией.
Короткое объяснение: https://www.youtube.com/watch?v=C98SRCZfgkk
Задача все та же: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices
Теперь необходимо посмотреть, как регулризация влияет на получаемое решение.
Буду рад вопросам и ответам в комментариях.
#LearningMachineLearning2025 #LearningMachineLearning
YouTube
Ридж и LASSO регрессия
Второй способ борьбы с мультиколлинеарностью – это включение штрафа в сумму наименьших квадратов. Соответственно, мы минимизируем непросто сумму квадратов остатков, а мы минимизируем сумму квадратов остатков плюс штраф за слишком большие коэффициенты. Мы…
Предлагаю начать вместе читать System Design от Алекса Сюй. Это книга позволит вам понять, как устроены онлайн-сервисы, а в последующем позволит и пройти интервью.
Предлагаю каждому выбрать гипотетический онлайн-сервис (конкурент тик-тока, онлайн дилер и т.д.) и пытаться применить принципы из книжки. Предлагаю в конце недели, после очередной главы, обсуждать реализацию принципов в своем проекте.
В этот раз читаем первую главу. Обсудим её в эти выходные.
П.С. Книжку придется самим найти в Интернете.
Предлагаю каждому выбрать гипотетический онлайн-сервис (конкурент тик-тока, онлайн дилер и т.д.) и пытаться применить принципы из книжки. Предлагаю в конце недели, после очередной главы, обсуждать реализацию принципов в своем проекте.
В этот раз читаем первую главу. Обсудим её в эти выходные.
П.С. Книжку придется самим найти в Интернете.
👍4❤1
Вебинар по первой главе System design
В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы первой главы.
Ссылка: https://telemost.yandex.ru/j/79925380906890
В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы первой главы.
Ссылка: https://telemost.yandex.ru/j/79925380906890
telemost.yandex.ru
Звонок в Яндекс Телемосте
По ссылке вы сможете подключиться к звонку
❤1
Вебинар по первой главе System design
Вебинар сдвинут на 12.00 по Москве.
Ссылка: https://telemost.yandex.ru/j/79925380906890
Вебинар сдвинут на 12.00 по Москве.
Ссылка: https://telemost.yandex.ru/j/79925380906890
telemost.yandex.ru
Звонок в Яндекс Телемосте
По ссылке вы сможете подключиться к звонку
Читаем System design. Главы 2 и 3.
План на эту неделю: читаем главы 2 и 3, а в выходные проведем вебинар, где попытаемся сделать создать архитектуру небольшого сервиса.
Название книги: System Design. Подготовка к сложному интервью. Алекс Сюй.
План на эту неделю: читаем главы 2 и 3, а в выходные проведем вебинар, где попытаемся сделать создать архитектуру небольшого сервиса.
Название книги: System Design. Подготовка к сложному интервью. Алекс Сюй.
Вебинар по второй и третьей главам System design
В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы второй и третьей глав.
Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670
В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы второй и третьей глав.
Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670
telemost.yandex.ru
Звонок в Яндекс Телемосте
По ссылке вы сможете подключиться к звонку
Вебинар по второй и третьей главам System design
Через пару минут начинаем.
Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670
Через пару минут начинаем.
Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670
telemost.yandex.ru
Звонок в Яндекс Телемосте
По ссылке вы сможете подключиться к звонку