Планы на 2025 год

Итак, 2024 год подошел к концу. Если честно, в самом канале было не так много активности: мы прочитали книжку Грокаем алгоритмы и прошли курc по FastAPI. Что же будет дальше?

У меня есть несколько пожеланий на 2025 год.
Во-первых, мне хочется сделать группу чуть более community-centered. Иными словами, мне бы хотелось, чтобы другие участники тоже могли создавать посты и активности. Сейчас я делаю бота для группы и надеюсь в будущем добавить функции предложки.
Во-вторых, мне бы хотелось добавить в группу разнообразия и глубины в плане изучаемых технологий: чуть больше статистики и анализа данных, чуть больше логики и алгоритмов. Иными словами, не ограничиваться материалами для новичков.
В-третьих, мне бы действительно хотелось создать небольшой курс по ООП. Мне кажется несправедливым, что сейчас основные русскоязычные курсы по ООП стоят денег. Такие знания должны быть свободными.

Конечно, при этом хочется сохранить прежние активности: прочитать вместе книжку, пройти пару курсов. Надеюсь, у нас всё получится 😀

В общем, всех с наступающим Новым Годом 🎉🎉🎉

Друзья, предлагаю собрать в одном месте книги и курсы для изучения объектно-ориентированного программирования в python. Подойдут книги, бесплатные курсы (степик, курсера), бесплатные онлайн-туториалы, сайты с задачками на ООП, статьи на тематических ресурсах (хабр, медиум), открытые видео на ютюб. Я начну:

https://docs.python.org/3/tutorial/index.html - официальный туториал python.
https://stepik.org/course/512/ - не самый интуитивный курс по слегка продвинутому python.
https://metanit.com/python/tutorial/ - туториал на метаинит.
https://pythonworld.ru/samouchitel-python - еще немного материала (довольно скупое описание ООП).

Предлагайте свои варианты в комментариях. Будет круто, если вы дадите и короткое описание/впечатление от предложенного ресурса :)

А давайте сделаем простую визуализацию на python?
В общем, идея: мы хотим узнать, какие темы наиболее интересны людям для видео по продуктивности.

Я составил короткий опрос: https://forms.gle/5HV4uBuWVkuCDPcQ8

Пройдите опрос, и через неделю я поделюсь кодом, данными, и анализом результатов опроса.

Напоминаю, что вы можете помочь нам с данными и пройти простой тест за 5 минут: https://forms.gle/5HV4uBuWVkuCDPcQ8

Если вам интересен результат, ставьте любую реакцию на пост, и чуть позже я постараюсь выложить все результаты.

Я составил план нашего самообучения на ближайший год.

Апрель-Май - Поколение Python
Май-Июль - Основы статистики + книжка Грокаем алгоритмы
Август-Сентябрь - Курс по SQL (работа с базами данных)
Октябрь-Ноябрь - Объектно-ориентированное программирование
Ноябрь-Декабрь - Паттерны + Книжка по архитектуре

Мы будем совместно проходить курсы на степике, как это делали раньше. Я анонсирую в группе/тг-чате очередную неделю прохождения, а вопросы можно задавать в тг-чате. Курсы предназначены в основном для начинающих, но я надеюсь, что анонсы получится разбавлять интересными материалами.

Наш тг-чат: https://t.me/learnpythonforfun

Я сделал небольшой анализ опроса о том, какие видео на тему продуктивности больше нравятся людям. Для желающих, там есть небольшое домашнее задание:

https://colab.research.google.com/drive/1MjXCaO3fZxgnzySRzjzdb-AWUBHnAOEG?usp=sharing

Спасибо всем за участие в опросе!

Итак, хочу поздравить вас с тем, что админ этой группы защитился и получил сертфикат кандидата наук. Это было долго и муторно, но оно свершилось! Я планирую, что с октября в группе снова начнут появляться посты о питоне и других технологиях. Если у вас есть предложения по активностям - добро пожаловать в комментарии :)

У нас тут в чате возник вопрос о том, как обеспечить безопасность сайта. И я подумал, а ведь мы действительно никогда об это не говорили. Мне на ум приходит только выставление нестандартных портов приложениям, ограничения входа по ключу по ssh, нестандартные пароли для рута, установление обновлений безопасности для фреймворков и ОС. У кого еще есть какие предложения?

Привет! Ребят, вопрос: есть кто-нибудь, кто понимает в безопасности сайтов? Не нормальных сайтов, а на готовых движках типа друпал?
Мне очень нужно по работе понимать, что читать, когда тебя "ломают" и как отлавливать "дыры"

Итак, в рамках трека Data Science потихоньку начинам повторять статистику. По одной теме в день весь октябрь. Предлагаю в комментариях к постам каждый день делиться интересными материалами и примерами использования методов.

#статябрь #статябрь2025 #statober #statober2025

Статябрь

Предлагаю каждый день в октябре коротко проходить по одной теме из статистики. Предлагаю делиться крутыми материалами и примерами на каждый топик. Таким образом мы повторим и углубим понимание каждой темы :)

#статябрь #статябрь2025 #statober #statober2025

Идея Статября в том, чтобы делиться крутыми примерами и материалами по темам. Поэтому, если вы найдете крутое объяснение или применение темы, кидайте в комментарии :)

Статябрь. День 1. Нормальное распределение.

Итак, представьте, что мы изобрели новое лекарство. Вообще говоря, неплохо было бы как-то сравнить наше новое лекарство с существующим, чтобы доказать, что оно работает. Но как это сделать? Мы не можем испробовать его на одном человеке — положительный эффект может быть случайным. Грубо говоря, действие лекарства обусловлено целым рядом случайных факторов для каждого человека.

А что если мы возьмем не одного человека, а группу людей? И здесь-то нам и приходит на помощь нормальное распределение. Оказывается, если взять целую группу людей и измерить у них некую случайную величину (действенность лекарства, уровень интеллекта, рост), отобразив её на графике, то последний примет куполообразную форму. Если говорить более точно, случайная величина будет иметь нормальное распределение. И теперь наша задача становится более простой: "сравнить два купола" (примеры куполов есть ниже на картинке).

Почему же многие величины принимают нормальное распределение? Если коротко, то это случается, когда на измеряемую величину влияет целый ряд факторов. Для действенности лекарства — это индивидуальные особенности организма, для IQ — ряд генетических, экологических и социальных факторов, для роста — снова генетические и экологические факторы. В теории вероятностей этот феномен описывается Центральной Предельной Теоремой. Но о ней мы поговорим в другой раз.

Вики: https://ru.wikipedia.org/wiki/%D0%9D%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5
Мой конспект по теме: https://drive.google.com/file/d/19EDlbrbnVSaGiekBhMW22CcHlxTEk_A_/view?usp=sharing

#статябрь #статябрь2025 #statober #statober2025

А так выглядят "купола" нормального распределения с разными характеристиками.

Статябрь. День 2. Z-test.

Итак, вчера мы узнали, что очень многие данные имеют колоколообразное нормальное распределение. И еще мы узнали, что, оказывается, можно сравнивать эти колокола, чтобы понять, есть ли разница между двумя группами людей. Давайте посмотрим на примере.

Итак, давайте предположим, что мы хотим выбрать школу для ребенка. Директор гордо утверждает, что выпускники его школы сдают ЕГЭ в среднем лучше, чем выпускники в среднем по стране. Как же это проверить?

Во-первых, нам необходимо знать характеристики распределения всей популяции сдавших ЕГЭ. Известно, что нормальное распределение определяется двумя параметрами: средним и дисперсией (мерой разброса значений). Во-вторых, мы должны вычислить те же характеристики купола для нашей выборки — учеников, сдававших ЕГЭ из конкретной школы. И после этого, мы должны вычислить Z-score — меру расстояния между средним популяции и средним выборки. Если она достаточно велика, то мы сможем заключить, что директор не врет, и ученики этой школы действительно показывают более высокие результаты.

У этого метода есть и ограничения. Во-первых, необходимо, чтобы величины были распределены нормально — не для всех величин это условие соблюдается. Во-вторых, нам необходимо знать дисперсию популяции. В нашем случае это возможно, такие данные могут публиковаться после проведения экзамена. Но очень часто доступа к таким данным нет, и точно оценить дисперсию популяции (а не выборки) нет возможности. В таких случаях используются другие тесты, о которых мы поговорим позже.

Чуть подробнее о Z-тесте: https://habr.com/ru/companies/otus/articles/793678/

Делитесь своими материалами и примерами в комментариях.

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 3. Распределение Стьюента.

Вчера мы поговорили о тесте, который сравнивает два колокола — два нормальных распределения. Но у нас была проблема: налагаются довольно серьезные ограничения на характер данных — должна быть известна дисперсия (мера разброса) данных генеральной совокупности, должен быть большой размер выборки. А что делать, если эти условия не выполняются? И у исследователей возникла идея: а давайте использовать другой колокол. Ведь чем плохи маленькие выборки? Случайное слишком большое или слишком маленькое значение могут сильно сместить и среднее, и увеличить дисперсию. К примеру, если мы измеряем IQ в одной группе, то там вполне могут оказаться два брата близнеца с крайне высоким показателем. И тогда у нас может получиться, что в нашей выборке из 20 человек у 10% людей очень высокий IQ. А это нереалистично, если посмотреть на нормальное распределение — его хвосты очень близки к 0%. Получить 10% с высоким IQ — крайне маловероятно.

Чтобы учесть такую особенность малых выборок, было введено распределение Стьюдента. Оно имеет чуть более высокие хвосты, допуская неточности в выборках. Кроме этого, в таких распределениях нет требования знать дисперсию генеральной совокупности. Распределение Стьюдента приведено по ссылке ниже. Оно не только похоже на нормальное распределение, оно еще и стремится к нормальному (становится очень близким к нему) при больших размерах выборки.

Ссылка на вики: https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%A1%D1%82%D1%8C%D1%8E%D0%B4%D0%B5%D0%BD%D1%82%D0%B0

Делитесь своими материалами и примерами в комментариях.

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 4. Непарный тест Стьюдента. 

Итак, это один из самых важных тестов в статистике. Поэтому именно сегодня я предлагаю делиться ссылками на материалы в комментариях :)

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 5. Биномиальное распределение.

Давайте представим, что нам необходимо передать важные данные по каналу связи. Эти данные мы упакуем в пакеты. Мы знаем характеристики канала связи, к примеру, что пакет данных теряется с вероятностью 0.001. Мы можем отправлять один пакет многократно, но как узнать, какого количества будет достаточно?

Для моделирования событий с двоичным результатом (орел/решка, доставка/потеря пакета и т. д.) используется биномиальное распределение. Оно отражает распределение количества «успеха» в последовательности из n случайных величин. При достаточно больших n биномиальное распределение стремится к нормальному. Форма распределения показана на картинке, ну а по ссылке — пример вычисления.

Ссылка: https://colab.research.google.com/drive/1fbWZftHThAWb_hGyCyfQoKtOUw-qKHzc?usp=sharing

#статябрь #статябрь2025 #statober #statober2025

Картинка из вики

Статябрь. День 6. U-критерий Манна-Уитни.

Пока что все было просто — если мы хотим сравнить две популяции, то к нашему счастью они часто имеют нормальное распределение, мы сравниваем два колокола и все довольны. Но что, если наши выборки не имеют нормального распределения? Как тогда сравнить, есть ли статистические различия между двумя выборками? Тут нам на помощь приходит непараметрический U-критерий Манна-Уитни.

Проиллюстрирую идею на примере. Представьте, что у нас есть две спортивных команды. Атлеты одной из них заняли 1, 2, 3, 4, 5 и 9 места, а у второй — 6, 7, 8, 10, 11. Не надо знать статистику, чтобы увидеть, что атлеты первой команды лучше. Примерно в этом и состоит идея теста Манна-Уитни: а что если мы возьмем обе выборки и распределим места между участниками? Кажому участнику из каждой выборки мы присвоим место в совместном зачете. Места будем присваивать так: за наименьший результат даем первое место, за второй с конца — второе и т.д. Если в совместной выборке идут два результата подряд, то каждому присваиваем «среднее» место, к примеру, если на 6 и 7 месте стоят одинаковые показатели, то обоим присваиваем 6.5 место. А после присвоения мест в общей выборке мы смотрим, какая из выборок оказалась круче. Для этого мы и вычисляем сам U-критерий Манна-Уитни. О нем чуть подробнее в видео.

Видео по использованию критерия: https://www.youtube.com/watch?v=IN3bB8Ea_O8
Вики-страница на английском, где много продвинутой информации: https://en.wikipedia.org/wiki/Mann%E2%80%93Whitney_U_test

#статябрь #статябрь2025 #statober #statober2025

Статябрь. День 7. Гипергеометрическое распределение.

Часто бывает так, что нам нужно проконтролировать качество какого-то процесса. Одна из таких ситуаций: необходимо оценить вероятность получить определенное количество объектов с определенным признаком в партии. Признак может быть самым разным: машины с красным цветом в выборке из красных и черных машин; солдаты, способные держать автомат из всего количества срочников, количество козырных карт у противника. Разберем на примере.

Представим, что к нам пришла бабушка и сообщила, что принесла 20 кабачков. Правда, 12 из них уже испортились. Для ужина нам нужно два кабачка. Какова вероятность, что два наудачу вытащенных кабачка окажутся свежими?

Решить эту задачу довольно легко. Для этого нам надо сосчитать количество всех возможных вариантов вытащить два свежих кабачка и поделить на общее количество вариантов вытащить два кабачка. Это и будет искомая вероятность. Ответы пишите в комментариях :D

Так что же такое гипергеометрическое распределение? А оно как раз и задается формулой, которая подсчитывает вероятность вытянуть без возвращения n предметов, k из которых имеют искомый признак (при M предметах, имеющих искомый признак в совокупности объемом N).

Вики-страница: https://ru.wikipedia.org/wiki/%D0%93%D0%B8%D0%BF%D0%B5%D1%80%D0%B3%D0%B5%D0%BE%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5

#статябрь #статябрь2025 #statober #statober2025