Небольшое дополнение к материалам про бутстреп, на этот раз понятное интерактивное объяснение принципа действия (в первом видео), а во втором применение бутстрепа для оценки p-value при тестировании гипотез. В данном случае гипотеза о том, действует ли препарат на группу испытуемых.
Этот принцип расширяется на сравнение групп, описанный в предыдущем посте, так же здесь более подробно объясняется идея центрирования данных. Посмотрите, думаю, будет интересно.

https://www.youtube.com/watch?v=Xz0x-8-cgaQ
https://www.youtube.com/watch?v=N4ZQQqyIf6k

В целом рекомендую этот канал, очень качественные материалы о статистике, машин лернинге и даже биоинформатике, например, здесь очень неплохо разобран материал про RNA-seq: дифференциальная экспрессия (DESeq2, edgeR), методы нормировки (FPKM, TPM) и некоторые другие аспекты.

#bootstrap #stat_hard #recommendation

Подборка материалов по освоению языка программирования R

Книги:
1. R in a Nutshell
неплохая книга для того чтобы начать знакомство с R, разбираются базовые концепции языка, необходимые для работы с ним (основные типы объектов, функции, ввод и вывод данных). Далее есть довольно значительный разбор применения R именно для анализа данных. Книгу рекомендую для в первую очередь пользователей R (а не разработчиков).
UPD: похоже, что книга немного устарела

2. R in action

Кроме того, есть перевод книги на русский язык, у меня кстати есть бумажная версия, я ее почти дочитала, мне очень понравился подробный разбор статистических моделей и методов. С одной стороны он был недостаточно подробен, чтобы перейти на сухой язык формул, но достаточно доходчив, хотя и рассчитан, пожалуй, для не новичков в статистике. Примеры применения например перестановочных и бутстреп тестов в R тоже порадовали.
Бумажную версию можно купить здесь:
https://dmkpress.com/catalog/computer/statistics/978-5-94074-912-7/

3. R for Data Science
Соавтор этой книги Хадли Викхам (Hadley Wickham), разработчик среды/экосистемы tidyverse, разработчик IDE R Studio и вообще один из центральных игроков в развитии R как языка программирования. Книга эта, как следует из названия, подходит для т.н. датасаенса, то есть для всяческой работы с данными: анализ, визуализация, проверка статистических гипотез. У меня книга пока в списке для чтения.

4. Advanced R
Книга предназначена больше для программистов, для тех кто собирается погрузиться в разработку языка, здесь объясняется почему при выполнении определенных действий происходит так, а не иначе. Подробно разбирается ООП-парадигма программирования в языке R: основные классы, S3, S4, R6. Планирую разобраться с классами в R и с принципом метапрограммирования.

5. Введение в язык программирования R
https://textbook.rintro.ru/index.html
Одна из немногих книг на русском языке про R, на мой взгляд, подойдет для знакомства с языком и для дальнейшего продвижения, поскольку в ней затрагиваются довольно продвинутые вещи. Более детально смогу оценить, когда прочитаю сама)

6. Книга Ивана Позднякова "Анализ данных и статистика в R". Очень крутая, всем рекомендую! https://pozdniakov.github.io/tidy_stats/index.html

Курсы:
На степике
Очень люблю эту платформу, поэтому советовать буду на основании личного опыта прохождения курсов.
https://stepik.org/course/129 Анализ данных в R
https://stepik.org/course/724 Анализ данных в R. Часть 2.
Оба курса от Анатолия Карпова, замечательные курсы с бОльшим акцентом на анализ данных
https://stepik.org/course/497 Основы программирования на R
Не менее хороший курс, а может и более, поскольку здесь разбираются темы, более актуальные для разработки. Это неудивительно, потому что автор курса опирался в том числе на вышеупомянутую книгу Advanced R.

Кроме того, существуют курсы на курсере, но про их качество я точно сказать не смогу.

Пишите комментарии, какие курсы проходили и какие книги читали, а также советуйте свои источники, будем пополнять информацию!

#literature #R #recommendation

Всем привет! Давненько тут не было постов, исправляюсь. На этот раз предлагаю подборку обучающих материалов по статистике с моими очень ценными комментариями и мнениями о них)

Книги:
1. Статистика и котики. Информация например здесь
Книгу все советуют для новичков в статистике, признаться, я сама ее прочитала уже спустя некоторое время работы со статистикой, поэтому мне было особенно легко ее воспринимать. Книга действительно очень забавная, написана приятным языком, мне понравилось. Однако могу отметить, что более сложные темы стат анализа, например про факторный анализ написано скорее запутанно, чем понятно, поэтому я бы тоже рекомендовала книгу именно новичкам в статистике.

2. Голая статистика. Информация здесь
Эту книгу тоже советуют новичкам, ее я не читала, но судя по отзывам, там довольно простой стиль изложения, многим нравится.

3. Медико-биологическая статистика Гланца. Скачать здесь http://medstatistic.ru/articles/glantz.pdf
Относительно неплохая книга, раньше тоже советовали начинающим статистикам-биологам и медикам, особенно когда не было вышеприведенных книг. Здесь чуть более строгий язык повествования, но все еще не перегруженный формулами и терминами. Существенный минус - книжка старая, здесь нет описания поправок на множественное тестирование FDR.

4. Теория вероятностей и математическая статистика, Гмурман В.Е. http://lib.maupfib.kg/wp-content/uploads/2015/12/Teoria_veroatnosty_mat_stat.pdf
Книга уже чуть более сложная, помимо базовых вещей, здесь разобрано про Монте-Карло пермутационные тесты и немного про скрытые марковские модели.

5. Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R. В.К. Шитиков, Г.С. Розенберг
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Starb.pdf
Это уже немного в сторону от базовых вещей в статистике, здесь действительно целая книга, посвященная применению бутстрепа для анализа данных. Не могу похвастаться что осилила ее, но мне очень понравилось введение про сам принцип, во многом опиралась на него, пока писала про бутстреп на канале. Очень рекомендую почитать тем, кто интересуются бутстрепом.

6. Statistics in a Nutshell, Sarah Boslaugh. Издательство O'Reilly.
Нашла ссылку только на первое издание https://theswissbay.ch/pdf/Gentoomen%20Library/Maths/Statistics/OReilly.Statistics.in.a.Nutshell.A.Desktop.Quick.Reference.Aug.2008.pdf
Есть перевод на русский, говорят неплохой, но находили неточности в переводе. Мне кажется именно эта книга должна быть мастхев для интересующихся и работающих со статистикой людей, потому что здесь есть баланс между простым языком изложения и в то же время не поверхностным.
Единственное, что вызвало у меня недоумение, это отсутствие главы про поправки на множественное тестирование вообще, хотя книга относительно новая. Зато здесь есть много других очень важных вещей, например принципы планирования исследования, анализ мощности стат тестов, работа с пропущенными значениями и тп. Сама планирую приобрести бумажную версию книги.

Курсы:
Здесь все просто, советую три курса по статистике на степике от Анатолия Карпова
https://stepik.org/course/76/syllabus
https://stepik.org/course/524/syllabus
https://stepik.org/course/2152/syllabus
курсы замечательные, именно с первой части курса я перестала бояться и начала осваивать статистику. Думаю, все и так про них наслышаны, я присоединяюсь к позитивным отзывам и рекомендациям.
Есть еще вот такой курс, Математическая статистика
https://stepik.org/course/326/syllabus
Это курс для продвинутых, я его пока не прошла, но когда-нибудь соберусь.

Пишите комментарии, что читали и проходили, понравилось или нет, а также добавляйте свои материалы!

#literature #base_stat #recommendation #stat_hard

Небольшой апдейт к предыдущему посту. В одном биоинформатическом чате в пух и прах раскритиковали курсы Карпова за неточности в описании центральной предельной теоремы (ЦПТ) и о требованиях к данным для применения корреляции Пирсона. Почитать можно здесь: несколько грубовато, но ошибки разобраны. Ошибки в курсе уже исправлены, спасибо воинам статистики за то что стоят на страже истины!
В ходе дискуссии я вспомнила про статквест, который уже ранее упоминала на канале:
https://www.youtube.com/c/joshstarmer/videos
Очень хорошо разобран материал про статистику, машинное обучение, статистические модели в рнк-секах и не только.

Курс от курсеры очень рекомендовал вышеупомянутый воин статистики
https://www.coursera.org/specializations/statistics
Как ни странно, с моего аккаунта курсеры, привязанного к университету (НГУ), мне удалось получить доступ к материалам курса. Однако при попытке зарегистрировать новый аккаунт, мне сообщили что не предоставляют услуги для юзеров в санкционных странах. Так что да, курсеру уже так просто не пройти, к сожалению. Посмотрела программу, вроде бы да, очень достойно выглядит. Еще понравилось, что там есть предустановленная среда R со всеми нужными пакетами, можно кодить прямо в браузере без необходимости установки R себе (вдруг у кого есть сложности с этим).

Кроме того, небольшое дополнение к посту про R:
https://textbook.rintro.ru/ учебник по языку R на русском (!), мне кажется очень годный. Понравилась глава про историю языка, пока прочитала только ее, довольно любопытно осознавать контекст, в котором развивался язык. Первые три четверти книги вроде бы для начинающих пользователей, а дальше уже про ООП, работу с памятью, производительностью кода - то есть материал скорее для программистов.
И еще вот подборка материалов из чата по R
https://t.me/hotlineR_EU/7692

#literature #R #recommendation

Скачиваем курсы с курсеры без регистрации и смс

Всем привет!
Может быть, напрямую не относится к теме канала, но я думаю, что проблема закрытия доступа к курсере волнует многих, поэтому делюсь способом, как можно скачать курсы оттуда.
Нашла питоновскую библиотеку: https://github.com/coursera-dl/coursera-dl которая позволяет скачивать все материалы: видео лекций, текстовые файлы, задания (правда без возможности проверить ответы).

Пара рекомендаций по установке и использованию, по крайней мере для Windows 10:
1) Лучше начинать с установки зависимостей в файле requirements.txt (команда

pip install -r requirements.txt

, запущенная из anaconda prompt).
2) После установки зависимостей устанавливается сама программа:

pip install coursera-dl

(тоже из консоли anaconda prompt).
3) Для корректной работы скачивания мне понадобилось создать в директории для скачивания файл-конфиг с указанием юзернейма, пароля, языка субтитров и самое главное - хеш cauth, инструкцию к нахождению которого можно найти здесь. Это что-то связанное с куками в браузере, у меня все равно не получилось выгрузить список курсов, но по крайней мере загрузка работает.
4) Скачивается конкретный курс просто:

coursera-dl bioinformatics

, где bioinformatics название курса. Название можно посмотреть на самом сайте курса в адресной строке, написано между /learn/.../home/welcome: https://www.coursera.org/learn/bioinformatics/home/welcome
5) Еще для корректного скачивания нужно обновить дедлайны по курсу (просто на сайте из браузера), иначе могут быть ошибки со старыми курсами, которые не до конца пройдены.

Вот примерно и все, скачивается все довольно быстро, раскладывается по папкам, есть субтитры и другие необходимые вещи, только конечно не будет проверки квизов и получения сертификатов)

Делитесь информацией с другими, что есть такой довольно легкий и удобный способ сохранить знания!

UPD: еще забросила в комменты пример конфиг файла для скачивания с английскими и русскими субтитрами
#coursera #recommendation #learn

Отзыв о курсе бластим по анализу данных в R

Я съездила на курсы в Москву в качестве технического ассистента, суть работы в том, чтобы помогать участникам, когда у них отвалится очередной R пакет при установке, не будет работать какая-то функция и другие подобные вещи. Сказать по правде, я и так в рабочее (и иногда в нерабочее) время постоянно помогаю коллегам и друзьям с отвалившимися пакетами, так что было приятно, что за это еще и платят. Сам курс был организован на высоком техническом уровне, лектор был онлайн, была очная аудитория и онлайн участники. Я помогала преимущественно в зале, но и в онлайне тоже, когда успевала отвечать.
Для меня было полезным подтянуть и систематизировать кое-какие вещи про R, например наконец-то перестать гуглить каждый раз how to reshape data from wide to long format R (правда, я еще не успела проверить, но думаю, что с синтаксисом pivot_longer/pivot_wider у меня больше не будет таких проблем).
Атмосфера на курсах была очень классной, познакомилась с кучей крутых ребят, заценила сидрерию в Москве.
Однозначно рада проведенному времени и могу порекомендовать курс к участию, особенно для среднего уровня (для совсем новичка возможно будет тяжеловато). А если вы уже разбираетесь в статистике и R, то советую посетить курс как технический ассистент, очень любопытный опыт.


По моему мнению, курс преимущественно настроен на все-таки ненулевой опыт, например, даже поверхностное знание другого языка программирования уже будет ненулевым уровнем. Мне показалось, что небольшой опыт работы в R и/или с другим языком программирования очень способствовал эффективному обучению, поскольку совсем с нулевым бэкграундом, возможно, было тяжеловато. Продвинутые вещи тоже разбирались, но боюсь, что они могли эффективно усвоиться при знании, что такое бывает (например, Бокс-Кокс трансформация). Но наверное, суть в том, что даже если при прохождении курса часть вещей не воспринялась, то по крайней мере появилось понимание, какие продвинутые темы в статистике и R бывают, и поскольку доступ к материалам сохраняется, никто не помешает вернуться к этому, когда уже будет необходимость.

Возможно, с предыдущим абзацем могут не согласиться остальные преподаватели, но я так считаю, исходя из опыта общения с участниками. Кто из участников читает, напишите в комментариях, что думаете по этому поводу.

А еще в процессе курса я вспомнила один смешной момент. Я в апреле ездила на курсы Сириуса, где преподавала математическое моделирование, и на семинаре я использовала R-пакет для генерации паттернов Тьюринга. И естественно, все пакеты отвалились при установке у половины участников и мне понадобилось вручную починить их, я в шутку заметила, что могла бы вести курсы по установке пакетов в R. Ну и так и случилось. Но, конечно, курсы по установке пакетов это уже чересчур, хотя я например считаю, что у нас в НГУ не хватает курса по R. Однако, это уже тема для отдельного обсуждения, с начальством)

В общем, курс от бластима я рекомендую, если есть вопросы, пишите

#feedback #recommendation #blastim

Подборка материалов по статистике: обновление

Я давно составляла и размещала на канале рекомендуемые источники по статистике, однако кое-что устарело, плюс нашла еще классные материалы, так что решила обновить.

Книги
1) Статистика и котики из старой подборки пусть остаются, книга критикуется где-то за излишние упрощения, но для старта все еще неплохо.

2) Медико-биологическая статистика Гланца пусть тоже остается, хотя я сама недолюбливаю эту книгу, по крайней мере перевод на русский язык. В нем много небольших неточностей, например достоверность вместо статистической значимости, плюс переведено только старое издание, в котором нет упоминаний поправок на множественное тестирование FDR. Однако во многих чатах его советуют, поэтому оставляю в подборке.

3) Статистика для всех (Statistics in a nutshell) Сары Бослаф неплохая книга, однако в переводе большинство терминов насильно переведены на русский (иногда довольно неудачно), и плохо, что не дано исходного термина на английском, поскольку гуглить придется все равно так. Читать рекомендую самое свежее издание, благо найти в интернете легко.

4) Анализ данных и статистика в R Ивана Позднякова, что хорошо, автор постоянно обновляет часть по R (особенно по tidyverse) и дополняет часть по статистике, например многомерные методы. Материалы вплоть до обобщенной линейной модели доступны, написано хорошо, в общем рекомендую.

5) Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R. В.К. Шитиков, Г.С. Розенберг. Остаются с предыдущей подборки.

Курсы

У меня в старой подборке есть однозначная рекомендация курсов Анатолия Карпова по статистике, однако после длительных дискуссий на тему качества этих курсов, я пересмотрела первую часть (Основы статистики).
Соглашусь, что действительно много неточностей как мелких, так и иногда довольно существенных в этом курсе. Следовательно, сейчас я не могу рекомендовать его, поскольку вышло много бесплатных и более качественных материалов (однако для 2013го года это был хороший продукт, так как русскоязычных курсов по статистике практически не было). Возможно, я сделаю более подробный разбор неточностей, которые я собрала, но пока не классифицировала и не оформила в пост.

Следовательно, рекомендую:
1) Курсы Марины Варфоломеевой: Линейные модели, дисперсионный и регрессионный анализ с использованием R, с еще несколькими курсами можно ознакомиться здесь. Наткнулась на материалы практически случайно, увидела что в других чатах тоже рекомендуют, сама кое-какие идеи оттуда брала для своих лекций (конечно с ссылкой на источник). Очень качественно и подробно разобрано практически все, с чем можно столкнуться в статистике, супер круто, что такие материалы есть в открытом доступе.

2) Курс Data Analysis with R Specialization на курсере, я сама не проходила, но много где советовали, программа очень солидная.

3) Платные курсы от Института биоинформатики и бластима. Ссылки кидать не буду, но они легко гуглятся, если кто-то не найдет, пишите в личку или в комменты. На бластиме я преподавала, как многие тут уже знают, могу ручаться за качество лекций и поддержки ассистентов. Курсы или точнее программы повышения квалификации от института биоинформатики тоже однозначно рекомендую, много общалась с людьми оттуда, делают очень качественный продукт.

Ютуб-каналы

1) StatQuest - отличный канал с короткими, но очень четкими разборами конкретных тем по статистике. У автора забавный стиль изложения, с приколами и всякими фразочками, сам он биоинформатик (а по первому образованию музыкант).
2) TileStats - пожалуй еще лучше чем первый канал (хоть и малоизвестный). Тоже формат коротких видео, где наглядно показывается применение формул, как это выглядит на графике и что означает. Абсолютно незаменим для подготовки собственных лекций, очень удачные идеи по визуализации сложных концептов. Стиль изложения более строгий, без забавных фразочек, но все равно максимально понятно.

Если что-то забыла из хороших материалов, пишите комментарии, буду стараться держать подборку лучших книг и курсов всегда обновленной!

#recommendation