Добрый вечер! Напоминаю, что мы с вами встречаемся завтра вечером, чтобы обсудить, как и зачем документировать исследовательские проекты. Кроме уже обещанной презентации Алёны Беглер, у нас будет ещё одна: своим опытом с нами поделится Алёна Конина. Если вдруг захочет то же самое сделать кто-то ещё - напишите мне в личку. До встречи! Женя

Всем привет!

На последней встрече обсуждали, как и зачем вести документацию исследовательского проекта. Через некоторое время мы выложим запись встречи, а также презентацию Алены Беглер и материалы от Алены Кониной и Маши Ермоловой - там очень много еще всего полезного. А пока делимся общими моментами и советами:

🕗 Отведите достаточное время в начале проекта на то, чтобы продумать систему хранения данных, документации и прочего - она сама по себе не возникнет, а делать ее в середине или конце проекта очень сложно.
📅 Выделите регулярный интервал, во время которого вы или кто-то другой из команды занимается поддержанием вашей системы документации. Если вам очень повезло, то у вас в команде на это есть выделенный человек (лаб-менеджер, координатор проекта).
📵 Не стоит хранить информацию в переписке любого вида (почта, чаты, каналы в слэке и т.д.) - ее нужно переносить в документацию. (тут возможны исключения: команда Сергея Шишкина успешно хранит информацию в каналах MS Teams).
🍻 Чтобы был шанс на то, чтобы члены команды использовали систему, которую вы заводите на проекте, обсудите ее с ними. Лучше неоптимальный совместно выбранный вариант, чем супер-правильный, но навязанный начальником/менеджером.
🖊 Еще более ненадежное место хранения - головы сотрудников. Поэтому очень полезно сохранять заметки по результатам всех встреч: что обсуждали, к каким решениям пришли, на каком дизайне эксперимента остановились и т.д.
🖥 Нужно по максимуму хранить все в одном месте (обзоры, данные, статьи, постеры и т.д.).
🧶 Почти наверняка выполнить предыдущий пункт не получится: скорее всего информация все равно окажется разбросанной между разными сервисами. Это ок, с этим надо смириться, но обязательно нужно иметь общий хаб, который все это свяжет: проект на OSF, папка в гугл-драйве, да хоть просто гугл-док, в котором есть ссылки на все остальное.

Женя

https://www.universiteitleiden.nl/open-science-community-leiden/events/oscoffee-2021-april-15-theory-models Завтра в 15:00 по Московскому времени Eiko Fried будет рассказывать про формализацию психологических предположений и теорий. Уклон, я предполагаю, будет в сторону моделей психического здоровья и расстройств, но принципы распространяются и на другие области. "In the OSCoffee on April 15th 2pm, we will discuss what theories and what models are; how they relate to each other; what the toolkit of formalization may offer; and how these discussions can be situated in the context of open science."

Если будет время, то можно чуть подготовиться, прочитав его недавнюю статью про нехватку построения теоретической базы: https://www.tandfonline.com/doi/full/10.1080/1047840X.2020.1853461. Если будет очень много времени или если нет планов на выходные, то можно еще прочитать 5642 комментария (на самом деле "всего" семь) на эту статью: https://twitter.com/EikoFried/status/1289181554737065985. Ну, и вишенкой на торте может стать ответ Eiko Fried на все эти комментарии: https://psyarxiv.com/dt6ev

Женя

Всем доброго субботнего утра!
Тем временем мы ищем спикеров для следующей встречи. Тема: “Подготовка и публикация данных в открытом доступе”.

Если у вас или у ваших друзей был опыт в:
- размещении информации о проекте для общего пользования (OSF или другое хранилище/сервис: как оформить метаданные, выбор лицензии),
- публикации данных в открытом доступе (где можно разместить датасет с результатами эксперимента - поведенческие и нейроимаджинговые данные, как правильно размещать информацию об испытуемых, что такое BIDS),
- размещении кода (gitlab, github) в открытый доступ,

и вы могли бы рассказать об этом (или схожем и полезном) в любой форме (5-15 минут) - пишите мне (@npolt, настя).
Интересно будет все - от ошибок до чек-листов, от мучений до готовых решений. Ждем ваших писем!

P. S. Напоминаем, что посты можно комментировать/обсуждать в чате.

настя

Всем доброго субботнего дня!
В следующий раз встречаемся 14 мая в 19:30. Своим опытом публикации данных в открытом доступе поделятся несколько спикеров.

Обсудим:

- как разместить проект на osf - The Open Science Framework (расскажет Алена Беглер, аспирант Высшей школы менеджмента СПбГУ - с Аленой мы уже знакомы по нашей прошлой встрече)
- как можно попытаться внедрить гитхаб в ваш воркфлоу (Гарик Мороз, младший научный сотрудник международной лаборатории языковой конвергенции расскажет, какие задачи решала его команды, что получилось и что нет, перспективы)
- организацию хранения данных нейровизуализации (МРТ, ЭЭГ, МЭГ) в формате BIDS - Brain Imaging Data Structure (расскажет Андрей Фабер, исследователь Лаборатории нейробиологических основ когнитивного развития ВШЭ)

До встречи в пятницу 14 мая!

настя

Join Zoom Meeting
https://zoom.us/j/91912787269?pwd=UkJBRTROVzg5VGFoc3R1OVI1aStVZz09

Meeting ID: 919 1278 7269
Passcode: 168381

Привет!

Напоминаем, что завтра 14 мая в 19:30 будем обсуждать довольно широкую и разнородную тему – хранение экспериментальных данных в открытом доступе и организацию командной работы с этими данными.

- Алена Беглер, аспирантка Высшей школы менеджмента СПбГУ, коротко расскажет про работу с OSF (Open Science Framework) –  открытый репозиторий для работы над научными проектами (10 минут).
- Гарик Мороз, младший научный сотрудник международной лаборатории языковой конвергенции, расскажет о своем опыте внедрения GitHub в работу лаборатории: что получилось, что нет, и какие перспективы работы с GitHub сейчас (20-30 минут)
- Андрей Фабер, исследователь Лаборатории нейробиологических основ когнитивного развития ВШЭ, расскажет, как привести нейровизуализационные и поведенческие данные к стандарту BIDS (Brain Imaging Data Structure) и перестать путаться в хранилище данных (30-40 минут).

Join Zoom Meeting
https://zoom.us/j/91912787269?pwd=UkJBRTROVzg5VGFoc3R1OVI1aStVZz09

Meeting ID: 919 1278 7269
Passcode: 168381

До встречи!

Привет!

В прошлую пятницу мы обсуждали выкладывание файлов по проекту на OSF (Open Science Framework), эксперимент по внедрению GitHub в работу лаборатории и стандарт BIDS (Brain Imaging Data Structure) для упрощения работы с нейроимаджинговыми данными.

Публикуем серию постов, о чем говорили, и что можно почитать по этим темам?

Первая часть от Алены Беглер про OSF, запись здесь, презентация Алены с "Когнитивного хакатона" по этой же теме здесь:

- Гайд по тому, как выкладывать данные по проекту в открытый доступ из блога Алены https://systematizeit.blogspot.com/2019/02/open-data-sharing.html

- Принципы открытых данных FAIR: Findability, Accessibility, Interoperability, Reusability. Подробно про них можно прочитать в оригинальной статье https://www.nature.com/articles/sdata201618, Алена рассказала, что при выкладывании данных у них получилось соблюсти 3 принципа из 4.

- Лицензии на использование материалов и зачем они могут быть нужны. Например, можно сразу указать, как вас цитировать, если кто-то использовал материалы из вашего репозитория (самая популярная лицензия – Creative Commons, но есть и другие)

- Алена с коллегами разрабатывают схему описания когнитивных данных при выкладывании их в открытый доступ, ждите новостей)

Вторая часть от Гарика Мороза про GitHub, запись здесь:

- Кейс про внедрение GitHub в работу целой лаборатории – на каждый проект выделяется репозиторий в рамках одной организации. Ключевой вывод – сделать так, чтобы все рабочие группы действительно вели проекты на гитхабе, очень сложно (вероятно, невозможно), но это все равно имеет смысл, так как появляется культура выкладывания материалов в открытый доступ. Например, в лаборатории Гарика появились репозитории с supplementary materials к статьям.

- Организация работы на гитхабе похожа на менеджмент научного проекта в целом – то, о чем говорил Алена в прошлый раз (ссылка). Похоже, что здесь справедливы те же принципы: в идеале, нужен отдельно выделенный человек, кто будет этим заниматься, кто мог бы обсудить со всеми участниками преимущества такой системы и удобные способы ее соблюдения и регулярно с каким-то интервалом обновлять проекты.

- Репозитории на гитхаб могут так же, как и OSF, иметь DOI – это настраивается с помощью сервиса Zenodo https://guides.github.com/activities/citable-code/

Третья часть про BIDS от Андрея Фабера, запись здесь, презентация здесь:

- BIDS – стандарт организации данных, созданный специально, чтобы навести порядок в папках, и искать нужные файлы было легко. Изначально создавался под MRI-данные, адаптировался под M/EEG-данные и сейчас адаптируется даже просто под поведенческие.

- Статья A. Poldrack про BIDS для MRI, одного из авторов формата https://www.nature.com/articles/sdata201644

- Существуют программы, которые автоматически приводят папку с нейроимджинговыми данными к стандарту BIDS! (шок-контент)

- Подробный сайт про BIDS https://bids.neuroimaging.io/, полезный ютуб-канал https://www.youtube.com/c/AndrewJahn/playlists
(По опыту Андрея, можно разобраться и привести свои данные к формату за месяц.)

Если вам было полезно, ставьте лайки, подписывайтесь на канал :)

До новых встреч!
Лена

🔥 Новости от Сергея Шишкина:

"Московский МЭГ-центр наконец организует вебинар по известному здесь многим проекту #EEGManyLabs: Investigating the replicability of influential EEG experiments!

Он пройдет в зуме через понедельник, 31 мая, 16:00 CET / 17:00 по московскому времени. О проекте расскажет его ведущий координатор Юрий Павлов.

Подробности и регистрация: http://megmoscow.com/news/Pavlov.php"

Коллеги, напоминаю, уже в ближайший понедельник, 31 мая, 17:00 по московскому времени (16:00 CET) в рамках серии вебинаров МЭГ-центра МГППУ пройдет вебинар про международный мультицентровый проект, посвященный репликации знаменитых ЭЭГ-экспериментов (на англ. яз.). О проекте расскажет его ведущий координатор и один из организаторов Юрий Павлов.

#EEGManyLabs: Investigating the Replicability of Influential EEG Experiments

Yuri Pavlov (Tubingen University)

In this talk, I will give an overview of #EEGManyLabs project. The project is a large-scale collaborative effort spanning multiple research institutions and many researchers. #EEGManyLabs promises to yield high-fidelity replication attempts of twenty influential EEG studies. Each experiment will be replicated in several labs to collect a large sample of data for each study allowing the assessment of replicability through internal meta-analyses. We expect this project will help to push the field towards higher replicability standards and facilitating an open science culture of high powered, large-scale multi-site collaborations.

Position paper of the project: Y.G. Pavlov et al. (2021) #EEGManyLabs: Investigating the replicability of influential EEG experiments. Cortex (in press) https://doi.org/10.1016/j.cortex.2021.03.013 (open access)
---

Тема, мне кажется, должна быть многим интересна, так как по сути речь не только об ЭЭГ, но и о том, что такое надежное научное знание в изучении мозга человека. После доклада будет время на обсуждение этой темы и других вопросов, которые, надеюсь, возникнут по ходу выступления.

Регистрация для участия в вебинаре: http://megmoscow.com/news/Pavlov.php

Репост очень приветствуется!

Всем привет! Последнюю встречу в этом учебном году проведем в районе 17 июня. Хотим обменяться советам по тому, как лучше писать код.

Предполагаю, что большинство из нас осваивали программирование по мере необходимости и несистематично. Если и были какие-то университетские курсы, то они покрывали самую базу, а советы по "правильному"* написанию кода сводились к "пишите больше комментариев". Тем менее мы все как-то худо-бедно программируем и потихоньку обрастаем в том числе и правильными привычками, которыми стоит поделиться с коллегами. На следующей встрече займемся именно этим.

Если вы готовы поделиться на встрече советами по тому, как правильно писать код, которые работают лично для вас (даже если вы не уверены, что делаете что-то прям правильно-правильно), в абсолютно любом формате - напишите, пожалуйста, мне (@ekalenkovich). Можете на словах, можете расшарить экран и показать на каких-то примерах, можете пару слайдов сделать - как вам удобней. Если вдруг предыдущий абзац вообще не про вас, и вас как раз учили, как все делать правильно, то тоже поделитесь накопленной мудростью с нами, пожалуйста.

* "правильно" покрывает в данном случае все, что вы считаете нужным: читаемость, понятность, эффективность, хранение версий, правильный способы запуска - все-все-все, что улучшает жизнь при работе с кодом

Женя

Всем привет!

В следующий раз встречаемся в следующую пятницу 18 июня в 19:30 в [зуме](https://zoom.us/j/91912787269?pwd=UkJBRTROVzg5VGFoc3R1OVI1aStVZz09). Будем делиться советами по написанию и менеджменту кода.


У нас будет три спикера:

Елена Чуклина (фармацевтическая компания Novartis) расскажет:
- почему никакое описание методов не перебьёт git (и, видимо, чем дальше, тем чаще использование git будет становиться нормой),
- про волшебные аббревиатуры FAIR*, GDSP и TRIPOD, и зачем они нужны, особенно в биомедицинских исследования.

Гарик Мороз (младший научный сотрудник международной лаборатории языковой конвергенции НИУ ВШЭ) расскажет на примере R:
- про комментарии, версии пакетов, названия переменных,
- про то, не стоит ли оформить код в виде пакета.

Иван Поздняков (старший преподаватель НИУ ВШЭ, аналитик данных в Медиател/Devoteam Russiа) расскажет нам о том, чего никогда не делают хорошие программисты.


По плану первый час будем слушать спикеров и задавать им вопросы, а потом продолжим в свободном режиме.

Это будет последняя наша встреча в этом учебном году, так что не пропустите!
До встречи!

* про Fair также можно послушать в выступлении Алены Беглер с предыдущего семинара: https://t.me/reproducibilitea_moscow/91

Привет!

Напоминаем, что завтра, 18 июня, мы встречаемся в 19:30, чтобы слушать и делиться советами по работе с кодом: написанию, ревью, воспроизвоодимости кода и организации работы в целом.

https://zoom.us/j/91912787269?pwd=UkJBRTROVzg5VGFoc3R1OVI1aStVZz09

Возможно, будет уклон в социальные и биологические науки, но, скорее всего, будем обсуждать и универсальные для всех вещи.

Приходите!

Привет!

Неделю назад мы обсуждали советы по написанию и менеджменту кода от Елены Чуклиной (senior data scientist, фармацевтическая компания Novartis), Гарика Мороза (младший научный сотрудник международной лаборатории языковой конвергенции НИУ ВШЭ) и Ивана Позднякова (старший преподаватель НИУ ВШЭ, аналитик данных в Медиател/Devoteam Russiа).

⚓️Ключевые моменты и полезные ссылки по результатам встречи:
- The Turing Way - сообщество, продвигающее открытые гайды по GDSP (Good Data Science Practices);
- Еще немного про хорошие практики (ссылка от Марии Ермоловой) Good Enough Practices for Scientific Computing;
- TRIPOD (Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis) - чеклист для фиксации методов до начала проведения исследования (особенно для биомедицинских данных);
- Все чаще данные должны соответствовать FAIR (findable, accessible, interoperable, reusable) принципам
давайте осмысленные названия переменным, заботьтесь о них, названиях файлов и папок, придерживайтесь единого стиля названий;
- Важно уметь писать “читаемый, лаконичный и простой код” (Иван Поздняков): проще использовать вторично, вероятность допустить ошибку меньше, проще понимать самому и другим;
- При планировании работы над кодом полезно сразу включать время на рефакторинг кода. Пропорция этого времени может быть разной в зависимости от текущей ситуации, но все сходятся во мнении, что это время стоит закладывать в любом случае: скорее всего, возвращаться к коду еще придется, а идеального времени, чтобы навести в нем порядок, не будет.

Лайфхаки по работе с R:
- Пакет в R для организации проекта: создании дерева папок, загрузки библиотек, хранения графиков;
- Для описания кода при создании репозитория (на гитхабе или просто папки с рабочими файлами) можно создавать файл README с описанием папок и файлов, можно создавать файл с описанием плана исследования и методов
- Лучше осмысленно комментировать код (так, чтобы впоследствии можно было воспроизвести код на другом языке программирования) и указывать версию R и всех пакетов - легче исправлять и показывать кому-нибудь (совет от Гарика Мороза). Информацию о версия можно получить по команде sessionInfo();
- В RStudio по хоткею Ctrl+R можно разделить код на блоки (sections), также отлично подойдет RMarkdown для создания необходимого описания;
- Часто используемый код имеет смысл оформить в функцию или даже пакет. Один из советов: если один и тот же код используется повторно, то его лучше преобразовать в функцию. Бывает, что это не один кусок кода, а несколько – тогда их имеет смысл выделить в пакет. Если разместить пакет в сообществе открытой науке rOpenSci, рецензенты сообщества дадут фидбек на него. Но написание пакетов тоже занимает время, особенно, в первый раз – choose wisely;
- Встречи по анализу данных в R по воскресеньям.

Спасибо, что были с нами в этом сезоне!

Открыта регистрация в проект EEGManyPipelines, в котором будут смотреть, насколько решения исследователей, принимаемые во время анализа ЭЭГ, влияют на результат. Кто работает с ЭЭГ - присоединяйтесь.

Dear Colleague,

The registration for the EEGManyPipelines project is now open until
October 3rd, 2021!

In this project, multiple independent teams will analyze the same data
set. Based on the applied pipelines, this project maps how different
pre-processing and analysis steps impact the results analysts’ get.

You can participate as an analyst in this project in teams of up to 3
people. Each team member has to register individually. The first member
to sign up will receive a team identifier that the other members can use
to join the same team. At least one team member must have at least one
publication featuring EEG data analysis in order to qualify for
participation. The analysis phase in which teams analyze the provided
data set will be from October 2021 till April 2022.

You will be asked to accept our terms of agreement and submit your
personal and demographic information as well as information about your
previous EEG data analysis experience. This process will take
approximately 5–10 minutes of your time.

You can now sign-up to participate as an analyst in this project via
https://www.eegmanypipelines.org/registration.php

For questions, please contact committee@eegmanypipelines.org.

Всем привет!

В следующую среду (6 октября в 19:30, онлайн) мы открываем новый сезон нашего клуба.
И начать предлагаем с обсуждения статьи “Easing Into Open Science: A Guide for Graduate Students and Their Advisors”, в которой авторы предлагают обсудить 8 практик открытой науки, которыми вы можете пользоваться уже сейчас.

Для более эффективного обсуждения просьба не забыть прочесть статью.
Для желающих видео и презентация обсуждения этой же статьи от наших коллег из Edinburgh ReproducibiliTea.

P.S. Ссылка на встречу будет опубликована позже в нашем канале.

До встречи!



настя

Напоминаю, что уже завтра в 19:30 встречаемся, чтобы обсудить статью "Easing Into Open Science". Приходите вот в этот гугл-мит: https://meet.google.com/ndr-gfin-rzy.

Frontiers объявили call for papers в выпуск "Reproducibility in Neuroscience" https://www.frontiersin.org/research-topics/26709/reproducibility-in-neuroscience

"We are inviting papers on both:
- "Results reproducibility", ie, obtain the same results from an independent study with procedures as closely matched to the original study as possible;
- "Inferential reproducibility", ie draw the same conclusions from either an independent replication, using different research methodologies, of a study or a reanalysis of the original data.
We will consider both confirmatory and negative results, the unique criteria will be the rigorousness, fairness, and soundness of the replication study."

Несколько иронично, что это именно Frontiers, но инициатива хорошая. Пишут, что даже готовы рассмотреть снижение и полный отказ от взятия fee за публикацию.

(Лена)