🔬 Новости науки за неделю
#Космос
🌌 В межзвёздном облаке впервые нашли молекулу сахара. Её заметили по радиосигналам: сложные вещества могут собираться ещё до рождения планет. Подробнее...
#ПоведениеЖивотных
🐜 Почему одни муравьи нянчат личинок в муравейнике дольше других. На это влияют возраст, голод и два вещества, которые действуют в мозге и меняют поведение. Подробнее...
#Образование
💡 Где детям проще получить хорошее образование, там появляется больше патентов. Авторы сравнили 225 регионов Европы и увидели устойчивую связь между образованием и патентами. Подробнее...
scid.ai
#Космос
🌌 В межзвёздном облаке впервые нашли молекулу сахара. Её заметили по радиосигналам: сложные вещества могут собираться ещё до рождения планет. Подробнее...
#ПоведениеЖивотных
🐜 Почему одни муравьи нянчат личинок в муравейнике дольше других. На это влияют возраст, голод и два вещества, которые действуют в мозге и меняют поведение. Подробнее...
#Образование
💡 Где детям проще получить хорошее образование, там появляется больше патентов. Авторы сравнили 225 регионов Европы и увидели устойчивую связь между образованием и патентами. Подробнее...
scid.ai
👍5🗿5🔥3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
🔬 Большое обновление scid.ai: весь ход исследования в одном приложении
ИИ ускоряет исследовательские итерации. Вместе с этим растет ценность пути от вопроса к доказательной базе и научным результатам. scid.ai сохраняет этот путь внутри одного проекта.
Что нового?
🖥 Рабочие зоны и вкладки
Источники, граф, чат и документ можно открывать в разных вкладках и располагать рядом. Например, слева оставить граф темы, справа — список статей, а затем переключить рабочую зону на чат или документ. Каждый этап остается в контексте одной задачи или проекта.
🕸 Интерактивная аналитика источников
Граф показывает связи между публикациями, темами, ключевыми словами, годами и организациями. Фильтры перестраивают граф; каждый узел можно открыть и проверить. Так видны центральные работы, смежные направления, динамика области и кластер исследований. Также теперь визуальзацию графа можно настроить под себя.
⭐️ Своя исследовательская база
Отдельные статьи или всю выдачу можно сохранить в избранное. Группы помогают собрать базу по теме, методу, гипотезе, проекту или будущему разделу обзора. Всю группу можно подключить к чату или обзору, передать коллеге по ссылке и выгрузить в BibTeX, RIS или CSV.
📂 Анализ своих материалов
В библиотеку можно загрузить PDF, Word, Excel и другие текстовые форматы. Один или несколько файлов можно добавить к источникам в чат, сравнить по методам, данным, результатам и ограничениям, а вывод оформить в таблицу со ссылками на файлы.
📝 Обзор литературы по плану без ограничений по объему текста
После отбора источников scid.ai формирует план обзора литературы. Его можно изменить до начала написания: добавить раздел, сменить акцент, уточнить вопрос или исключить нерелевантную ветку. После согласования план превращается в документ по разделам с возможностью публикации. Текст можно дорабатывать через чат, каждое сохранение фиксирует новую версию документа (git-подобная система).
Получается связный маршрут:
исследовательский вопрос → источники и файлы → анализ → план → документ → экспорт.
Сформируйте обзор по своему исследованию: ссылка
scid.ai
ИИ ускоряет исследовательские итерации. Вместе с этим растет ценность пути от вопроса к доказательной базе и научным результатам. scid.ai сохраняет этот путь внутри одного проекта.
Что нового?
🖥 Рабочие зоны и вкладки
Источники, граф, чат и документ можно открывать в разных вкладках и располагать рядом. Например, слева оставить граф темы, справа — список статей, а затем переключить рабочую зону на чат или документ. Каждый этап остается в контексте одной задачи или проекта.
🕸 Интерактивная аналитика источников
Граф показывает связи между публикациями, темами, ключевыми словами, годами и организациями. Фильтры перестраивают граф; каждый узел можно открыть и проверить. Так видны центральные работы, смежные направления, динамика области и кластер исследований. Также теперь визуальзацию графа можно настроить под себя.
⭐️ Своя исследовательская база
Отдельные статьи или всю выдачу можно сохранить в избранное. Группы помогают собрать базу по теме, методу, гипотезе, проекту или будущему разделу обзора. Всю группу можно подключить к чату или обзору, передать коллеге по ссылке и выгрузить в BibTeX, RIS или CSV.
📂 Анализ своих материалов
В библиотеку можно загрузить PDF, Word, Excel и другие текстовые форматы. Один или несколько файлов можно добавить к источникам в чат, сравнить по методам, данным, результатам и ограничениям, а вывод оформить в таблицу со ссылками на файлы.
📝 Обзор литературы по плану без ограничений по объему текста
После отбора источников scid.ai формирует план обзора литературы. Его можно изменить до начала написания: добавить раздел, сменить акцент, уточнить вопрос или исключить нерелевантную ветку. После согласования план превращается в документ по разделам с возможностью публикации. Текст можно дорабатывать через чат, каждое сохранение фиксирует новую версию документа (git-подобная система).
Получается связный маршрут:
исследовательский вопрос → источники и файлы → анализ → план → документ → экспорт.
Сформируйте обзор по своему исследованию: ссылка
scid.ai
🔥15👍7❤5👏2😁2
⭐️ Собрать рабочую базу источников по теме
Найденные публикации можно сохранять в избранное по одной или целой подборкой — с помощью кнопки «Все в избранное». Затем во вкладке «Группы» можно структурировать рабочую базу по материалам, методам или исследовательским вопросам, выбрав несколько публикаций из избранного.
• 🧪 по методу или материалу
• 💡 по гипотезе или исследовательскому вопросу
• 📁 по проекту, курсу или задаче команды
Рабочую базу можно пополнять новыми публикациями, менять состав групп и передавать подборку коллегам для совместной работы.
scid.ai
Найденные публикации можно сохранять в избранное по одной или целой подборкой — с помощью кнопки «Все в избранное». Затем во вкладке «Группы» можно структурировать рабочую базу по материалам, методам или исследовательским вопросам, выбрав несколько публикаций из избранного.
• 🧪 по методу или материалу
• 💡 по гипотезе или исследовательскому вопросу
• 📁 по проекту, курсу или задаче команды
Рабочую базу можно пополнять новыми публикациями, менять состав групп и передавать подборку коллегам для совместной работы.
scid.ai
👍10❤5🔥3🗿1
Докмед_мануал.pdf
3.3 MB
Спешим отчитаться по большой проделанной работе коллектива авторов: Бурлов Н.Н., Лобастов К.В., Макарова Д.Д., Марапов Д.И., Навасардян А.Р.
Доказательная медицина: навигатор по материалам тематических каналов.
◈ Это не просто подборка ссылок, а структурированный путеводитель по темам критического анализа научных публикаций и биостатистики. Каждая тема снабжена несколькими источниками с пометкой уровня: БАЗА (с чего начать), СРЕДНИЙ (практика и примеры) или УГЛУБЛЁННО (нюансы и частные случаи), так что навигатор одинаково полезен и новичку в ДМ, и опытному исследователю.
◈ Внутри Вы найдете 2 части и 20 разделов:
📌 Часть 1. Критический анализ научных публикаций: от иерархии доказательств и дизайна исследований до систематических ошибок, публикационного смещения, регистрации КИ и off-label назначений.
📌 Часть 2. Биостатистика: от описательной статистики до анализа выживаемости, множественных сравнений, эстимандов и обзора статистического ПО.
◈ В навигатор включена информация следующих каналов: ННАДМ (114 постов) Medstatistic (100 постов), EBM_base (47 постов), Lobastov's Library (14 постов), Journal Club · Base of EBM (12 постов) и ряда других каналов.
◈ Мануал живой и находится в процессе наполнения. Если у вас есть материалы, каналы или темы, которые стоит добавить, пишите под этим постом или в личном сообщении.
⚠️ Подписывайтесь на ресурсы экспертов:
Medstatistic
EBM_base
Lobastov's Library
Journal Club · Base of EBM
◈ Будем рады любой обратной связи.
ННАДМ |Medstatistic|EBM_base| Lobastov's Library | Journal Club · Base of EBM
👉 Подписаться на рассылку от ННАДМ по почте
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤13👍6🔥2🗿1
🧬 Метод из соседней науки может открыть новый путь к эксперименту
Похожая задача уже могла быть решена в другой области — на другом типе данных, под другим названием или для другого объекта. Полезно сначала найти такие работы и понять, можно ли перенести их подход.
• 🔬 область-источник и исходную задачу
• ⚙️ принцип работы
• 📊 требования к данным и оборудованию
Найденные публикации можно сохранить в рабочей подборке, сопоставить по методу и зафиксировать, какие условия переноса ещё нужно проверить.
scid.ai
Похожая задача уже могла быть решена в другой области — на другом типе данных, под другим названием или для другого объекта. Полезно сначала найти такие работы и понять, можно ли перенести их подход.
• 🔬 область-источник и исходную задачу
• ⚙️ принцип работы
• 📊 требования к данным и оборудованию
Найденные публикации можно сохранить в рабочей подборке, сопоставить по методу и зафиксировать, какие условия переноса ещё нужно проверить.
scid.ai
🔥12✍3👍3🗿1
📈 Определить, как меняется научная область
Сравнение двух периодов помогает увидеть, какие методы и типы данных выходят на первый план, где появляются новые исследовательские группы и какие темы из первых публикаций становятся устойчивыми направлениями.
scid.ai позволяет:
• 🧭 выбрать направление для дальнейшей работы через граф
• 🏢 найти растущие исследовательские группы и организации
• 🧪 увидеть смену методов и типов данных
Подборку работ можно сохранить для дальнейшего сравнения и построить по ним граф: так изменения в теме не теряются между поиском, заметками и подготовкой обзора.
scid.ai
Сравнение двух периодов помогает увидеть, какие методы и типы данных выходят на первый план, где появляются новые исследовательские группы и какие темы из первых публикаций становятся устойчивыми направлениями.
scid.ai позволяет:
• 🧭 выбрать направление для дальнейшей работы через граф
• 🏢 найти растущие исследовательские группы и организации
• 🧪 увидеть смену методов и типов данных
Подборку работ можно сохранить для дальнейшего сравнения и построить по ним граф: так изменения в теме не теряются между поиском, заметками и подготовкой обзора.
scid.ai
🔥9👍4👏2🗿1
🧩 Собрать доказательства по спорному вопросу
В сложной теме мало найти статьи «за» и «против». Важно понять, на каких данных и методах основаны выводы и где проходят границы их применимости.
• 🔎 scid.ai находит научные статьи по вопросу пользователя
• 🧩 из найденных работ выделяет утверждения, связанные с вопросом
• ✅ к каждому утверждению сопоставляет подтверждающие и противоречащие результаты
Так формируется проверяемая база доказательств: видно, на каких работах основан каждый вывод и что ещё требует проверки.
scid.ai
В сложной теме мало найти статьи «за» и «против». Важно понять, на каких данных и методах основаны выводы и где проходят границы их применимости.
• 🔎 scid.ai находит научные статьи по вопросу пользователя
• 🧩 из найденных работ выделяет утверждения, связанные с вопросом
• ✅ к каждому утверждению сопоставляет подтверждающие и противоречащие результаты
Так формируется проверяемая база доказательств: видно, на каких работах основан каждый вывод и что ещё требует проверки.
scid.ai
🔥13👍5❤3🗿1
📝 Согласовать план обзора литературы до его написания
Перед написанием обзора важно определить его структуру: какие вопросы раскрыть, в какой последовательности представить выводы и на какие источники опереться в каждом разделе.
В scid.ai достаточно задать исследовательский вопрос. Система найдёт релевантные публикации, выделит ключевые утверждения, свяжет их с конкретными источниками и поможет сформировать редактируемый план обзора.
Разделы можно добавлять, объединять, уточнять и менять местами. После согласования структуры обзор можно писать по частям, сохраняя связь каждого вывода с источниками.
План, утверждения, публикации и рабочие документы остаются внутри одного исследования. Их можно редактировать, а история изменений сохраняется.
scid.ai
Перед написанием обзора важно определить его структуру: какие вопросы раскрыть, в какой последовательности представить выводы и на какие источники опереться в каждом разделе.
В scid.ai достаточно задать исследовательский вопрос. Система найдёт релевантные публикации, выделит ключевые утверждения, свяжет их с конкретными источниками и поможет сформировать редактируемый план обзора.
Разделы можно добавлять, объединять, уточнять и менять местами. После согласования структуры обзор можно писать по частям, сохраняя связь каждого вывода с источниками.
План, утверждения, публикации и рабочие документы остаются внутри одного исследования. Их можно редактировать, а история изменений сохраняется.
scid.ai
👍13🔥4❤2
📄 Подготовить материал исследования
После поиска литературы приходится оформлять документ, переносить выводы, оформлять формулы и таблицы, восстанавливать ссылки на источники и готовить отдельные версии.
В scid.ai можно подготовить материал во вкладке «Документ». В тексте сразу доступны формулы, таблицы и ссылки на использованные источники. Так материалы сразу превращаются в связный документ, который можно проверить, дополнить и использовать дальше. А готовую версию можно экспортировать в Word, PDF или LaTeX.
Также из документа можно подготовить обзор и опубликовать его как отдельную индексируемую страницу — например, чтобы поделиться обзором с коллегами или дать ссылку на материал вместо пересылки файла.
scid.ai
После поиска литературы приходится оформлять документ, переносить выводы, оформлять формулы и таблицы, восстанавливать ссылки на источники и готовить отдельные версии.
В scid.ai можно подготовить материал во вкладке «Документ». В тексте сразу доступны формулы, таблицы и ссылки на использованные источники. Так материалы сразу превращаются в связный документ, который можно проверить, дополнить и использовать дальше. А готовую версию можно экспортировать в Word, PDF или LaTeX.
Также из документа можно подготовить обзор и опубликовать его как отдельную индексируемую страницу — например, чтобы поделиться обзором с коллегами или дать ссылку на материал вместо пересылки файла.
scid.ai
👍11🔥6❤4👏1
🧭 Как учёные пришли к сегодняшним выводам?
У научной темы есть своя история: менялись вопросы, появлялись новые методы, одни результаты подтверждались, другие требовали пересмотра.
В scid.ai можно собрать публикации разных лет и подготовить обзор развития темы:
🔬 Какие вопросы ставили исследователи.
⚙️ Как менялись методы и типы данных.
📊 Какие результаты подтвердили последующие работы.
⚠️ Где остались расхождения и ограничения.
Так проще понять, на чём основаны современные представления и какие вопросы ещё стоит проверить.
Источники, заметки и черновик обзора — в одном исследовании. Дополняйте текст и возвращайтесь к работам, на которых он основан.
У научной темы есть своя история: менялись вопросы, появлялись новые методы, одни результаты подтверждались, другие требовали пересмотра.
В scid.ai можно собрать публикации разных лет и подготовить обзор развития темы:
🔬 Какие вопросы ставили исследователи.
⚙️ Как менялись методы и типы данных.
📊 Какие результаты подтвердили последующие работы.
⚠️ Где остались расхождения и ограничения.
Так проще понять, на чём основаны современные представления и какие вопросы ещё стоит проверить.
Источники, заметки и черновик обзора — в одном исследовании. Дополняйте текст и возвращайтесь к работам, на которых он основан.
🔥8👍6❤4
Доброго дня! Хотим порекомендовать авторский блог академического письма Дины Красносельской. В нем наша коллега-преподаватель делится своими экспертными знаниями по теме написания научных статей.
Вы узнаете:
✍️Как быстро собрать и обработать источники литературы за час? Бесплатный интенсив
✍️ Как правильно структурировать каждый раздел статьи по IMRAD - ссылка
и чем может быть полезна модель CARs при написании раздела Введения - ссылка
✍️ Как корректно использовать ИИ в исследованиях? - ссылка
✍️ Лучшие ИИ инструменты для исследований - ссылка
✍️ Границы корректного использования ИИ в исследованиях. Где в статье следует указать на его использование? - ссылка
✍️ Вы опубликовали статью в журнале Scopus, а его исключили из базы… Что будет с индексацией статьи? - ссылка
✍️ В каких дружественных гуманитарных журналах Scopus/WoS сегодня публикуются российские исследователи?
• Право, Q3;
• Искусство и гуманитарные науки, Q4;
• Гуманитарные науки: лингвистика, Q2;
• Психология, социальные науки, история, Q1;
• Образование, педагогика, Q2.
На канале просто и понятно рассказывается о типах и структуре статей, академическом английском и многом другом.
Если Вам важно профессиональное развитие, присоединяйтесь по ссылке.
Вы узнаете:
✍️Как быстро собрать и обработать источники литературы за час? Бесплатный интенсив
✍️ Как правильно структурировать каждый раздел статьи по IMRAD - ссылка
и чем может быть полезна модель CARs при написании раздела Введения - ссылка
✍️ Как корректно использовать ИИ в исследованиях? - ссылка
✍️ Лучшие ИИ инструменты для исследований - ссылка
✍️ Границы корректного использования ИИ в исследованиях. Где в статье следует указать на его использование? - ссылка
✍️ Вы опубликовали статью в журнале Scopus, а его исключили из базы… Что будет с индексацией статьи? - ссылка
✍️ В каких дружественных гуманитарных журналах Scopus/WoS сегодня публикуются российские исследователи?
• Право, Q3;
• Искусство и гуманитарные науки, Q4;
• Гуманитарные науки: лингвистика, Q2;
• Психология, социальные науки, история, Q1;
• Образование, педагогика, Q2.
На канале просто и понятно рассказывается о типах и структуре статей, академическом английском и многом другом.
Если Вам важно профессиональное развитие, присоединяйтесь по ссылке.
🔥11❤7👍5
🔗 Поделиться исследованием вместе с его источниками
После подготовки материала им нужно поделиться с экспертами и коллегами. Отдельные файлы и версии в переписке усложняют обсуждение: не всегда понятно, какой документ читать, актуальна ли эта версия, что изменилось по сравнению с предыдущей и на каких источниках основаны выводы.
В scid.ai можно подготовить материал во вкладке «Обзор», а затем опубликовать его как отдельную индексируемую страницу.
Перед публикацией можно:
📝 уточнить разделы и формулировки;
📚 дополнить текст источниками;
📊 оформить таблицы и формулы;
🔎 проверить основания ключевых выводов.
Опубликованный материал получает ссылку, которой можно поделиться с коллегами. Например, отправить обзор литературы по теме исследования перед встречей, чтобы участники заранее ознакомились с аргументами и подготовили вопросы — пример
Рабочие источники и история исследования остаются в scid.ai.
scid.ai
После подготовки материала им нужно поделиться с экспертами и коллегами. Отдельные файлы и версии в переписке усложняют обсуждение: не всегда понятно, какой документ читать, актуальна ли эта версия, что изменилось по сравнению с предыдущей и на каких источниках основаны выводы.
В scid.ai можно подготовить материал во вкладке «Обзор», а затем опубликовать его как отдельную индексируемую страницу.
Перед публикацией можно:
📝 уточнить разделы и формулировки;
📚 дополнить текст источниками;
📊 оформить таблицы и формулы;
🔎 проверить основания ключевых выводов.
Опубликованный материал получает ссылку, которой можно поделиться с коллегами. Например, отправить обзор литературы по теме исследования перед встречей, чтобы участники заранее ознакомились с аргументами и подготовили вопросы — пример
Рабочие источники и история исследования остаются в scid.ai.
scid.ai
👍7❤6🔥3
🔎 Найти вопрос, на который исследования пока не дали ответа
Публикаций по теме может быть много, а данных для конкретного решения — недостаточно. Например, метод проверяли только на одной группе объектов, в лабораторных условиях или на коротком промежутке времени.
В scid.ai можно собрать литературу по своему вопросу и сопоставить, что уже изучено, какие результаты получены и где авторы отмечают ограничения.
При анализе полезно выяснить:
📚 какие вопросы и объекты уже исследованы;
🧪 в каких условиях проверялись методы;
📊 каких данных не хватает для сравнения;
⚠️ какие выводы требуют независимой проверки.
Так можно сформулировать исследовательский пробел и связать его с конкретными работами. Отсутствие статьи в одной подборке само по себе ещё не доказывает, что вопрос никто не изучал.
Источники и заметки о пробелах можно сохранить и использовать при подготовке гипотезы, обзора или плана следующего исследования.
scid.ai
Публикаций по теме может быть много, а данных для конкретного решения — недостаточно. Например, метод проверяли только на одной группе объектов, в лабораторных условиях или на коротком промежутке времени.
В scid.ai можно собрать литературу по своему вопросу и сопоставить, что уже изучено, какие результаты получены и где авторы отмечают ограничения.
При анализе полезно выяснить:
📚 какие вопросы и объекты уже исследованы;
🧪 в каких условиях проверялись методы;
📊 каких данных не хватает для сравнения;
⚠️ какие выводы требуют независимой проверки.
Так можно сформулировать исследовательский пробел и связать его с конкретными работами. Отсутствие статьи в одной подборке само по себе ещё не доказывает, что вопрос никто не изучал.
Источники и заметки о пробелах можно сохранить и использовать при подготовке гипотезы, обзора или плана следующего исследования.
scid.ai
🔥6👍5❤2
🚀 Редактор вместо Word, презентации и глубокие исследования
Обновили scid.ai: теперь можно готовить и дорабатывать любые материалы — от аналитической справки по теме исследования до статьи с иллюстрациями и презентации для выступления.
Что появилось:
✏️ Режим редактирования рукописи. Правьте текст прямо в scid.ai — больше не нужно переносить черновик в Word.
🎨 Генерация изображений в рукописи. Создавайте иллюстрации в разных форматах под свой материал.
🖼️ Презентации с иллюстрациями в разных стилях. Готовый результат доступен в редактируемом формате — его можно доработать перед выступлением.
🔎 Глубокие исследования в формате справки. Разбирайтесь в вопросе по источникам из интернета и получайте материал с обоснованными выводами.
🤝 Бонус за приглашение коллеги. Пригласите коллегу — каждый из вас получит 1 000 кредитов.
Доработайте текст, подготовьте презентацию и опубликуйте материалы на scid.ai. В следующих постах расскажем подробнее о каждой новой функции.
Обновили scid.ai: теперь можно готовить и дорабатывать любые материалы — от аналитической справки по теме исследования до статьи с иллюстрациями и презентации для выступления.
Что появилось:
✏️ Режим редактирования рукописи. Правьте текст прямо в scid.ai — больше не нужно переносить черновик в Word.
🎨 Генерация изображений в рукописи. Создавайте иллюстрации в разных форматах под свой материал.
🖼️ Презентации с иллюстрациями в разных стилях. Готовый результат доступен в редактируемом формате — его можно доработать перед выступлением.
🔎 Глубокие исследования в формате справки. Разбирайтесь в вопросе по источникам из интернета и получайте материал с обоснованными выводами.
🤝 Бонус за приглашение коллеги. Пригласите коллегу — каждый из вас получит 1 000 кредитов.
Доработайте текст, подготовьте презентацию и опубликуйте материалы на scid.ai. В следующих постах расскажем подробнее о каждой новой функции.
🔥10👍6❤4👏1
5 проверок данных перед анализом: что исследователю стоит позаимствовать у дата-инженера?
Дата-инженер (DE) по умолчанию не доверяет данным: источник изучают в начале работы с ним, а таблица попадает в отчёт только после тестов. У исследователя данные приходят от прибора, анкет, соавтора или репозитория, и многие проблемы качества повторяются. Пять проверок до детального анализа:
1. типы данных
2. количество строк
3. ключи и дубли
4. пропуски
5. допустимые значения и распределения
🔸 1. типы: данные прочитались так же, как лежат в источнике
Excel, pandas и R при чтении файла угадывают тип каждой колонки, и не всегда удачно. Известный случай из биоинформатики: Excel превращает название гена SEPT2 в дату 2-Sep. Ошибка встречалась так часто, что HGNC переименовал 27 генов человека, чтобы их названия не совпадали с датами.
Что делать:
• при чтении указывайте типы: dtype в pandas, col_types в readr
• ID и коды читайте как строки, иначе пропадут ведущие нули (007 → 7)
• проверьте десятичный разделитель и формат дат: 03.04 это 3 апреля или 4 марта?
🔸 2. объём: сколько строк пришло и сколько осталось
В пайплайнах считают количество строк на входе и выходе каждого шага и сверяют с источником. Так, из-за лимита в 65 536 строк в старом формате .xls часть тестов на COVID однажды молча отрезалась при выгрузке, и тысячи случаев не передали контактным трекерам вовремя.
Что делать:
• выпишите из протокола, сколько должно быть участников, образцов, измерений
• сверяйте это число после загрузки, каждого фильтра и каждого merge
• записывайте, сколько строк отброшено на каждом шаге и почему
🔸 3. ключи: одна строка, один участник
Перед работой с таблицей стоит понять её гранулярность: что описывает одна строка, участника, визит или замер. От этого зависит ключ уникальности строки и то, как таблицы соединяются между собой.
DE после каждого джоина проверяют количество строк и заполненность по ключевым полям, иначе можно наплодить дублей: у части людей несколько замеров, строк после соединения станет больше, чем участников, и расчёт по участникам даёт больший вес тем, у кого замеров больше.
Что делать:
• проверьте до merge, что ID уникален в каждой таблице
• укажите ожидаемую связь прямо в merge: validate="one_to_one" в pandas, relationship = "one-to-one" в dplyr
• ищите и полные, и неполные дубли, где совпадает только ключ
🔸 4. пропуски: NA бывает в десятке обличий
Классика у DE: select distinct по новому полю показывает '123', '456', 'None', '789'. Числа хранятся как текст, а вместо null строка None. В исследовательских данных вариантов больше: пустая строка, n/a, дефис, #N/A из Excel и коды-заглушки вроде 99 или -999.
Текстовые заглушки обычно ломают расчёт сразу. Числовые опаснее: 999 в шкале от 0 до 100 спокойно участвует в среднем и в регрессии, и даже указанный в описании датасета код пропуска большинство пропускает.
Что делать:
• замените все коды пропусков на NA до любых расчётов
• посчитайте долю пропусков по каждой колонке и отдельно по группам
• найдите колонки, заполненные только пропусками
🔸 5. значения и распределения: проверка здравого смысла
Финальный шаг в DE, sanity check: посчитать основные агрегаты и убедиться, что данные похожи на реальные. Пример: в исследовании о честности на данных страховой компании, где клиенты сами сообщали пробег автомобиля, пробег оказался распределён почти равномерно, без единого значения выше 50 000 миль. Данные признали сфабрикованными, статью отозвали.
Что делать:
• сравните min и max с физически возможными значениями: возраст, проценты, концентрации, даты из далёкого будущего или прошлого
• постройте гистограмму каждой ключевой переменной
• схлопывайте в одно значение одинаковые по смыслу категории: Male, male и M в male
• после перекодировки постройте кросс-таблицу старой и новой переменной
Все эти проверки можно оформить кодом: в Python есть pandera и pointblank, в R пакеты validate и pointblank.
Больше про инжиниринг данных в канале @rzv_de
Дата-инженер (DE) по умолчанию не доверяет данным: источник изучают в начале работы с ним, а таблица попадает в отчёт только после тестов. У исследователя данные приходят от прибора, анкет, соавтора или репозитория, и многие проблемы качества повторяются. Пять проверок до детального анализа:
1. типы данных
2. количество строк
3. ключи и дубли
4. пропуски
5. допустимые значения и распределения
🔸 1. типы: данные прочитались так же, как лежат в источнике
Excel, pandas и R при чтении файла угадывают тип каждой колонки, и не всегда удачно. Известный случай из биоинформатики: Excel превращает название гена SEPT2 в дату 2-Sep. Ошибка встречалась так часто, что HGNC переименовал 27 генов человека, чтобы их названия не совпадали с датами.
Что делать:
• при чтении указывайте типы: dtype в pandas, col_types в readr
• ID и коды читайте как строки, иначе пропадут ведущие нули (007 → 7)
• проверьте десятичный разделитель и формат дат: 03.04 это 3 апреля или 4 марта?
🔸 2. объём: сколько строк пришло и сколько осталось
В пайплайнах считают количество строк на входе и выходе каждого шага и сверяют с источником. Так, из-за лимита в 65 536 строк в старом формате .xls часть тестов на COVID однажды молча отрезалась при выгрузке, и тысячи случаев не передали контактным трекерам вовремя.
Что делать:
• выпишите из протокола, сколько должно быть участников, образцов, измерений
• сверяйте это число после загрузки, каждого фильтра и каждого merge
• записывайте, сколько строк отброшено на каждом шаге и почему
🔸 3. ключи: одна строка, один участник
Перед работой с таблицей стоит понять её гранулярность: что описывает одна строка, участника, визит или замер. От этого зависит ключ уникальности строки и то, как таблицы соединяются между собой.
DE после каждого джоина проверяют количество строк и заполненность по ключевым полям, иначе можно наплодить дублей: у части людей несколько замеров, строк после соединения станет больше, чем участников, и расчёт по участникам даёт больший вес тем, у кого замеров больше.
Что делать:
• проверьте до merge, что ID уникален в каждой таблице
• укажите ожидаемую связь прямо в merge: validate="one_to_one" в pandas, relationship = "one-to-one" в dplyr
• ищите и полные, и неполные дубли, где совпадает только ключ
🔸 4. пропуски: NA бывает в десятке обличий
Классика у DE: select distinct по новому полю показывает '123', '456', 'None', '789'. Числа хранятся как текст, а вместо null строка None. В исследовательских данных вариантов больше: пустая строка, n/a, дефис, #N/A из Excel и коды-заглушки вроде 99 или -999.
Текстовые заглушки обычно ломают расчёт сразу. Числовые опаснее: 999 в шкале от 0 до 100 спокойно участвует в среднем и в регрессии, и даже указанный в описании датасета код пропуска большинство пропускает.
Что делать:
• замените все коды пропусков на NA до любых расчётов
• посчитайте долю пропусков по каждой колонке и отдельно по группам
• найдите колонки, заполненные только пропусками
🔸 5. значения и распределения: проверка здравого смысла
Финальный шаг в DE, sanity check: посчитать основные агрегаты и убедиться, что данные похожи на реальные. Пример: в исследовании о честности на данных страховой компании, где клиенты сами сообщали пробег автомобиля, пробег оказался распределён почти равномерно, без единого значения выше 50 000 миль. Данные признали сфабрикованными, статью отозвали.
Что делать:
• сравните min и max с физически возможными значениями: возраст, проценты, концентрации, даты из далёкого будущего или прошлого
• постройте гистограмму каждой ключевой переменной
• схлопывайте в одно значение одинаковые по смыслу категории: Male, male и M в male
• после перекодировки постройте кросс-таблицу старой и новой переменной
Все эти проверки можно оформить кодом: в Python есть pandera и pointblank, в R пакеты validate и pointblank.
Больше про инжиниринг данных в канале @rzv_de
❤9👍6✍2
🆕 От исследования — к рукописи с картинками и презентации
В обновлённом scid.ai можно не только разобраться в теме, но и подготовить материал для работы и выступления.
Что доступно:
✏️ Редактор рукописи: меняйте текст, оформляйте абзацы, добавляйте таблицы и формулы прямо в документе.
🧩 ИИ-правка выделенного фрагмента: опишите, что нужно изменить в конкретном месте.
🎨 Изображения в рукописи: создавайте иллюстрации в разных форматах, меняйте их расположение и перегенерируйте при необходимости.
📚 Настройка списка литературы: выбирайте стиль и порядок записей.
🖼 Презентации с картинками в разных стилях: создавайте слайды из обзора и скачивайте редактируемый PPTX.
🔎 Справки с глубоким исследованием по интернет-источникам.
Подготовьте содержание, внесите правки и переходите к слайдам в том же исследовании.
scid.ai
В обновлённом scid.ai можно не только разобраться в теме, но и подготовить материал для работы и выступления.
Что доступно:
✏️ Редактор рукописи: меняйте текст, оформляйте абзацы, добавляйте таблицы и формулы прямо в документе.
🧩 ИИ-правка выделенного фрагмента: опишите, что нужно изменить в конкретном месте.
🎨 Изображения в рукописи: создавайте иллюстрации в разных форматах, меняйте их расположение и перегенерируйте при необходимости.
📚 Настройка списка литературы: выбирайте стиль и порядок записей.
🖼 Презентации с картинками в разных стилях: создавайте слайды из обзора и скачивайте редактируемый PPTX.
🔎 Справки с глубоким исследованием по интернет-источникам.
Подготовьте содержание, внесите правки и переходите к слайдам в том же исследовании.
scid.ai
🔥11❤5👍4
🎨 Создать иллюстрацию по смыслу фрагмента
В обзоре описан объект или процесс, который читателю легче понять с изображением. В scid.ai иллюстрацию можно создать прямо при работе над рукописью.
Откройте scid.ai и выберите режим «Редактор». Вставьте свой текст,или проведите исследование с нуля. В редакторе выделите абзац и нажмите кнопку «ИИ-иллюстрация».
Перед генерацией сформулируйте:
🎯 какую мысль должна объяснять картинка;
🔎 какие объекты и детали нужно показать;
🎨 какой стиль подходит материалу;
🖼 какой формат нужен для размещения в тексте.
Так можно проиллюстрировать блок-схему, превратить таблицу в диаграмму, показать реалистичные объекты исследования.
scid.ai
В обзоре описан объект или процесс, который читателю легче понять с изображением. В scid.ai иллюстрацию можно создать прямо при работе над рукописью.
Откройте scid.ai и выберите режим «Редактор». Вставьте свой текст,или проведите исследование с нуля. В редакторе выделите абзац и нажмите кнопку «ИИ-иллюстрация».
Перед генерацией сформулируйте:
🎯 какую мысль должна объяснять картинка;
🔎 какие объекты и детали нужно показать;
🎨 какой стиль подходит материалу;
🖼 какой формат нужен для размещения в тексте.
Так можно проиллюстрировать блок-схему, превратить таблицу в диаграмму, показать реалистичные объекты исследования.
scid.ai
🔥12👍5❤4
🧩 Переписать один абзац с помощью ИИ
Мысль верная, но абзац слишком длинный? Задайте ИИ правку именно для этого фрагмента.
Откройте scid.ai и выберите режим «Редактор». Вставьте текст или проведите исследование с нуля.
1️⃣ Выделите фрагмент текста.
2️⃣ Нажмите «Правка (ИИ)».
3️⃣ В поле «Как изменить?» напишите, что нужно исправить.
4️⃣ Нажмите «Сгенерировать» и проверьте результат.
Например: «Сделай короче и в научном стиле, сохрани смысл и ссылки».
Так можно доработать аннотацию, описание метода или вывод. После правки сверьте формулировку с исходным текстом и сохраните изменения.
scid.ai
Мысль верная, но абзац слишком длинный? Задайте ИИ правку именно для этого фрагмента.
Откройте scid.ai и выберите режим «Редактор». Вставьте текст или проведите исследование с нуля.
1️⃣ Выделите фрагмент текста.
2️⃣ Нажмите «Правка (ИИ)».
3️⃣ В поле «Как изменить?» напишите, что нужно исправить.
4️⃣ Нажмите «Сгенерировать» и проверьте результат.
Например: «Сделай короче и в научном стиле, сохрани смысл и ссылки».
Так можно доработать аннотацию, описание метода или вывод. После правки сверьте формулировку с исходным текстом и сохраните изменения.
scid.ai
👍11❤4🔥4