Привет!

Мы - мастерская анализа текстовых данных, также известная как ТекстАн, и мы рады сообщить, что в 2025 году мы проводимся с 2 по 17 июля в рамках Летней школы. Вне зависимости от того, были ли вы на ЛШ уже или нет, у вас могут быть вопросы по поводу того, что из себя представляет именно наша мастерская, поэтому вот ответы на самые, возможно, частотные вопросы.

Кто мы и откуда?
Люди, делающие эту мастерскую, в основном либо из НИУ ВШЭ в Москве, либо из Европейского университета в Питере. Мы уже проводили такую мастерскую и ранее, и в этом году программа будет схожей, но, конечно же, с некоторыми изменениями относительно прошлых лет. Сама Летняя школа существует уже намного больше и рассказывать про неё намного сложней, поэтому почитать про неё можно здесь.

Как проходит мастерская?
Главный вопрос даже не "как", а "где". В лесу. Онлайн-версии не планируется. Летняя школа проводится на турбазе в Тверской области: жить планируется в палатках, а учиться - в деревянных домиках. Интернет есть, но с перебоями. Душ по расписанию, еда из общего кана, проверки МЧС за счёт заведения.

Когда примерно будет проходить мастерская?
Программа будет проходить с 2 по 17 июля, где второго будет въезд, а семнадцатого - выезд. Программа рассчитана на две недели (дальше в лесу уже становится трудновато жить без чистой одежды)

Какая примерно программа?
В целом тематика будет вращаться вокруг автоматической обработки естественного языка: языковые модели, визуализация, анализ тональности и извлечение именованных сущностей, и, конечно же, старые добрые машобуч с нейросетями (без этого сложно понять, как работают наши инструменты). Более подробную программу мы покажем позже.

Сколько это стоит?
Должны предупредить - это не совсем бесплатно. Летняя школа живёт на добровольные пожертвования участников, и минимальная рекомендуемая сумма пожертвований - 800 рублей в день. Получается около 12000 за все две недели. Как по мне, стоит того.

Как проходит отбор?
Отбор у нас проходит в два этапа: текстовое задание и беседа-созвон. Первое - чтобы определить, насколько вы хорошо подкованы с точки зрения знаний, второе - чтобы определить, насколько вам подходят условия жизни в палатке, работы в команде, учёбы в лесу и ежей в шитояме.

Надо ли что-нибудь подготовить?
На нашу мастерскую мы берём со знанием Питона и интересом к компьютерной лингвистике (возможно, с базовыми знаниями оной). Обычно этого вполне хватает. Гуглить, кстати, во время решения задач мы не запрещаем, но ради бога, не списывайте.

Что по дедлайнам?
Отбор вот-вот начнётся (по планам должен на этой неделе). Отборочного задания пока нет, но заявки можно подавать и без этого. Как только задание будет выложено, мы обязательно дадим вам знать. Четких дат пока нет, но обычно отбор длится до конца мая, потом около недели мы проверяем задания и устанавливаем количество прошедших первый этап, а затем неделю проводим интервью и определяем финальный состав участников к началу-середине июня. К сожалению, поскольку проект волонтёрский, от форс-мажоров и задержек по срокам мы не застрахованы, но если что случится, будем обязательно предупреждать.

А по коммуникации?
У нас есть сайт, но основным способом коммуникации является Телеграм и в частности этот канал. Здесь удобнее всего быстро делиться новостями и получать фидбэк, чего не предусматривает тот же сайт. Обязательно подпишитесь, если хотите быть в курсе дел.

Что нового по сравнению с прошлым годом?
Вы просили, ждали и надеялись - и вот оно! Теперь у нас два трека - базовый и продвинутый. На базовом треке мы ждём тех, кто знает основы Питона, но ещё только готовится окунуться в мир NLP, а на продвинутом - тех, кто уже имеет какие-то знания и там, и там, и хочет продвинуться дальше.

Спасибо, что прочли до конца, и увидимся на ЛШ! (Надеюсь.)

Mathematica опубликовали отчет impact-отчет за 2024 год. Отчет содержит три блока лучших практик: данные, программы, эффекты, - среди которых:

1. Фонд равенства заработной платы для сотрудников сферы дошкольного образования, который с 2022 года увеличил предложение труда воспитателей примерно на 7%. Это увеличение привело к созданию почти 1500 дополнительных мест в детских садах в округе, где реализовывалась инициатива. Дополнительные выплаты и льготы фонда способствовали улучшению набора и удержания воспитателей. Пример альтернативного подхода к решению задач по росту заработных плат работников образования, которые в том числе декларировались в майских указах в России.

2. Оценка влияния профилактических программ, таких как программа домашних визитов социальных служб по укреплению родительских навыков (Nurturing Skills for Families), программы интеграции и развития рабочей силы (Workforce Innovation and Opportunity Act (WIOA) на снижение количества случаев по лишению родительских прав, изъятию детей из семей. Программы показали эффективность за счёт снижения затрат на изъятие детей и организацию опеки ($30 000–$50 000 на одного ребенка в год). Оценка стала возможно в результате инициатив по объединению данных различных федеральных ведомств.

3. Программа поддержки людей с психическими заболеваниями (Transitions to Community Living) и их инклюзии, которая обеспечила жилье и трудоустройство для более чем 5000 человек в штате, где реализуется инициатива, и сократила социальные расходы почти в 3 раза в отношении категории граждан с психическими заболеваниями, повысив их благосостояние и уровень социальной интеграции.

Подробнее о других кейсах - в отчете

________________
* Mathematica — исследовательская организация (Принстон, штат Нью-Джерси), которая специализируется на предоставлении данных, аналитики и решений на основе фактических данных для оптимизации программ и политики в области общественного благополучия. Интересный факт о Mathematica: в 1986 году сотрудники выкупили компанию у её корпоративного владельца, сделав Mathematica полностью принадлежащей сотрудникам (employee-owned company).

@evidencespace

Какими будут обследования населения к 2030 году в исполнении Росстата?

До января 2027 г. будет «разработан и внесен в Правительство Российской Федерации проект федерального закона, предусматривающий использование административных данных в качестве источника сведений о населении при проведении федерального статистического наблюдения населения».

До декабря 2027 г. будут проведены пилотные федеральные статистические наблюдения населения в цифровом формате.

До декабря 2028 г. произойдёт «переход на цифровой формат проведения федеральных статистических наблюдений населения, включая формирование системы стимулирования участия населения в цифровых опросах». С декабря 2028 г. «Федеральные статистические наблюдения населения в населенных пунктах с обеспечением широкополосного доступа к информационно- телекоммуникационной сети "Интернет" проводятся преимущественно в цифровом формате».

К 2030 году
– более половины вопросов анкет при обследованиях населения будут предзаполнены с использованием административных данных;
– три четверти домашних хозяйств (Т.Ч.: надо полагать, из выборки) будут «проходить обследование с использованием личных кабинетов на цифровых платформах органов публичной власти»;
– главной функцией привлекаемых интервьюеров станет «не собственно сбор первичных статистических данных, а контроль полноты учета населения и качества обследования».

Также нас ожидает

«… публикация официальной статистической информации на уровне населенных пунктов, в том числе опорных;
расширение состава статистических показателей, собираемых и публикуемых на уровне населенных пунктов».

Стратегия развития системы государственной статистики и Росстата до 2030 года

План мероприятий по реализации Стратегии развития системы государственной статистики и Росстата до 2030 года

Натолкнулись на интересную статью Andersen et al. (2023) Disaggregated Economic Accounts (Дезагрегированные экономические счета), в которой представлена новая система дезагрегированных экономических счетов, разбивающая национальные счета Дании на двусторонние потоки между группами потребителей и производителями, а также правительством и внешним миром. Используя различные административные данные (например, транзакции Danske Bank), авторы раскрывают «треугольную» схему торговли («triangular trade» pattern): сельские потребители направляют расходы в городские регионы, городские потребители больше тратят за границей (12% против 8% у сельских), а экспортные доходы преимущественно поступают в сельские регионы из-за расположения в них экспортных производителей.

С помощью калиброванной модели общего равновесия авторы показывают, как структура этих счетов влияет на распространение экономических шоков. Некоторые выводы работы:

- трансферы, дольше циркулирующие в национальной экономике, обеспечивают более высокий мультипликатор благосостояния, особенно в сельских районах;
- снижение экспортных тарифов напрямую выгодно сельским регионам, но общие выгоды, включая косвенные эффекты, больше ощущаются городскими потребителями;
- в целом инструменты фискальной политики результативнее в сельских регионах, так как расходы сельских потребителей дольше циркулируют внутри страны, прежде чем «утекают» за границу.

Авторы утверждают, что такой подход к оценке экономических связей позволяет лучше понимать эффекты от внешних шоков, идентифицировать наиболее уязвимых экономических агентов, а также более точно таргетировать фискальную политику. Кроме этого, работа - хороший бенчмарк того, как можно и нужно транслировать академические результаты в массы: disaggregatedaccounts.com и bfi.uchicago.edu.

@evidencespace

NBER опубликовало сегодня исследование Река Юхаса и коллектива авторов «Measuring Industrial Policy: A Text-Based Approach». О чем оно и почему интересно с точки зрения impact-оценки государственных политик?

Коллеги использовали базу данных Global Trade Alert (GTA) — самый большой в мире сборник описаний торговых и экономических мер, принятых государствами (47283 записи за 2010–2022 годы после очистки данных). В GTA собраны понятные описания на английском языке, которые составлены экспертами. Они включают только проверенные и значимые меры, влияющие на международную торговлю. Река Юхас и команда поставили перед собой задачу, используя базу GTA, разработать метод систематической идентификации и измерения мер промышленной политики среди стран Мира, а именно: классифицировать государственные меры, сформировать показатели активности промышленной политики, предельно точно идентифицировать целевой характер мер (не просто соотнести меру к тарифной политике или видам субсидий, а определить ее таргет).

Решали задачу методами ML в три этапа: ручная разметка для обучения (было размечено 2932 описания (примерно 6% от всей базы), тренировка модели (непосредственно само обучение), имплементация модели на всей выборке и кластеризация данных. В зависимости от года было выделено из GTA 44–63% мер, относящихся к промышленной политике. Точность модели на тестовой выборке достаточно высокая (F1-score 94.1%). Примеры классифицированных политик:

• Бразилия увеличила импортные тарифы на IT и телекоммуникационные товары, чтобы стимулировать инновации и укрепить национальный IT-сектор.
• Китай предоставил государственные займы для развития производства батарей для электромобилей.
• США приняли CHIPS and Science Act 2022 для развития полупроводниковой отрасли и исследований.

По стэку и методам. Использовалась модель BERT (Bidirectional Encoder Representations from Transformers), которая была дообучена для задачи трехклассовой классификации (определяли таргет (промышленная политика), не таргет и условную корзину, где модель не смогла классифицировать текстовые данные). Есть отдельный репо, но без кода - только данные. Но из текста статьи следует, что коллеги использовали инструменты на основе python, в частности Hugging Face (для доступа к предобученной модели BERT), Optuna (для оптимизации гиперпараметров модели), Prodigy (для разметки и аннотации данных).

Эффект мер на текущем этапе не оценивался, но вот некоторые выводы исследования:

1. С 2010-х годов наблюдается устойчивое увеличение разработки и применения мер промышленной политики, стимулирующих различные отрасли.
2. Промышленная политика чаще использует субсидии и меры, ориентированные на экспорт, вместо тарифных и фискальных мер.
3. Имплементация промышленной политики характерна для стран с высоким уровнем дохода, но не для развивающихся стран, что противоречит традиционным представлениям о промышленной политике как инструменте догоняющего развития.
4. Промышленная политика, особенно в странах с высоким доходом, чаще нацелена на сектора, где страна уже имеет конкурентные преимущества в рамках экспорта (отрасли как стартапы остаются за бортом).

Подход интересен тем, что он на практике показывает, как может выглядеть консолидация различных инициатив под вектором того или иного механизма воздействия. Для задач оценки государственной политики в России аналогичные методы могут быть использованы в части выявления на пантеоне текстовых данных документов стратегического планирования региональных мер, резонирующих с федеральной повесткой. При оценках различных политик, например, политики в области повышения благосостояния населения меры на федеральном уровне консолидируются в единые механизмы проще, чем меры регионального характера, которые в силу специфики отечественного госпланирования часто размыты и формально могут быть не связаны с федеральными, однако фактически могут влиять на достижение национальных целей. Методы ML, описанные в статье, могут решать такие задачи консолидации.

@evidencespace

Libraries Scholarly API Cookbook - подборка туториалов Университета Алабамы по работе с API различных веб-сервисов, полезных для исследователей: arXiv, WB, Scopus, NASA, Wiley, OSM и другие.

@evidencespace

Открыт прием заявок на конкурс исследований

Мы запускаем конкурс научно-практических исследований социального развития в сфере помощи детям и молодым взрослым в ситуации уязвимости 2025.

Принять участие могут государственные и негосударственные НКО, ресурсные и методические центры, образовательные, научные и исследовательские организации, зарегистрированные по форме НКО.

Грантовый фонд конкурса составит 50 млн рублей. Прием заявок стартует 17 июня и продлится до 12.00 по московскому времени 21 июля 2025 года. Результаты конкурса будут объявлены в августе 2025 года.

Особенность конкурса в том, что он призван поддержать научно-практические исследования при условии, что результаты исследований будут в обязательном порядке внедрены в практику и способствовать улучшению жизни целевых групп. При этом важно не только проведение исследований и внедрение результатов на практике, но и распространение информации в открытом доступе, а также мониторинг и оценка влияния результатов исследования.

Узнать больше о конкурсе и подать заявку можно по ссылке.

Opensustain.tech: один из масштабных волонтерских open-source проектов, посвященный устойчивому развитию. Представляет собой каталог более 1000 проектов, связанных с изменением климата, возобновляемой энергетикой, биоразнообразием, природными ресурсами, бедностью и неравенством.

Вот некоторые примеры проектов с открытым исходным кодом:

accessibility: инструмент для расчёта уровней доступности и анализа бедности и неравенства в доступе к услугам, использует предварительно рассчитанную матрицу транспортных затрат и гео-данные (например, расположение рабочих мест, медицинских учреждений и населения). Проект помогает выявлять районы с ограниченным доступом к базовым услугам, что особенно актуально для бедных сообществ. В чем польза: предоставляет данные и алгоритмы для анализа пространственного неравенства, что будет ценно для исследований в области социальной географии и городской политики.

OpenTripPlanner: мультимодальный планировщик маршрутов, который объединяет данные об общественном транспорте, велосипедных маршрутах, пешеходных путях и сервисах микромобильности (например, bike-sharing). Проект помогает оптимизировать транспортные потоки и снижать углеродный след за счёт продвижения экологичных способов передвижения. В чем польза: предоставляет данные и алгоритмы для анализа транспортной инфраструктуры и моделирования сценариев устойчивых транспортных систем, можно использовать для изучения эффективности общественного транспорта в городах.

EcoSonar: инструмент, помогающий командам разработчиков оценивать экологическое воздействие цифровых технологий на этапе проектирования. Проект продвигает практики экологичного дизайна и доступности, позволяя минимизировать углеродный след программного обеспечения. В чем польза: анализа энергопотребления программных решений и разработки рекомендаций по созданию «зелёного» ПО.

venco.py: инструмент обработки данных, который создаёт профили спроса и гибкости для будущих парков электромобилей. Проект помогает моделировать сценарии использования электромобилей в энергосистемах. В чем польза: анализ интеграции электромобилей в энергосети, оценки их влияния на энергопотребление и разработка стратегий управления нагрузкой.

@evidencespace

Python Case Studies — «крафтовый» репо с разборами шести кейсов анализа данных на синтаксисе python от Раждипа Чакраборти:

1. DNA Sequencing — исследование биоинформатики: работа с последовательностями ДНК, выявление шаблонов и биологических закономерностей.
2. Linguistic Analysis of Books — анализ лексической вариативности в книгах: частотность, стилистика, различия между авторами.
3. Classification Models — построение предиктивных моделей на табличных данных: отбор признаков и интерпретация.
4. Whisky Flavor Profiles — исследование вкусовых характеристик шотландского виски и предпочтений потребителей (кластеризация по регионам).
5. Bird Migration (GPS) — пространственно-временной анализ маршрутов перелётных птиц.
6. Social Networks — анализ взаимодействий и социальных структур среди жителей деревни.

@evidencespace

Interested in using intermediate outcomes to better understand causal mechanisms and predict long-term impacts of interventions? Join Prof. Chetty and Prof. Kosuke Imai at the NBER Methods lectures:

📅 Thursday, 7/24, 3 pm
📍 Cambridge, MA for NBER SI attendees, or virtually ⬇️

https://www.nber.org/conferences/si-2025-methods-lecture-uncovering-causal-mechanisms-mediation-analysis-and-surrogate-indices

РББО 2.0.1

Мы обновили Российскую базу бухгалтерской отчетности (РББО), а процесс ее создания описали в журнале Scientific Data:

🗓 Добавлены данные за 2024 год для более чем 2,2 млн фирм.

👾 Ошибки в отчетностях за предыдущие годы, исправленные фирмами с этого января, теперь исправлены и у нас.

🔨 Устранен баг, из-за которого в предыдущих версиях мы не досчитались 280+ тыс. наблюдений, реконструированных из отчетностей будущих годов.

🗺 Улучшено геокодирование юридических адресов фирм.

Обо всех изменениях читайте на гитхабе проекта.

Как писали исследователи Google в 2021 г., «все хотят работать с моделями, никто не хочет работать с данными». За работой по производству данных сохраняется репутация грязной, тяжелой, требующей меньшей компетентности, чем моделирование, — короче говоря, менее престижной и важной. Из-за этого качеству данных зачастую уделяется недостаточно времени и внимания, что ведет к каскадам искажений.

Мы прикладываем много усилий для подготовки РББО, но видим, что в ней есть что улучшать, и приглашаем всех заинтересованных присоединяться к этой работе.

Скачать РББО можно на Hugging Face и Zenodo.