Дата журналистам на заметку.

1. Заходите на сайт Газпроммежрегионгаза в раздел "Крупнейшие должники за газ"
http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/

2. Парсите данные любым удобным Вам образом и превращаете в CSV или JSON где у Вас должны быть поля:
- наименование организации должника
- сумма задолженности
- наименование субъекта федерации
- наименование федерального округа в который субъект федерации входит

3. Открываете Википедию (или Wikidata) и скачиваете таблицу с населением страны по субъектам https://ru.wikipedia.org/wiki/Население_субъектов_Российской_Федерации

4. Открываете Википедию (или Wikidata) и скачиваете таблицу ВРП по субъектам https://ru.wikipedia.org/wiki/Список_субъектов_Российской_Федерации_по_валовому_продукту

5. На этих данных считаете рейтинги:
- субъектов по общей задолженности
- субъектов по задолженности на 1 человека
- субъектов по задолженности к ВРП

6. Аналогично для федеральных округов

7. Полученные цифры визуализируете любым удобным Вам образом

8. Вуаля! Отдавайте результат в любое федеральное издание, особенно в те которые сейчас активно чморят власти Московской области.

Потому что кто будет анти-лидером рейтинга я уже вам как бы подсказал.
#datajournalism #ddj #opendata

New York Times выложили в открытый доступ материалы по обучению журналистов дата-журналистике [1], со всеми материалами и датасетами [2]. Неплохой курс/тренинг, очень практичный, про работу с таблицами, очистку данных, брейншторм на данных и так далее.

Такой гайд был бы хорош и на русском языке. Благо материалов предостаточно.

Ссылки:
[1] https://www.niemanlab.org/2019/06/the-new-york-times-has-a-course-to-teach-its-reporters-data-skills-and-now-theyve-open-sourced-it/
[2] https://drive.google.com/drive/u/0/folders/1ZS57_40tWuIB7tV4APVMmTZ-5PXDwX9w

#opendata #ddj #data #datajournalism

Для тех кому долго самостоятельно искать тот слив из банка на каймановых островах, вот прямая ссылка [1]. Он там под кодом "Sherwood"

Только помните - там 2 терабайта. Для опытного специалиста это несколько часов работы, для неопытного может занять месяцы. Для современного журналиста расследователя это должно быть по силам, а если чувствуете что "сложно это всё", то срочно беритесь за журналистику данных.

Ссылки:
[1] https://ddosecrets.com/data/corporations/

#leaks #data #datajournalism

Роботизированная журналистика иногда пугает журналистов, но она, скорее про автоматизацию чернового труда и избавление этой профессии от чернорабочих рерайтеров. Хотя ещё и неизвестно станет ли профессии лучше от роботизации этого рерайта.

А вот технологические стартапы близкие к этой области возникают, хотя и часто называются по другому. Например, Ax Semantics [1], германский стартап по автоматизации копиратинга. Привлекли неизвестную сумму от 6 инвесторов [2] и продают сервис автоматизации отчетов, написания тестов, описания продуктов и так далее.

На самом деле такие авто-пишущие продукты наиболее востребованы именно в написании текстов для потребителей с описанием товаров.

Поэтому журналистам пока опасаться стоит гораздо меньше чем рядовым копирайтерам. Но в The Stuttgarter Zeitung уже автоматизируют с их помощью спортивные обзоры и обзоры качества воздуха, развивая у себя робожурналистику [3]

Ссылки:
[1] https://en.ax-semantics.com/
[2] https://www.crunchbase.com/organization/ax-semantics
[3] https://en.ax-semantics.com/portfolio/stuttgarter-zeitung

#opendata #data #robojournalism #datajournalism #germany #startups

Data Journalism Handbook [1] книга о журналистике данных за авторством Liliana Bounegru и Jonathan Gray выйдет в конце марта 2021 года, а пока доступна для предзаказа.

Значительная её часть и ранее была доступна онлайн [2] на DataJournalism.com вместе с другими курсами и руководствами созданными в European Journalism Centre при поддержке Google News Initiative

Ссылки:
[1] https://www.aup.nl/en/book/9789462989511/the-data-journalism-handbook
[2] https://datajournalism.com/read/handbook/two

#datajournalism #data

Для тех кто очень любит расследования, но не всегда имеет нужные инструменты под рукой Aleph Data Desktop [1] [2] изначально создано для проекта Aleph с данными расследований OCCRP, а также само по себе является простым инструментом построения диаграм взаимосвязей разных сущностей. Удобный и бесплатный инструмент не только для тех кто занимается цифровым дознанием на общественных началах, но и тем для кого это профессиональная деятельность. Инструмент не идеальный, очень простой, всё ещё в разработке, но быстрого описания кейсов более чем удобный.

С тем как развивается стек инструментов OCCRP я бы даже предположил что через 2-3 года их инструменты начнут использовать в правоохранительных органах как базовый инструментарий.

Хорошая тема для мероприятий - это совместно превращать в инфографику расследования в виде текстов.

Ссылки:
[1] https://github.com/alephdata/datadesktop
[2] https://docs.alephdata.org/guide/building-out-your-investigation/network-diagrams

#opendata #opensource #datajournalism

Ко дню открытых данных завершилось голосование по Moscow Dataviz Awards 2021 [1] это ежегодная международная премия за достижения в области инфографики, визуализации данных и дата-арта.

Посмотрите на победителей, достойны не только они, но и огромное число других заявок. Лично я особенно рад что эта премия стала международной, много заявок было и из других стран.

О победителях подробнее в блоге Максима Осовского в Facebook [2]

Ссылки:
[1] https://moscowdatavizawards.com
[2] https://www.facebook.com/osovskiy/posts/10221955712660074

#opendata #dataviz #datajournalism #moscow #awards

Вышла свежая редакция The Data Journalism Handbook [1] руководства для дата-журналистов по работе с данными. Книга хорошая для начинающих и полезна для продолжающих, состоит из десятков статей о том как работает дата журналистика, стандартах, инструментах и многом другом.


Ссылки:
[1] http://lilianabounegru.org/2021/03/23/data-journalism-handbook/

#data #datajournalism #opendata

Census Mapper - проект по визуализации переписи США 2020 года [1], позволяет узнать подробные данные и изменения в расовом составе по каждому отдельному графству (аналог российского муниципалитета). Проект создавался Big Local News и Pitch Interactive за счёт гранта Google News Initiative.

Проект наглядный, не первый такой в мире, мне в вспоминается что в прошлом разного рода похожие проекты были в Канаде и Австралии, но это не отменяет самого факта возможности наглядной визуализации переписи.

Ссылки:
[1] https://censusmapper.biglocalnews.org

#opendata #infographics #datajournalism

В рубрике интересные наборы данных.

Политический журналист Derek Willis в течение нескольких лет заходил на сайты всех кандидатов в конгрессмены и партийных комитетов связанных с выборами и заполнял формы подписки на письма на специально созданный для этого email адрес. В итоге у него накопилась база в 100 000+ писем общим объёмом более 673 мегабайт. Об этом он пишет у себя в блоге [1] и выложил всю базу в открытый доступ [2] предварительно забрав её с помощью Google Takeout.

Забавный эксперимент который можно повторить и в наших реалиях, например, подписавшись на рассылки российских "инфоромалов" или разного рода религиозных групп или тех же кандидатов в депутаты/кого-там-ещё-выбирают и так далее.

Ссылки:
[1] https://createsend.com/t/t-97F63A7D578A8F0B2540EF23F30FEDED
[2] https://political-emails.herokuapp.com/emails

#opendata #datasets #email #politicaljournalism #datajournalism

Не могу не поделиться мыслями о том тяжкий груз незавершённого - это то что лично меня, и наверняка, не только меня преследует регулярно. Из 20 проектируемых проектов, до создания доходит 5, а до публикации 1-2 и так регулярно, во всяком случае когда жизнь чаще построена не в продуктовом, а в проектном смысле.

За эти годы я сам и наша команда чего только не проектировала:
- многочисленные порталы данных
- систему сбора муниципальной статистики из всевозможных источников
- систему аналитически и мониторинга некоммерческого сектора
- агрегатор новостных лент из источников где нет новостных лент
- систему сбора информации о деятельности и площадках работы лоббистов
- систему сбора активности и голосований депутатов
- мониторинг нефтегазовых доходов бюджета, компаний и тд
- аналитику по государственным информационным системам и их структуре
- систему сбора данных из неструктурированных источников
- систему мониторинга принятых НПА и проектов НПА

И ещё многое другое.

Проблема в том что многие из проектов не переживает стадию проектирования и почти всегда упираются в отсутствие ключевых данных или отсутствие институциональной среды. К примеру, доходы нефтегазового бюджета и прозрачность этой сферы - это тема любой нормальной политической партии. Но, в России, как бы сейчас нет политики в общепринятом (нормальном) понимании.

Или мониторинг НПА, очень понятная и нужная задача для любых лоббистких задач, не обязательно дурных. Проблема в том что её невозможно сделать хорошо без рисков вскрытия коррупции и много чего другого. И так далее. Общественные проекты на данных находятся между Сциллой резкой оппозиционности, Харибдой прогосударственной обессмысленности. Проекты вроде Госзатрат существуют скорее как исключение, с кучей ограничений, например, отсутствия реальной подсветки коррупции и нарушений, хотя делать это и возможно, но сложно управлять возникающей от этого публичной ситуацией.

Приведу пример, есть проект Открытые НКО, сейчас недоступен, мы скоро его восстановим, с базой по всем НКО, на базе ЕГРЮЛ, реестра субсидий, госконтрактов и их отчетности.

В реальности у нас примерно в 5-6 раз больше данных по тем же НКО. Как внешних источников данных, так и аналитики на имеющихся. Например, НКО холдинги (РПЦ, ДОСААФ и др.), гендерная структура, помощь от гос.ва во всех формах, образовательные и иные лицензии и ещё много чего. Но, в итоге, кто аудитория? Минюст с карательными функции в отношении НКО? Оппозиционные СМИ признанные инагентами? НКО сообщество?

Нет, увы, главный кризис использования открытых данных в общественных целях и, отчасти это и кризис журналистики данных, выборе между политизацией и бессмысленностью (жёсткой самоцензурой).

Вот такие мысли, пока без ответов что делать в сложившейся ситуации.

#thoughts #datajournalism #russia #dataprojects

Как сохранить журналистику данных

Зачем медиа и новостным СМИ позаботиться об цифровом сохранении собственных материалов? Профессор Бахарех Херави (Bahareh Heravi) изучает возможности цифрового архивирования и сохранения динамического контента, созданного в дата-журналистских материалах. В основном это интерактив и визуализации данных. Самые частые проблемы:

1. Динамические визуализации данных являются «сложными цифровыми объектами», что значит — такой контент не может быть охвачен существующими инструментами и методами архивирования.
2. Сервисы визуализации данных могут внезапно закрываться, а доступ к контенту, созданному с помощью них, затем теряется.
3. Существуют зависимости, лежащие в основе визуализации, такие как конкретные языки программирования, библиотеки, базы данных, хостинговые платформы и разные сервисы (Flash Player), которые со временем устаревают и не поддерживаются создателями.

Все это затрудняет использование материалов дата-журналистики в исторической ретроспективе. Подробнее о том, какие решения предлагает Бахарех Херави для сохранения сложного динамического контента, узнайте в этой статье: https://datajournalism.com/read/longreads/how-to-save-data-journalism

Дополнительно научная статья «Preserving Data Journalism: A Systematic Literature Review»: https://www.tandfonline.com/doi/full/10.1080/17512786.2021.1903972

#datajournalism #digitalpreservation #digitalarchive

В рубрике полезных инструментов для обработки данных VisiData [1]. Это весьма популярный в ограниченных кругах открытый продукт по просмотру и обработке данных через визуальный текстовый интерфейс. Такие инструменты ещё называют TUI (Text User Interface). Для кого-то это будет напоминать утилиты вроде Dos Navigator / Norton Commander / Vim и ещё огромное число утилит для Unix / DOS. А сейчас это вновь набирающее оборот явление, можно сказать что переоткрываемое.

VisiData позволяет просматривать файлы и базы данных делая запросы, листая результаты и предоставляя возможность обрабатывать строки и колонки с данными. Плюс он там ещё может считать статистику по файлам, строить гистограммы и ещё много чего.

Хорошая утилита, как по мне. Идет, почти, вровень с open refine когда дело касается обработки данных (data wrangling / refining).

Как и все подобные GUI / TUI инструменты он, в первую очередь, полезен тем кто решает задачи обработки данных без программирования. Например, дата-журналистам и аналитикам.

Ссылки:
[1] https://github.com/saulpw/visidata

#data #datatools #dataengineering #datajournalism #datawrangling #opensource

Интересное чтение про данные, технологии и не только։
- iasql [1] инструмент с открытым кодом позволяющим из PostgreSQL работать с облачными аккаунтами как с базами данных. Забавная штука подпадающая под категорию продуктов "всё SQL", интересно они могут быть только с открытым кодом или кто-то найдёт им бизнес модель тоже?

- Introduction to Data-Centric AI [2] курс по дата-центричному ИИ, зайдёт для тех кто приходит к мысли что "наши данные для обучения ИИ дерьмо и с этим надо что-то делать", про то как разрабатывать алгоритмы от данных, а не от моделей.

- The State of Data Journalism 2023 [3] обзор состояния дата-журналистики в мире от Европейского центра журналистики. Не понимаю как они смогли сделать его таким скучным, но крупицы любопытного там тоже есть. Например, что большая часть дата-журналистов 35+, что женщины в дата-журналистике моложе мужчин, что большинство фрилансеры, что большинство самообучались, зарабатывают мало, большинство работают с открытыми данными и тд.

- SQLake [4] ещё один, на сей раз коммерческий, сервис в стиле "всё SQL", на сей раз с его помощью создаются трубы данных (data pipelines). Лично мне это кажется слегка извращённым, но любопытным как минимум. Кстати, это и часть ответа на вопрос монетизируется ли такой подход. Похоже на то что да.

- Catalog of ETL and EL-T tools [5] каталог ELT и ETL инструментов от стартапа Castor. Неплохой обзор для понимания этого рынка. Тоже стратегия, выносить внутреннюю аналитику рынка наружу как медийный бесплатный продукт, полезных ссылок там немало.

- JXC [6] структурный язык для разметки данных как развитие JSON. Выглядит интересно, хотя и не достиг даже версии 1.0. По моему опыту у JSON есть две системные проблемы։ отсутствие типа дата и время и отсутствие других типов данных. JXC частично это решает.

- tbls [7] утилита по документированию баз данных сразу в формате Github Markup. Написано на Go, с открытым кодом, выглядит любопытно, поддерживает и NoSQL тоже.


Ссылки:
[1] https://github.com/iasql/iasql
[2] https://dcai.csail.mit.edu/
[3] https://datajournalism.com/survey/2022/
[4] https://www.upsolver.com/
[5] https://notion.castordoc.com/catalog-of-etl-tools
[6] https://github.com/juddc/jxc
[7] https://github.com/k1LoW/tbls

#opensource #data #datatools #sql #ai #datajournalism

Нашёл презентацию Paul Bradshaw о недокументированных API веб-сайтов и как их искать [1]. Рецепты у него довольно простые:
- используйте Chrome Developers Tools и аналог в Firefox
- изучайте структуру ссылок и XHR типы запросов
- учитесь декодировать параметры

Ну и примеры недокументированных API тоже. Презентация должна быть доходчивой для журналистов, для которых собственно он и пишет как автор The Online Journalism Handbook.

У меня на эту же тему было несколько презентаций в контексте проблем с архивацией сайтов и в контексте поиска недокументированных API.

Так вот ключевой инструмент в работе с ними - это поисковые системы, возможность найти точки подключения проиндексированные ими.

Второй значимый инструмент - это "типовые", но недокументированные API многих программных продуктов. В первую очередь типовые API CMS.

И третий - это мобильные приложения, декодирование байткода которых или перехват их обращений к сайту также может дать много чего интересного.

Но, опять же, это всё полезно, в первую очередь журналистам, OSINT'щикам и хакерам. Для других задач нужно куда реже.

Ссылки:
[1] https://github.com/paulbradshaw/undocumentedapis/blob/main/Undocumented%20APIs.pdf

#api #readings #datajournalism

На днях просматривая разные рейтинги стран, регионов и тд. в которой раз убеждаюсь насколько большая часть из них не несёт реальной ценности для потребителей/читателей и сводятся они, в большей части, к хайпу СМИ которые их публикуют и создателей которые, опять же, ничего кто кроме веб трафика не ищут.

Пришла идея что очень простой, буквально студенческой задачей по дата журналистике было бы "опрактичивание" таких рейтингов.

Рассмотрим пример, вот есть рейтинг стран по "силе паспортов" [1] в нём есть список лидеров стран и сам он построен предельно просто, по баллам по числу стран к которым есть безвизовый доступ у владельца паспорта.

Полезен ли этот рейтинг реально? Только одним, что пр-ва стран соревнуются кто больше. Но для пользователя нет.

Что мы знаем про страны и про то как туда уезжают/приезжают? То что страны не одинаковы по территории и экономике. То что поездки в страны можно разделить на экономические, туристические и долгосрочные и наверняка ещё много всего.

Так вот если, к примеру, этот рейтинг дорабатывать/перерабатывать, то первый способ это добавить территории стран. Рейтинг меняется с числа стран, на долю суши к которой есть доступ без виз. Такой рейтинг всё ещё неидеален, поскольку доступность африканских стран не делает их сильно перспективными для туризма, но его теперь уже можно дорабатывать с оглядкой на эту цель.

Второй подход. Берём классификацию мирового банка по уровням доходов стран [2] и добавляем коэффициенты для каждого уровня. Самый простой подход в том чтобы дать коэффициент в 1 для стран Low Income, 4 для Lower-middle Income, 7 для Upper-middle Income и 10 для High Income. Эти коэффициенты примерно соответствуют градации в доходах при классификации стран МирБанком.

А потом скрестим это с индексом "силы паспорта". Будет такой True Passport Index. Потому что он будет показывать реальную силу паспорта по доступу к цивилизации. От текущего рейтинга он будет отличаться очень сильно в середине списка, а самые "слабые" и самые "сильные" паспорта почти наверняка останутся на своих позициях.

Это лишь один наглядный пример, по той же логике можно многие какие рейтинги переделать и нормализовать.

Будь у меня побольше свободного времени сейчас, я бы сам такое сделал просто как пример того как неудобны текущие примеры, и как сделать правильно.

Если никто не сделает в ближайшие месяцы, может быть и потрачу один выходной оформив это как тюториал. А так то любой желающий может проверить полезность этого подхода на этом или других рейтингах;)

Ссылки:
[1] https://en.wikipedia.org/wiki/Henley_Passport_Index
[2] https://blogs.worldbank.org/en/opendata/new-world-bank-group-country-classifications-income-level-fy24

#ratings #datajournalism #ideas

В качестве мини-хобби, очень мини, я время от времени систематизирую ссылки по темам в жанре awesome list на Github с некоторой надеждой что над этими списками не я один буду работать. Надежды, как правило, не оправдываются, за редким исключением.

Список Awesome Digital Preservation, за время существования всего 14 лайков. У цифровой архивации мало фанатов, увы.

Или, например, у меня есть список Awesome Open Data software с ПО и стандартами по работе с открытыми данными. Почти всё ПО из реестра каталогов данных в Dateno, плюс ссылки на форматы файлов и стандарты обмена данными. Звездочек маловато, всего 24, не самая популярная тема.😜

Или вот Awesome Data Takeout со ссылками на сервисы получения всех своих данных из онлайн сервисов. 54 звезды, тоже, очень мало.

Для дата журналистов Awesome data journalism со списками инструментов для визуализации и не только. Набрало, 178 звезд, давно не обновлялось.

Russian Awesome Open data каталог источников открытых данных по РФ. Составлялся очень давно, как-то собрал 200 звездочек, уже практически не пополняется. Вместо него развивали datacatalogs.ru

Побольше в Awesome Forensic Tools с подборкой ресурсов в задачах цифрового дознания. Набрало 472 лайка при том что я почти не прилагал усилий по его пополнению, только один раз собрал всё вместе.

И, наконец, Awesome Status Pages собравшее 2738 лайков. Активное настолько что утомляет, сплошным потоком разработчики создают очередные сервисы проверки и публикации статусов сервисов и используют всякую маркетинговую мишуру чтобы их продвинуть. Дважды предлагали выкупить у меня эту страницу. Чувствую зря я её не продал;)

В общем-то по настоящему выстрелило только последнее, хотя списки составлять я лично люблю. Списки это же частный вид таблицы, можно ещё жанр завести. Awesome table of <something>, но в форматы Github'а или Telegram'а они плохо укладываются. Но может найдется близкий интересный формат

#opendata #datajournalism #data #digitalforensics #readings #thoughts