Что публикуется канале:
• собранные данные
• ссылки на источники открытых данных
• инструменты для поиска, сбора, обработки и анализа данных
• изменения в законодательстве РФ связанные со сбором и обработкой данных
• прочее по тематике канала

Используемые хештеги:
#забирай - собранные данные
#источники - источники данных
#инструменты - программные инструменты для работы с данными
#всемсидеть - посты про применимое законодательство
#мысли - соображения по тематике бизнеса

Госдума приняла во II чтении законопроект об административной ответственности за перепродажу сведений из госреестра недвижимости третьим лицам.

Как отмечают авторы инициативы, предложенные меры позволят эффективнее бороться с сайтами — двойниками Росреестра, которые не всегда предоставляют достоверные сведения.

#всемсидеть

Подписаться — Data Diggers

Web Scraper — браузерное расширение для парсинга данных с сайтов

Плюсы:
• не требует программирования nocode
• визуальный редактор через расширение к браузерам (Firefox, Chrome)
• хорошая документация с примерами, есть видео на YouTube
• можно буквально за пару кликов сделать рабочий парсер
• можно копировать (экспортировать и импортировать) созданные парсеры
• есть выгрузка данных в excel и csv

Минусы:
• относительно медленный
• в некоторых случаях нужно знать основы html, path, regex

Резюме: отличный инструмент для быстрого разового или редкого периодического сбора данных с сайта с ручным запуском скрипта.

#инструменты

Подписаться — Data Diggers

ЕМИСС (Единая межведомственная информационно-статистическая система)

Официальный государственный информационный ресурс, объединяющий официальные государственные ведомственные информационные статистические ресурсы.

Плюсы:
• доступ к официальным статданным РФ
• есть выгрузка в excel и xml
• поддается автоматизации через неофициальное API

Минусы:
• очень медленный
• в периоды большой нагрузки (в рабочее время, днем) может быть недоступен
• показатели могут быть недоступны в периоды обновления данных показателей
• данные могут закрываться в период санкционной войны
• статданные требуют экспертной интерпретации
• убогий функционал личного кабинета
• нет официального публичного API
• прям бесит если честно

#источники

Подписаться — Data Diggers

Минимальный стек для сбора, парсинга и обработки данных c интернет ресурсов.

Python - Простой в изучении язык программирования с приятным синтаксисом. Куча бесплатных библиотек на все случаи жизни. Абсолютный must have.

КЛАССИЧЕСКИЙ СТЕК

1. Получение данных (краулинг, crawling)

Requests - python библиотека для выполнения http запросов к web ресурсам. Старая добрая классика - отличная документация, масса примеров, большое сообщество. Из минусов: не поддерживает асинхронные запросы.
Современная альтернатива: HTTPX

2. Разбор данных (парсинг, parsing)

BeautifulSoup - python библиотека для парсинга (разбора) данных в html и xml форматах. Из минусов: низкая, в сравнении с альтернативами, скорость работы что впрочем не всегда требуется.
Современная альтернатива: SelectoLax

3. Обработка данных и базовый анализ

Pandas - python библиотека для обработки данных в условно табличном формате. Из минусов: относительно медленная, противоречивый синтаксис, плохо справляется в ОЧЕНЬ-ОЧЕНЬ большими объемами данных (терабайты).
Современная альтернатива: Polars

Плюсы классического стека:
Старая добрая классика - отличная развитая документация, масса примеров и обучающих видео, большое сообщество.

Минусы классического стека:
Относительно низкая скорость работы.

Плюсы современного стека:
Более высокая скорость работы, активное развитие библиотек.

Минусы современного стека:
минимальная документация, мало примеров, практически нет видео, что хочется верить просто дело времени.

#инструменты

Подписаться — Data Diggers

Всемирный Банк (World Bank) - открытые данные на сайте всемирного банка по всем странам мира.

Плюсы:
• открытый бесплатный доступ к данным
• масса показателей в разрезе стран и временных рядов
• большой список источников в виде подключенных международных и страновых банков данных.
• временной период данных с 1960 по наст. время.
• есть возможность настройки показателя в визуальном редакторе
• есть возможность выгрузки данных в xls, csv, txt

Минусы:
• русский язык удален на сайте в рамках санкционной войны
• данные требуют интерпретации экспертом в предметной области
• пробелы в данных по РФ советского периода
• данные Всемирного банка по России не всегда совпадают с данными официальных органов РФ

Резюме: хороший источник для получения данных по разным странам

Ссылка на databank
Ссылка на показатель ВВП (СНГ)

#инструменты

Подписаться — Data Diggers

Каталог каталогов данных (datacatalogs.ru) - проект с целью систематизации российских источников открытых данных и иных источников, потенциально интересных русскоязычной аудитории. Сюда относятся международные порталы и коллекции данных РФ, а также стран ближнего зарубежья: Армения, Казахстан, Узбекистан и других.

Каталог охватывает максимально большое число источников данных, в первую очередь каталогов и открытых репозиториев, а также других больших значимых проектов, которые могут быть интересны пользователям.

По состоянию на 04.2023 проект активно развивается и наполняется новыми источниками данных.

#инструменты

Подписаться — Data Diggers

Государственный информационный ресурс бухгалтерской (финансовой) отчетности (bo.nalog.ru)

Что есть:
Налоговая и бухгалтерская отчетность юридических лиц РФ.

Плюсы:
• бесплатный доступ к данным
• есть неофициальное API

Минусы:
• нет данных по ИП (физлицо, закон о защите персональных данных)
• неполная публикация данных (компаниям разрешено в добровольном порядке не публиковать данные финансовой отчетности с началом введения санкций в 2022 году)
• нет данных о численности персонала компаний
• платное АPI, конский ценник

#инструменты

Подписаться — Data Diggers

Портал data.gov.ru ждет пересборка

Минэкономики временно закрыло портал открытых данных — как пояснили «Ъ» в ведомстве, это необходимо для перезапуска ресурса с учетом запросов рынка.

Портал, являвшийся одним из ключевых элементов «Октрытого правительства», был запущен в 2014 году по поручению занимавшего тогда пост премьер-министра Дмитрия Медведева.

Предполагалось, что на основе открытых данных будут создаваться сервисы для удобства граждан и для повышения качества среды обитания. Однако значительная часть ведомств подошла к размещению данных формально — проблема, по оценкам Счетной палаты и экспертов, сохраняется и сейчас.

Портал открытых данных https://data.gov.ru/ временно закрыт, ему предстоит инвентаризация данных, модернизация функционала и переезд на единую цифровую платформу «ГосТех».

Сроки запуска новой версии портала не сообщаются.

#инструменты

Подписаться — Data Diggers