Госдума приняла во II чтении законопроект об административной ответственности за перепродажу сведений из госреестра недвижимости третьим лицам.

Как отмечают авторы инициативы, предложенные меры позволят эффективнее бороться с сайтами — двойниками Росреестра, которые не всегда предоставляют достоверные сведения.

#всемсидеть

Подписаться — Data Diggers

Web Scraper — браузерное расширение для парсинга данных с сайтов

Плюсы:
• не требует программирования nocode
• визуальный редактор через расширение к браузерам (Firefox, Chrome)
• хорошая документация с примерами, есть видео на YouTube
• можно буквально за пару кликов сделать рабочий парсер
• можно копировать (экспортировать и импортировать) созданные парсеры
• есть выгрузка данных в excel и csv

Минусы:
• относительно медленный
• в некоторых случаях нужно знать основы html, path, regex

Резюме: отличный инструмент для быстрого разового или редкого периодического сбора данных с сайта с ручным запуском скрипта.

#инструменты

Подписаться — Data Diggers

ЕМИСС (Единая межведомственная информационно-статистическая система)

Официальный государственный информационный ресурс, объединяющий официальные государственные ведомственные информационные статистические ресурсы.

Плюсы:
• доступ к официальным статданным РФ
• есть выгрузка в excel и xml
• поддается автоматизации через неофициальное API

Минусы:
• очень медленный
• в периоды большой нагрузки (в рабочее время, днем) может быть недоступен
• показатели могут быть недоступны в периоды обновления данных показателей
• данные могут закрываться в период санкционной войны
• статданные требуют экспертной интерпретации
• убогий функционал личного кабинета
• нет официального публичного API
• прям бесит если честно

#источники

Подписаться — Data Diggers

Минимальный стек для сбора, парсинга и обработки данных c интернет ресурсов.

Python - Простой в изучении язык программирования с приятным синтаксисом. Куча бесплатных библиотек на все случаи жизни. Абсолютный must have.

КЛАССИЧЕСКИЙ СТЕК

1. Получение данных (краулинг, crawling)

Requests - python библиотека для выполнения http запросов к web ресурсам. Старая добрая классика - отличная документация, масса примеров, большое сообщество. Из минусов: не поддерживает асинхронные запросы.
Современная альтернатива: HTTPX

2. Разбор данных (парсинг, parsing)

BeautifulSoup - python библиотека для парсинга (разбора) данных в html и xml форматах. Из минусов: низкая, в сравнении с альтернативами, скорость работы что впрочем не всегда требуется.
Современная альтернатива: SelectoLax

3. Обработка данных и базовый анализ

Pandas - python библиотека для обработки данных в условно табличном формате. Из минусов: относительно медленная, противоречивый синтаксис, плохо справляется в ОЧЕНЬ-ОЧЕНЬ большими объемами данных (терабайты).
Современная альтернатива: Polars

Плюсы классического стека:
Старая добрая классика - отличная развитая документация, масса примеров и обучающих видео, большое сообщество.

Минусы классического стека:
Относительно низкая скорость работы.

Плюсы современного стека:
Более высокая скорость работы, активное развитие библиотек.

Минусы современного стека:
минимальная документация, мало примеров, практически нет видео, что хочется верить просто дело времени.

#инструменты

Подписаться — Data Diggers

Всемирный Банк (World Bank) - открытые данные на сайте всемирного банка по всем странам мира.

Плюсы:
• открытый бесплатный доступ к данным
• масса показателей в разрезе стран и временных рядов
• большой список источников в виде подключенных международных и страновых банков данных.
• временной период данных с 1960 по наст. время.
• есть возможность настройки показателя в визуальном редакторе
• есть возможность выгрузки данных в xls, csv, txt

Минусы:
• русский язык удален на сайте в рамках санкционной войны
• данные требуют интерпретации экспертом в предметной области
• пробелы в данных по РФ советского периода
• данные Всемирного банка по России не всегда совпадают с данными официальных органов РФ

Резюме: хороший источник для получения данных по разным странам

Ссылка на databank
Ссылка на показатель ВВП (СНГ)

#инструменты

Подписаться — Data Diggers

Каталог каталогов данных (datacatalogs.ru) - проект с целью систематизации российских источников открытых данных и иных источников, потенциально интересных русскоязычной аудитории. Сюда относятся международные порталы и коллекции данных РФ, а также стран ближнего зарубежья: Армения, Казахстан, Узбекистан и других.

Каталог охватывает максимально большое число источников данных, в первую очередь каталогов и открытых репозиториев, а также других больших значимых проектов, которые могут быть интересны пользователям.

По состоянию на 04.2023 проект активно развивается и наполняется новыми источниками данных.

#инструменты

Подписаться — Data Diggers

Государственный информационный ресурс бухгалтерской (финансовой) отчетности (bo.nalog.ru)

Что есть:
Налоговая и бухгалтерская отчетность юридических лиц РФ.

Плюсы:
• бесплатный доступ к данным
• есть неофициальное API

Минусы:
• нет данных по ИП (физлицо, закон о защите персональных данных)
• неполная публикация данных (компаниям разрешено в добровольном порядке не публиковать данные финансовой отчетности с началом введения санкций в 2022 году)
• нет данных о численности персонала компаний
• платное АPI, конский ценник

#инструменты

Подписаться — Data Diggers

Портал data.gov.ru ждет пересборка

Минэкономики временно закрыло портал открытых данных — как пояснили «Ъ» в ведомстве, это необходимо для перезапуска ресурса с учетом запросов рынка.

Портал, являвшийся одним из ключевых элементов «Октрытого правительства», был запущен в 2014 году по поручению занимавшего тогда пост премьер-министра Дмитрия Медведева.

Предполагалось, что на основе открытых данных будут создаваться сервисы для удобства граждан и для повышения качества среды обитания. Однако значительная часть ведомств подошла к размещению данных формально — проблема, по оценкам Счетной палаты и экспертов, сохраняется и сейчас.

Портал открытых данных https://data.gov.ru/ временно закрыт, ему предстоит инвентаризация данных, модернизация функционала и переезд на единую цифровую платформу «ГосТех».

Сроки запуска новой версии портала не сообщаются.

#инструменты

Подписаться — Data Diggers

Группа депутатов Госдумы внесла в нижнюю палату парламента законопроект об административной ответственности за неисполнение закона "О рекламе". Документ опубликован в думской электронной базе данных.

За непредоставление в Роскомнадзор данных о рекламе, либо несвоевременное их предоставление, либо предоставление неполной, недостоверной, неактуальной информации депутаты предлагают ввести штраф в размере от 10 до 30 тыс. рублей для граждан, от 30 до 100 тыс. рублей для должностных и от 200 до 500 тыс. рублей для юридических лиц — сообщает канал ТАСС

#всемсидеть

Подписаться — Data Diggers

ГИСП (Государственная информационная система промышленности)

Что есть:
• реестр промышленных предприятий РФ
• каталог продукции предприятий РФ
• атлас промышленности (карта отрасли)
• новости законодательства, мер поддержки, базовая аналитика

Плюсы:
• какие то данные, конечно, есть
• есть неофициальное API

Минусы:
• есть вопросы к полноте и актуальности данных

#источники

Подписаться — Data Diggers

Количество утекающих записей с персональными данными кратно превышает численность населения страны: по оценке InfoWatch, за 2022 год скомпрометированными оказались более 667 млн единиц такой информации.

▪️Порядка 80% утечек произошло из-за участия как внешних, так и внутренних нарушителей.
▪️Вдвое выросла доля утечек информации категории «коммерческая тайна».
▪️Заметнее всего выросла доля утечек в сферах ретейла, промышленных, транспортных и энергетических компаний.

Важный тренд 2022-го — киберпреступники крадут данные не с целью заработать, а нанести репутационный или экономический ущерб российскому бизнесу или его клиентам — сообщает канал РБК

#где_протекает

Подписаться — Data Diggers

В Госдуме подготовили поправки в КоАП, определяющие ответственность рекламодателей, рекламораспространителей и операторов рекламных систем за неисполнение новейших положений закона «О рекламе». Речь идет о тех поправках, которые закрепляют обязанность участников рынка интернет-рекламы работать с идентификаторами объявлений и передавать всю необходимую информацию регулятору, рассказал зампред комитета ГД по информационной политике Антон Горелкин.

Система штрафов, которую мы предлагаем ввести, должна мотивировать рынок играть по прозрачным правилам. — сообщает канал @dumabrief

#всемсидеть

Подписаться — Data Diggers

В Кремле не видят рисков в решении некоторых ведомств удалить с сайтов информацию о доходах чиновников за последние годы, но рекомендуют уточнить причины таких действий, заявил Дмитрий Песков. — сообщает канал @interfaxonline

#источники

Подписаться — Data Diggers

Все самые полезные и нужные нейронки на все случаи жизни — сохраняйте и пользуйтесь

Подписаться — Data Diggers

Госдума увеличила штраф за перепродажу сведений из ЕГРН. Соответсвующий законопроект принят в III чтении.

В соответствии с документом, штраф составит от 15 тыс. до 25 тыс. рублей для физических лиц, для должностных лиц — от 40 тыс. до 50 тыс. рублей, для предпринимателей — от 80 тыс. до 100 тыс. рублей, для юрлиц — от 350 тыс. до 400 тыс. рублей. За повторное нарушение он будет увеличен

#всемсидеть

Подписаться — Data Diggers

Роскомнадзор утвердил критерии оценки материалов, содержащих пропаганду ЛГБТ.

Ресурсы будут включать в Единый реестр запрещенных сайтов Роскомнадзора за публикацию:

◾️информации, вызывающей интерес к нетрадиционным сексуальным отношениям;

◾️информации, которая направлена на убеждение в привлекательности нетрадиционных сексуальных отношений, предпочтений и установок, в том числе на формирование положительного образа людей, состоящих в нетрадиционных сексуальных отношениях;

◾️информации, направленной на формирование искаженного представления о социальной равноценности традиционных и нетрадиционных сексуальных отношений;

◾️материалов о преимуществах смены пола, направленных на формирование положительного отношения к смене пола;

◾️информации, направленной на изменение негативного отношения к нетрадиционным отношениям путем навязывания сведений о них, в том числе систематического распространения материалов с изображением или описанием нетрадиционных сексуальных отношений.

Приказ вступает в силу с 1 сентября 2023 года — сообщает канал ТАСС

#всемсидеть

Подписаться — Data Diggers

Российские компании не хотят делиться отчетностью

По данным БКС Мир инвестиций, наиболее закрытыми секторами являются:
- черная металлургия;
- нефтегаз;
- финансы.

Самые открытые секторы экономики:
- добыча золота и цветных металлов;
- транспорт;
- недвижимость.

Эти отрасли традиционно предоставляют полную отчетность о своих финансовых показателях.

#источники

Подписаться — Data Diggers

Супер полезная и удобная табличка со всеми крутыми нейронками для разных задач. Сохраняем, чтобы не потерять.

Подписаться — Data Diggers

В середине апреля в Госдуму внесли законопроект, который предусматривает штрафы за отсутствие маркировки интернет-рекламы — вплоть до 500-700 тысяч рублей. Это касается в том числе интеграций, которые компании закупают у блогеров.

Куда и что вносить, чтобы в будущем не нарваться на штрафы, рассказало агентство MOAB: со скриншотами из личного кабинета ОРД

vc.ru/marketing/668610 — сообщает канал vc.ru

#всемсидеть

Подписаться — Data Diggers

Открытые данные Минкультуры РФ (opendata.mkrf.ru)

Хорошо спроектированный и профессиональный движок для публикации открытых данных и для работы с данными в принципе. При том что там опубликовано всего 62 набора данных, но это данные относительно большого объёма, доступные по API, в разных форматах и с визуализацией. Очень хочется чтобы Минкультуры РФ не потеряло его, потому что то что я знаю так то что после кадровых преобразований в Минкультуры уже неизвестно кто им занимается. Ещё жаль что ни одного внедрения этого движка кроме как на сайте Минкультуры нет.

Платформа поставки данных ФНС России (vpd.nalog.gov.ru)

Это не открытые данные идеологически, но это инициатива по предоставлению чувствительных данных, как ещё говорят data sharing. Я слышал много положительных отзывов от людей в региональной власти в РФ о том что жаль что у других ФОИВов нет подобного или что они не предоставляют свои данные также через такую платформу.


История финансовой системы (https://minfin.gov.ru/ru/ministry/historylib/common/finance/fin_history)

Большая коллекция книг исторических бюджетов и других материалов опубликованных Минфином России в разделе у себя на сайте. Что важно - многие документы ещё Российской Империи и СССР. Полезно для тех кто изучает территорий входящих и входивших в эту местность. Активно используется многими историками. За многое Минфину РФ спасибо не скажешь, а за это конкретно спасибо.

Госрасходы (spending.gov.ru)

Здесь немного бесстыдной рекламы проектам к которые я когда-то создавал. Проект создан на базе госконтрактов, данных по госпрограммам, госпроектам и многим другим данным относящимся к госфинансам и расходам/доходам гос-ва. После того как я ушёл снова заниматься коммерческими и общественными проектами им уже несколько лет занимается Ольга Пархимович (@ahminfin), она изредка пишет про открытость госфинансов и открытые данные.

#bestpractices #russia #government #opendata #data — сообщает канал Ivan Begtin

Подписаться — Data Diggers