Вот так сейчас выглядит сайт российской федеральной государственной информационной системы ГАС "Управление" если её открывать в браузере [1]. Это открытый контур, без необходимости авторизации

Особенность этой системы в том что она не то чтобы вершина творчества и ориентирована всегда была только на госслужащих которые пользоваться ей не то чтобы любят и не то чтобы она нужна.

Но именно вот и не только так в какой-то момент может начать выглядеть понуждение к установке российского корневого сертификата.

Пока это ГАС Управление - это фигня, если это будет VK - это уже будет не фигня. Но больше вероятности что сертификат будут ставить на Андроид с мобильными приложениями.

Ничего хорошего в этом, конечно, нет.

Ссылки:
[1] https://gasu.gov.ru/infopanel?id=11851

#privacy #security #russia #badsecurity

Я 3 дня не писал в канал, это довольно большой срок, поскольку я даже когда не пишу и не публикую сразу, обычно 3-4 темы "подвешиваю" для автоматической публикации и редко бывает что я что-то не читаю и не пишу об этом. Но в этот раз причина объективная, очередное поветрие то ли гриппа, то ли чего-то ещё, сильно ограничило возможности что-либо записывать, но не читать.

Итак։
- Datasets at your fingertips in Google Search [1] в блоге Google Research свежие новости и цифры про их поиск, Google Dataset Search. Можем узнать что там уже проиндексировано 45 миллионов наборов данных, то что они делают ставку на описание наборов данных по стандарту schema.org и то всё более делают фокус на доступность данных для исследователей и индексацию научных репозиториев данных. Я ранее критиковал поисковик Гугла [2] и эта критика остаётся актуальной, но альтернативных поисковиков по данным пока просто нет.

- Mathesar [3] не текст, но инструмент по созданию интерфейса над базой PostgreSQL похожий на Google-sheets или Airtable. Интереснейшая штука пригодна не только для простых задач, надо поизучать, возможно она конкурентноспособна в сравнении с Strapi, Directus и других DMS (Data management system) и HCMS (Headless CMS).

- Predicting wine quality using chemical properties [4] исследование энтузиаста в области food science с созданием предсказательной модели оценки качества вина на основе химических свойств.

- I made JSON.parse() 2x faster [5] очень практическая, техническая статья о том как автор существенно ускорял разбор JSON документов для интеграции Javascript движок Hermes.

- Toward a 21st Century National Data Infrastructure: Mobilizing Information for the Common Good (2023) [6] исследовательский отчёт о создании национальной инфраструктуры данных в США. Текст подробный, со многими полезными упоминаниями существующих проектов.

- The URBAN AI GUIDE [7] от французских исследователей руководство о том как применять ИИ в городском контексте

- datacatalogs.ru update [8] наш коллега по Инфокультуре, Глеб Свечников пишет в LinkedIn о работе над обновлением интерфейса datacatalogs.ru, полезно всем кто думает о визуализации коллекций разных данных, не только каталогов данных


Ссылки։
[1] https://ai.googleblog.com/2023/02/datasets-at-your-fingertips-in-google.html
[2] https://medium.com/@ibegtin/dataset-search-engines-as-global-data-discovery-tools-a0dfc981ea9d
[3] https://github.com/centerofci/mathesar
[4] https://spiralizing.github.io/DSEntries/WineQuality/
[5] https://radex.io/react-native/json-parse/
[6] https://nap.nationalacademies.org/read/26688/chapter/1#v
[7] https://urbanai.fr/our-works/urban-ai-guide/
[8] https://www.linkedin.com/pulse/datacatalogsru-update-gleb-svechnikov/

#readings #data #ai #opendata

Чума, война и утечки данных (с)

Как и многие, я слежу за тем сколь многие данные утекают сейчас из российских сайтов, информационных систем и сервисов. Причём если раньше были утечки у коммерческих компаний и их продуктов, вроде утечек СДЭК, Деливери.Клаб, Яндекс.Еда и Вкусвилл и регулятор(-ы) чуть ли не сразу заговорили об оборотных штрафах, а пользователи, не без оснований, возмущались непомерно малыми штрафами. Я знаю какое-то количество людей до сих пор расстроенных что не получили компенсации от коммерческих компаний после масштабных утечек.

Однако, лично меня ещё тогда заботил вопрос, а что будет когда утечки данных начнут происходить с сайтов госорганов или госкомпаний или разного рода гос-НКО. Им регулятор тоже будет грозить оборотными штрафами?
И вот что можно пронаблюдать сейчас։
- утечки персональных данных из как минимум трёх продуктов Сбера։ Сберлогистика, СберПраво и СберСпасибо
- утечки персональных данных проектов Агентства Стратегических Инициатив
- утечка данных о зарегистрированных пользователях с сайта Минтруда
- утечка данных о сотрудниках и студентах НИУ ВШЭ

Ссылки я приводить не буду, ищущие да и обрящут. Про большую часть упомянутого писали, или СМИ, или профильные телеграм каналы.

И? Где регулятор? Где тотальная проверка организаций после утечек? Где публичные расследования и увольнения руководителей по ИТ и инфобезу если они вообще там есть?

Коммерческие компании, при всех их недостатках, всё это время реагировали куда адекватнее на утечки их данных. Так что всё это показывает, и регулятора, и затронутые госструктуры крайне неприглядно.

Тут есть ещё два немаловажных факта о которых нельзя не упомянуть։
1. Сбер - это не только множество сервисов для потребителей, но и ГосТех. Только если в случае СберПрава вы идёте и пользуетесь им добровольно, то ГосТех - это история принудительная. А что если ГосТех протечёт ...? Пока не так страшно, потому что я давно уже пишу что ничего критического они туда ещё не поместили, но нынешней репутацией Сбербанка сама затея становится ещё более сомнительной.
2. Стремительное закрытие госорганами многих доступных данных, вроде госзакупок, субсидий, данных об учредителях и владельцах недвижимости было, в первую очередь, чтобы скрыть их от журналистов расследователей. Резонный вопрос теперь, а толку то? У журналистов расследователей теперь на руках с каждой неделей всё больше данных из утечек. На их основе можно проводить довольно серьёзный анализ, и то что ещё не так много было публикаций, так это только потому что это персональные данные и этические ограничения.


#data #leaks #privacy #government

Open Data Fabric - открытый протокол/спецификации по обработке данных с использованием Web 3.0 и умных контрактов. Малоизвестно широкой публике и большинству дата-инженеров, разработано компанией Kamu в 2020 г. [1] как часть их платформы по работе с корпоративными данными в среде распределённых реестров. Любопытно детальностью проработки спецификации, наличием инструмента для работы и то что продукт и спецификация развиваются. За пределами экосистем вокруг блокчейна всё это выглядит экзотикой, особенно обработка данных на IPFS, всё это далеко от Modern Data Stack, но внимания всё же стоит, тут могут быть интересные идеи как минимум.

Поэтому из плюсов - хорошо проработанная спецификация. Из минусов - абсолютная ориентация на плоские простые таблицы и схемы и SQL для реконструкции наборов данных. Никакие иные данные кроме табличных не рассматриваются.

И туда же ещё ряд похожих проектов։
- Holium [2] - движок по обработке данных поверх IPFS
- Bacalhau [3] платформа для выполнения задач по обработке данных поверх IPFS по модели Compute Over Data [4]

Про Compute Over Data отдельный разговор, это явление из Protocol Labs почти полностью закольцованное на экосистему Web 3.0, блокчейна и тд. Лично я не видел до сих пор ни одного применения продуктов из этой среды коммерческими компаниями за пределами мира "крипты" что доверия им не добавляет.

Но, возвращаясь к спецификации и Open Data Fabric, сама по себе она может быть интересной.

Ссылки։
[1] https://docs.kamu.dev/odf/
[2] https://docs.holium.org/
[3] https://docs.bacalhau.org/
[4] https://www.cod.cloud/

#openprotocols #openspecifications #data #etl

Буквально минут через 20 начнётся GPT-4 Developer Livestream [1] с демо работы GPT-4 для разработчиков.
А совсем свежая информация о только что вышедшем продукте GPT-4 есть на сайте OpenAI [2].

Ожиданий у рынка очень много, лично я также внимательно слежу и думаю для таких задач можно такой продукт применить.

Ссылки։
[1] https://www.youtube.com/watch?v=outcGtbnMuQ
[2] https://openai.com/product/gpt-4

#openai #gpt4 #languagemodels #ai

Пока единственный вывод из демо GPT-4 для разработчиков в том что это "ещё более лучшая замена StackOverflow". Помощь в поиске ошибок в коде, актуализация под последнюю документацию к программным продуктам и человеко-понятные и объясняющие ответы с примерами готового кода. Всё это в совокупности неплохо, хотя и далеко от страхов что вот-вот и ИИ заменит разработчиков. Поиск ответов на вопросы - это лишь небольшая часть отладки кода, которая может отнимать до 90% при разработке кода. Поэтому продуктивность команд разработки GPT-4 может поднять, но будет ли оно более значимым чем другие инструменты разработки на базе ИИ или развития no-code и low-code платформ, вот в чём вопрос.

В целом у меня осталось чувство что, то ли сами разработчики пока не раскрывают весь потенциал применения, то ли они его ещё не знают/не ощутили.

#openai #ai #softdev #gpt4

Свежий обзор платформ для соревнований в машинном обучении The State of Competitive Machine Learning 2022 Edition [1] в форме подробного сравнения и отчета за год. Авторы сравнивали Kaggle, Tianchi, CodaLab, Zindi и других, всего 11 платформ.

Самое любопытное։
- безусловная лидирующая платформа это Kaggle с более чем 10+ миллионами участников и общим годовым призовым фондом за 2022 год в 1.7 миллиона долларов
- конкурсы академических структур менее популярные чем от коммерческих компаний и самих платформ
- Python - язык победителей. Почти все кто выигрывал соревнования писали на Python, за редким исключением соревнований где использовался C++
- авторы выявили так называемый winning toolkit [2] технологический стек которым преимущественно пользуются победители соревнований
- примерно 50% победителей в конкурсах - это одиночки
- некоторые участники серьёзно вкладываются в оборудование для победы, но, при этом, многие до сих пор выигрывают даже за счёт бесплатных или очень дешёвых онлайн серверов.

Ссылки:
[1] https://mlcontests.com/state-of-competitive-machine-learning-2022/
[2] https://mlcontests.com/winning-toolkit/

#machinelearning #stateof #reports #readings

Мы продолжаем пополнять наш проект Каталог каталогов данных (datacatalogs.ru)

На этот раз в него включены сервера геоданных и ГИС порталы России и Казахстана на базе продуктов Geonetwork и Geoportal։
- Сервер геоданных портала Новые инвестиционные проекты Минэкономразвития России https://mnp.economy.gov.ru/geoserver/web/
- Сервер геоданных портала Московский транспорт https://transport.mos.ru/geoserver/web/
- Информационно-аналитическая среда для поддержки научных исследований в геологии http://geologyscience.ru/
- Геопортал Калининградской области https://geoportal.gov39.ru/
- ГИС-портал Спутникового Центра ДВО РАН http://gis.satellite.dvo.ru
- ГИС-портал проекта Национальная инфраструктура пространственных данных Республики Казахстан https://map.gov.kz

#opendata #datacatalogs #datasets

Комментарии к происходящим российским новостям про рынок данных։
- о докладе ЦБ РФ про использование данных в фин. рынке [1] если вкратце, то проблема с качеством данных неизбежна потому что решать её можно только за счёт того чтобы все собираемые данные использовались бы для аналитики, как минимум. Если данные не используют, то их и не чистят и не верифицируют, и они как бы есть, но, как бы, непроверенные.

- о том что в Минцифре создаётся департамент больших данных и искусственного интеллекта. Я бы сказал так, у Минцифры большие провалы в системной, стратегической и нормативной работе и, при этом, если некоторые успехи в проектной работе и существенные успехи в антикризисной, кто бы что там говорил, на фоне других ФОИВов конечно. Вот этот департамент оказывается опять про проектную работу, а не про стратегии и про регулирование. Хорошо ли это? Я лично считаю что стратегии первичны, проекты вторичны.

- о слухах что Минэкономразвития собираются переносить портал открытых данных на платформу Гостех. Я скажу так, минус на минус плюсом не будет. Лично меня уже давно попустило то что российский федеральный портал открытых данных оказался настолько плох, я уже не вижу смысла объяснять тем кто его ведёт почему они делают это плохо и как делать это нормально, потому что это вопрос не технологий, а политической воли к раскрытию ключевых наборов данных и последовательной госполитики в открытости. И того и того сейчас есть достаточно острый дефицит.

Ссылки:
[1] https://www.cbr.ru/Content/Document/File/145403/Consultation_Paper_14032023.pdf

#opendata #itmarket #data #regulation

В рубрике интересного чтения про данные, технологии и не только։
- Reproducible Analytical Pipelines [1] методология построения воспроизводимых труб данных используемая командами правительства Великобритании. Например, с помощью такого подхода их статистическая служба сейчас создаёт так называемые быстрые индикаторы (fast indicators) в виде оперативных показателей реального времени с частотой обновления от 1 недели до 1 часа. [2]

- The Past, Present, and Future of Data Architecture [3] обзор современной архитектуры работы с данными, по сути краткое введение в Data Mesh. Мне многое нравится в этом подходе, data mesh дает акцент на хранении первичных данных и на систематизации/каталогизации данных, однако есть много усложняющих практических аспектов в том что все любят работать с данными и мало кто любит их документировать.

- How Ahrefs Saved US$400M in 3 Years by NOT Going to the Cloud [4] с одной стороны ничего нового, а с другой стороны очень конкретное напоминание что крупнейшие облачные сервисы - это очень удобно и очень дорого, если можно ими не пользоваться, то нужно ими не пользоваться.

Ссылки:
[1] https://analysisfunction.civilservice.gov.uk/support/reproducible-analytical-pipelines/
[2] https://dataingovernment.blog.gov.uk/2023/02/14/using-data-science-for-next-gen-statistics/
[3] https://medium.com/@diogo22santos/the-past-present-and-future-of-data-architecture-bd23dea0654b
[4] https://tech.ahrefs.com/how-ahrefs-saved-us-400m-in-3-years-by-not-going-to-the-cloud-8939dd930af8

#readings #data #dataengineering #uk #government

Интересное чтение про данные, технологии и не только, подборка научных статей։
- Open data-set identifier for open innovation and knowledge management [1] авторы рассуждают о создании OpenDatId, уникального идентификатора для открытых данных. Сама статья, к сожалению, не к открытом доступе.

- Towards a Common Definition of Open Data Intermediaries [2] статья вокруг нового понятия open data intermediaries или по-русски "посредники открытых данных". Любопытно, но слегка наукообразно, а не практично. Статья в открытом доступе

- Open science: Scientists are in favor, what about the librarians? [3], по-русски Открытая наука: учёные – «за», а библиотекари? автор Людмила Шевченко из ГПНТБ СО РАН [4]. О том что библиотекарям необходимо пересмотреть отношение к открытой науке. Статья в открытом доступе

- How the Digital Transformation Changed Geopolitics [5] о том как цифровая трансформация (гос-ва и не только) поменяло геополитику. Статья политизирована насквозь, но отражает один из взглядов последствий развития дата-экономики (data-driven economy).

Ссылки։
[1] https://www.emerald.com/insight/content/doi/10.1108/JKM-07-2022-0514/full/html
[2] https://dl.acm.org/doi/10.1145/3585537
[3] https://ntb.gpntb.ru/jour/article/view/1081
[4] http://www.spsl.nsc.ru/professionalam/bibliosfera/avtorskij-ukazatel/shevchenko-lyudmila-borisovna/
[5] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4378419

#opendata #data #readings #articles

Authoritarian Privacy [1] свежая научная статья в открытом доступе о том как развиваются законы о приватности в авторитарных режимах. Нет, не в России, но в Китае.

Статья ориентирована на читателя знакомого с законами о приватности в демократических странах и рассказывает о разнице в регуляторных подходах, природе самого регулирования и в ней же хорошо систематизированы и множественно приведены примеры проблем с приватностью. Например, там наглядные примеры торговли биометрическими данными и госрегулирование распознавания лиц, но не только.

При этом, судя по примерам в статье, само китайское общество гораздо более активно чем российское, к примеру, самоорганизуется для защиты приватности. Например, история с профессором Guo Bing в 2019 году который потребовал чтобы его биометрические данные (изображение лица) были удалены из системы сафари-парка где от него потребовали такой идентификации и есть немало других подобных примеров.

Ссылки։
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4362527

#privacy #china #facerecognition

По поводу новости о том что российский портал открытых данных собираются переносить на Гостех и потратить на это всё 50 миллионов рублей [1] мне много что есть сказать, в первую очередь анекдотом «Когда в борделе продажи падают, надо работниц(-ков) менять, а не кровати переставлять».

Российский портал открытых данных, хотя и сделан очень криво, на довольно идиотских методических рекомендациях (нигде такого в мире нет), без нормального API и ещё много чего, но кривых национальных порталов открытых данных в мире какое-то количество есть. Сделан он плохо, но проблемы с доступностью данных даже не в нём, а в том он не является частью госполитики ни коим образом. Нет ни одного действующего плана по открытости органов власти, нет раскрытия данных по ключевым общественным событиям, достаточно вспомнить тот же ковид, нет ответственных ни на уровне органов власти, ни на уровне пр-ва РФ за развитие открытости гос-ва и тд.

С учётом этого всего портал оказывается огромной цифровой помойкой, забитый наборами данных в 3 строки, от муниципалитетов и без практического применения где бы то ни было. Я могу от себя сказать что за всё время существования портала открытых данных не было ни одного случая когда я и моя команда в Инфокультуре использовала бы на практике данные публикуемые на data.gov.ru. Потому что, либо данные там отсутствовали, либо устарели, либо автоматизированный доступ к ним был невозможен (бессмысленное и непригодное для работы API) и во всех случаях можно и предпочтительнее было работать с первоисточниками данных.

Ссылки։
[1] https://t.me/CynExp/4126

#opendata #closeddata #russia

Яндекс выкладывает в опенсорс одну из основных инфраструктурных BigData-систем собственной разработки — YTsaurus. Это платформа, предназначенная для распределённого хранения и обработки больших данных.

Максим Бабенко, руководитель отдела технологий распределённых вычислений в Яндексе, рассказал историю возникновения YT, а также зачем нужна YTsaurus и где её можно применять.

В Github-репозитории — серверный код YTsaurus, инфраструктура развёртывания с использованием k8s, а также веб-интерфейс системы и клиентский SDK для распространённых языков программирования — C++, Java, Go и Python.

Ссылки на посты на Хабре и Медиуме.

В рубрике как это работает у них проект Sciencebase.gov [1], каталог публикаций, материалов, карт и геоданных Геологической службы США (USGS). В каталоге содержится более 50 тысяч наборов данных связанных только с геологическими исследованиями, там же публикуются выпуски данных геологической службы и данные полученные исследователями и научными службами финансируемыми USGS.

Интересно и то что этот репозиторий лишь один из нескольких десятков аккредитованных USGS как рекомендуемых к публикации научных данных [2], все они, либо государственные, либо академические, либо от консорциумов университетов/научных центров.

В случае Sciencebase у всех записей большой объём метаданных включающий геокоординаты набора данных, уникальные идентификаторы, информацию о авторах, организации и многое другое.

Ссылки։
[1] https://www.sciencebase.gov/catalog/
[2] https://www.usgs.gov/office-of-science-quality-and-integrity/acceptable-digital-repositories-usgs-scientific

#opendata #openaccess #openscience