Команда OpenAI представили новый продукт на основе языковой модели GPT-3. Этот продукт Codex создан чтобы переводить естественный язык в программный код. В видео представления продукта можно увидеть как он оперативно и довольно точно пишет код [1] руководствуясь довольно конкретными фразами. Тем кто считает что жизнь программистов будущего беспечна стоит задуматься о том уже скоро профессия может претерпеть существенные и, возможно, необратимые изменения. Вместо программистов будут нанимать "инженеров управления робо-программистами", а low-code и no-code платформы станут доступны самым неопытным пользователям/заказчикам программ.

Я бы предсказал ещё и появление нового поколения BI систем с голосовыми помощниками где руководители смогут сами формулировать показатели и частоту их обновления. Без кода, без аналитиков, без программистов. Думаете невозможно?

Ссылки:
[1] https://www.youtube.com/watch?v=SGUCcjHTmGY

#gpt3 #openai #automatedprogramming

Честно говоря меня поражает как в 2021 году компании которые вроде бы умеют в открытый код, всё ещё не умеют/не понимают открытые данные. Хорошая новость в том что в исследовании "Как называется это место?
Населённые пункты на карте России" [1] в коей то веки команда исследователей Яндекса опубликовали данные [2]. Для некоммерческого использования, конечно, но и понятно. Но совершенно удивительно что в Яндексе нет людей знающих что такое свободные лицензии, Creative Commons или ODBl. Такое ощущение что данные публиковались специально именно таким образом чтобы их нельзя было легально загрузить в Википедию или OpenStreetMap.

Впрочем Яндекс это лишь один из примеров дата-корпораций живущих по модели data-in, no data-out (DINDO). Подобных DINDO корпораций довольно много, тот же Facebook до того как запустили инициативу Data for Good вполне были DINDO, в общем много таких. Что, впрочем, не оправдывает нынешних строителей суверенных экосистем во всепоглощающем пожирании данных и почти полном отсутствии политики их раскрытия для общественного блага.

Ссылки:
[1] https://yandex.ru/company/researches/2021/oikonyms
[2] https://yastatic.net/s3/milab/2021/toponyms/data/RussianOikonymsDataset.zip

#opendata #yandex #datasets

NOAA сообщают что этот июль был самым жарким [1]. Похоже что текущими темпами мы застанем последствия глобального потепления гораздо раньше.

Интересно, куда двинется развитие технологий после этого? В стороны повышения эффективности сельского хозяйства? В сторону бегства человечества от реальности? В сторону тотального контроля за населением?

Ссылки:
[1] https://www.noaa.gov/news/its-official-july-2021-was-earths-hottest-month-on-record

#future

Вышел отчет Всемирного экономического форума Developing a Responsible and Well-designed Governance Structure for Data Marketplaces [1] об инициативе Data for Common Purpose Initiative [2] и фокусе на Data Marketplace
Service Providers (DMSPs) (новый термин характеризующий сервисы каталогов и рынков данных).

Заход интересен в акценте именно на Data Marketplaces, с фактически, рекомендациями регулировать именно их, в каком-то смысле, подходами близкими к регулированию бирж. Подход вполне понятный, но что-то мне подсказывает что маловероятно что он приживётся.

Ссылки:
[1] https://www.weforum.org/reports/developing-a-responsible-and-well-designed-governance-structure-for-data-marketplaces
[2] http://www3.weforum.org/docs/WEF_WP_DCPI_2021.pdf

#data #regulation #reports

Ирина Юзбекова в Forbes пишет о том что Google может, по факту, перестать выполнять 149-ФЗ если суд заставит его разблокировать Царьград [1].

Я лично ставлю на то что скорее Царьград останется заблокированным, а Google останется в России. Но гарантии этого нет, а вот уход Google с российского рынка для многих может оказаться очень болезненным.

Ссылки:
[1] https://www.forbes.ru/tehnologii/437419-google-predupredil-o-riskah-dlya-rossii-v-sluchae-proigrysha-v-sude-cargradu

#google

Напоминаю что завтра с 13:00 по Москве буду вести вебинар по организации веб-архивов.

Буду говорить о том кем, как, зачем веб-архивы ведутся. Если Вы планируете участвовать и заранее у Вас есть вопросы, можете написать их заранее и я постараюсь ответить.

Регистрация тут https://infoculture.timepad.ru/event/1733872/

#archives

В рубрике регулярные интересные наборы данных коллекция машиночитаемых текстов библий [1] в форматах XML и JSON. Тексты на 13 языках, включая синоидальный перевод на русском языке. Все данные свободны для некоммерческого использования и опубликованы под лицензией CC-BY-NC.

Ссылки:
[1] https://github.com/thiagobodruk/bible

#datasets #data #opendata

Одна из моих "любимых тем" - это культура работы госорганов с программным обеспечением и массовое использование пиратского ПО. В 2019 году я писал об этом большой пост в блоге [1] со сравнением органов власти. Если, в целом, использование пиратского ПО померять сложно, то для Microsoft Office это возможно потому что пользователи часто ставят ПО из файлопомоек и не меняет метаданные пиратских команд вшитые в эти офисные пакеты по умолчанию. Выявляются такие инсталляции через наличие меток вроде "RePack by SPecialiST, MoBIL GROUP, WareZ Provider, Dnsoft, SPecialiST RePack, NhT, Grizli777, DG Win&Soft, Reanimator Extreme Edition, DreamLair, DrAGoN CorP, Krokoz™, MultiDVD Team, SamForum.ws, diakov.net" в метаданных Company для файлов .doc, docx, xls, xlsx, ppt и pptx ну и ряда других более редких.

Годы идут, кажется что тема стала менее актуальной, но не совсем. Одно из применений цифровой архивации госсайтов которую я сейчас веду в цифровом архиве [2] - это извлечение метаданных из файлов на сайтах госорганов. Когда-то я сделал для этого утилиту metawarc [3] которая извлекает метаданные из WARC файлов веб-архивов.

Опуская дальнейшие технические подробности повторюсь что как использовали пиратское ПО так и используют. На сайте Минцифры, к примеру, как минимум 3 презентации за 2019 год имеют метку SPecialiST RePack:
- https://digital.gov.ru/uploaded/files/sistema-i-struktura-realizatsii-np-tse-na-territorii-vo.pptx
- https://digital.gov.ru/uploaded/files/byichkov-ke25-1.pptx
- https://digital.gov.ru/uploaded/files/3-tsod-gorkavenko-dmitrij.pptx

Правда, одна из них от ИКС Холдинг, другая от Правительства РСЯ, а третья от представителя Правительства Вологодской области. То есть, как бы, не сотрудники Минцифры. А вот от сотрудников Минцифры в 2020 году только один документ - https://digital.gov.ru/uploaded/files/7uvedomlenie-o-voznik-konf-interesov2020.docx
но и он по шаблону от 2015 года.

Оговорюсь лишь что это по результатам анализа 582 файлов и то что сайт не заархивирован ещё полностью и анализировались только первые 13 выгруженных гигабайт.

Статистику 2-х летней давности я публиковал на data.world [3], новые цифры будут уже в каталоге DataCrafter'а [4].

P.S. На самом деле можно всё это анализировать и без тотальной выгрузки сайтов, но такой анализ скорее развлечение чем осмысленная деятельность поэтому в приоритетах у меня другие исследования/расследования пока.

Ссылки:
[1] https://begtin.tech/government-piracy/
[2] https://ruarxive.org
[3] https://data.world/infoculture/government-piracy
[4] https://beta.apicrafter.ru

#piracy #government

Zoom поймали на лжи о end-to-end шифровании и передачи данных Facebook и Google [1].

Новость не из неожиданных, потому что Zoom уже ловили на передаче данных в Китай [2].

Много подробностей в комментариях у Брюса Шнаера [3] и, я тоже не могу не прокомментировать что единственный способ избежать ухудшения ситуации с торговлей данных - её легализация и регулирование. Особенно в отношении особо крупных "экосистем" и мегакорпораций.

Ссылки:
[1] https://arstechnica.com/tech-policy/2021/08/zoom-to-pay-85m-for-lying-about-encryption-and-sending-data-to-facebook-and-google/
[2] https://www.businessinsider.com/china-zoom-data-2020-4
[3] https://www.schneier.com/blog/archives/2021/08/zoom-lied-about-end-to-end-encryption.html

#zoom #data

VC.ru написали про приложение Минцифры AppList [1] текст в стиле "А кому оно вообще нужно?", вопрос резонный и я с ним согласен. А кому? Ну и жаль что коллеги из Минцифры не отвечают на вопросы журналистов. На мои, правда, тоже отвечают что-то редко;)

Ссылки:
[1] http://vc.ru/tech/281811

#privacy

В рубрике интересные наборы данных, базы датасетов от GWU Libraries с собранными данными из соцсетей в контексте конкретных событий [1] вроде выборов президента в США, выборов в конгресс или коронавируса.

В основном данные из Twitter'а поскольку их собрать куда проще чем из других соц. сетей.

Ссылки:
[1] https://dataverse.harvard.edu/dataverse/gwu-libraries

#opendata #datasets

Фонд президентских грантов опубликовал данные по всем заявкам и результатам их реализации в разделе открытые данные [1]. Данные в Excel, зато весьма подробные. Идеально было бы, конечно, увидеть полные данные которые есть на карточках проектов на сайте Фонда и сами данные в форматах CSV/JSON, но и эта публикация уже очень хорошо потому что зная состояние сектора для многих в среде НКО и Excel'ем то пользоваться не всегда привычно.

А тут много данных и все полезные. Мы добавим их в наши некоммерческие проекты Открытые НКО [2] и Хаб открытых данных [3], а также в DataCrafter [4]

Ссылки:
[1] https://президентскиегранты.рф/public/open-data
[2] https://openngo.ru
[3] https://hubofdata.ru
[4] https://beta.apicrafter.ru

#datasets #ngo #openngo

Хороший обзор стартапов и тренда на рост значимости качества данных (data quality) по частоте упоминания в резюме, росту инвестиций в эту отрасль и другие признаки [1].

Я ранее уже упоминал весьма любопытные стартапы Soda [2] и Anomalo [3], а в этом обзоре ещё упоминаются Aquarium [4] и Datafold [5] и многие другие.

Качество данных, действительно, одна из ключевых задач инженерии данных и большой растущий рынок для инструментов в этой области.

Ссылки:
[1] https://gradientflow.com/data-quality-unpacked/
[2] https://t.me/begtin/2810
[3] https://t.me/begtin/2388
[4] https://www.aquariumlearning.com
[5] https://www.datafold.com/

#data #dataquality

Но есть и хорошие новости.

В кои-то веки разумное регулирование, направленное на преодоление провала рынка "асимметрия информации":
"В частности, новые правила обяжут кинотеатры предупреждать зрителей о том, сколько минут будет длиться реклама и показ трейлеров перед началом самого фильма. Эта информация будет размещена в зоне кассового обслуживания. Таким образом зрители смогут лучше рассчитать своё время и не опоздать на сеанс." #MarketFailure #AcasymmetricInformation #правительство #кино
http://government.ru/news/43025/

В рубрике позорных форм публикации открытых данных актуальный пример - "Информационная система дистанционного мониторинга Федерального агентства лесного хозяйства" [1].

Сразу на главной странице вебсайта системы есть выбор открытых данных где можно выбрать данные за конкретный день (?!) и просмотреть их в форматах изображений или на карте.

К примеру, температурные аномалии представлены исключительно в форме картинки с геотермами [2], но, если эти данные ещё хоть как-то можно обосновать почему он публикуется именно так, то отчет по данным космического мониторинга [3] и погодные условия [4] выглядят исключительно как издевательство, будучи опубликованными в виде сканов таблиц из MS Word / MS Excel.

Такое невозможно сделать случайно, только осознанно чтобы снизить доступность данных для потребителей.
Аналогично с картой [5], экспортировать её можно, а получить данные по пожарам, кроме как наводя вручную, нет.

Это, конечно, никакие не открытые данные, там вообще данные не публикуются, а только некая продукция на их основе.

Казалось бы очевидные вещи, но нет, поэтому это особо показательный пример когда вроде как говорят что данные есть, а на самом деле их нет.

Чтобы данные из этой системы были доступны и востребованы они должны бы публиковаться:
- в машиночитаемых форматах CSV, XML, JSON
- с длинными рядами исторических значений за всю историю наблюдения
- с возможностью скачать всё сразу, а не по дням

Ссылки:
[1] https://public.aviales.ru/main_pages/public.shtml
[2] https://public.aviales.ru/main_pages/anom_temp.shtml?6_2021-08-17
[3] https://public.aviales.ru/main_pages/openform1.shtml?2021-08-17
[4] https://public.aviales.ru/main_pages/openform2.shtml?2021-08-17
[5] https://public.aviales.ru/mapviewer/cgi/public_tiles.pl?1629158403000

#opendata #data #rosleshos #fires

Что меня тревожит в этих вот нацпроектах, так это удивительная "тишина" в официально публикуемых материалах.

К примеру, выдался у меня интерес посмотреть материалы по Нацпроекту "Экология", а на сайте Росводресурсов последний документ за март 2020 года [1], это, позвольте, но почти 1,5 года назад.
По госпрограммам также, вот только 10 августа у Росводресурсов появился отчет на сайте [2], а до этого год тишины, с конца июля 2020 года.

А сайт национальныепроекты.рф [3] пустой, там даже новости не публикуются.

Или вот раздел Нацпроект Экология [4] на сайте Минприроды РФ, тоже пустой, только паспорт проекта не понять какой актуальности.

Очень хочется спросить - что за хрень творится то?

Ссылки:
[1] https://voda.gov.ru/activities/natsproekt-ekologiya/
[2] https://voda.gov.ru/activities/gosudarstvennye-programmy-rossiyskoy-federatsii-i-federalnye-tselevye-programmy/
[3] https://национальныепроекты.рф/projects
[4] https://www.mnr.gov.ru/activity/directions/natsionalnyy_proekt_ekologiya/

#openness #ecology

Я напомню что 2 года назад я писал про нацпроекты и не грех напомнить.

В публикации "Могут ли успешно завершиться национальные проекты?" [1] начальный текст о странностях нацпроектов и заметка "Национальные проекты или бег по кругу" [2] со сравнением ФЦП, Национальных приоритетных проектов, Госпрограмм и Национальных проектов.

А потом ещё в сентябре 2019 года я писал колонку в РБК "Информационный барьер: как нацпроекты сделали бюджет менее прозрачным" [3].

В общем-то сейчас, когда смотришь на то что предполагалось, и то как всё происходит, разница между госпрограммами и нацпроектами видна лишь в том что госпрограммы хотя бы являются документами стратегического планирования. Я вспоминаю (и у меня есть архив сайта) по приоритетным национальным проектам 2005-2008 годов и даже тогда публиковалось гораздо больше сведений о их ходе и было очень мало расходов на "пиар". А сейчас пиар виден, а документы где?

По опыту предыдущих наблюдений все эти понятия живут недолго от 4 до 8 лет и я готов поспорить что не пройдет и 1-2 лет как нацпроекты начнут заменять на что-то новое. На что именно - ещё придумают. Будут какие-нибудь "Многоцелевые умные долгосрочные акцентированные комплексные инициативы" или "Жизненно-ориентированные программы-акценты".

Но вот с качественными изменениями что-то не очень заметно, а вот отсутствие сведений и снижение прозрачности заметно очень хорошо.

Ссылки:
[1] https://begtin.tech/natprojects-failready/
[2] https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/
[3] https://www.rbc.ru/opinions/economics/20/09/2019/5d81e9f99a7947a59b1f7cea

#opendata #nationalprojects

Для тех кто интересуется приватностью и является юристом одновременно, рекомендую курсы которые организуют Digital Rights Center.

​​Интенсив для IT-юристов с 13-17 сентября

Сегодняшний мир неизбежно уходит в интернет, а вместе с ним возникает и необходимость регулировать отношения во всемирной паутине. В том числе — и в сфере цифрового права.

▪️Как правильно разместить рекламу в интернете?
▪️Как оформить и защитить права на доменное имя сайта?
▪️Что делать, если возник юридический конфликт с хостинг-провайдером?
▪️Как лучше и безопаснее всего начать освоение криптомира?

Если вы хотите лучше разбираться в этих и других вопросах — записывайтесь в «Школу киберправа»! Наш новый курс будет проходить в Москве с 13 по 17 сентября 2021 года.

Программа обучения будет состоять из 7 модулей:

1. Intermediaries & ISP
2. Tax & Ad
3. IP & Copyright & Domains
4. Big Data & AI
5. Privacy & Security
6. Forensic
7. Digital assets & crypto/blockchain

5 дней, 11 экспертов, 8 модулей, 45 академических часов актуального материала от лучших практикующих экспертов. Не только теория, но и разбор кейсов из реальной практики. По результатам обучения каждый участник курса получит удостоверение государственного образца о повышении своей квалификации в области киберправа.

В связи с непростой эпидемиологической обстановкой мы предлагаем опциональное и дистанционное участие в обучении. Таким образом вы можете выстроить свой персональный график очного/заочного посещения занятий. Задать интересующие вопросы можно по телефону +7 (926) 353-89-41, а также по электронной почте dv@digitalrights.center.

Старт занятий уже 13 сентября, поэтому регистрируйтесь уже сейчас: https://clck.ru/Wuunc