Ivan Begtin
7.97K subscribers
1.8K photos
3 videos
101 files
4.51K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Правительство Австралии направляет специальных агентов по рекрутингу талантливых специалистов в страны/регионы где их можно рекрутировать [1]. Конечное цель - нанять 5000 лучших специалистов.

На фоне обсуждений в Германии по введению безвиза для российской молодёжи [2] это всё повод задуматься с кем и чем мы останемся через несколько лет.

Улучшение бизнес климата, инвест климата и, самое главное, качества жизни - это вопросы глобальной конкуренции стран. Чем менее комфортна будет Россия, тем легче специалисты будут покидать страну, тем более что в других странах всё больше условий для подобного.

А вот можно ли в России запустить аналогичную программу и начать привлекать специалистов со всего мира? Есть ли у нас то чем можно привлечь тех же 5000 талантливых специалистов? Что уникального в нашей любимой родине, помимо вызовов и проверки на прочность, что может привлечь тех кто действительно что-то добился в своей профессии?

Ссылки:
[1] https://www.sbs.com.au/language/russian/ty-nuzhen-avstralii-rekrutery-otpravlyayutsya-za-granicu-dlya-poiska-5-000
[2] https://habr.com/ru/news/t/460585/

#people #australia #germany #talents
То что называют "мягким искусственным интеллектом" (soft AI) вляется подвидом ADM, Automated decision making (автоматизированное принятие решений). ADM системы могут быть очень простыми и базироваться на цепочках правил, а могут и достигать высокой сложности и использовать нейросети, быть построенными на алгоритмах глубокого обучения и так далее. Для конечного пользователя ситуация не меняется - он видит чёрный ящик получающий данные и выдающий решения.

AlgorithmWatch, германская НКО специализирующаяся на мониторинге этичности применения алгоритмов создали Atlas of Automation [1] где собрали 125 примеров применения алгоритмов принимающих решения без участия человека. Это и системы скоринга, и предсказания преступности, и профилирование потенциально социально-опасных персон и многое другое. Эта база является частью их доклада, доступного и на английском языке [2] .

Даже такой доклад по одной стране очень показателен. ADM системы применяются повсеместно и чем больше их будет в будущем, тем сильнее будет общественное давление против их применения.

Ссылки:
[1] https://atlas.algorithmwatch.org/en
[2] https://atlas.algorithmwatch.org/wp-content/uploads/2019/04/Atlas_of_Automation_by_AlgorithmWatch.pdf

#germany #adm #data
Во Франции законодатели приняли закон об удалении контента связанного с терроризмом или педофилией в течении 1 часа после получения уведомления от регулятора [1], для остальных видов нежелательного контента срок составляет 24 часа. Причём, в первую очередь, это касается международных компаний таких как Facebook, Twitter, Instagram, YouTube и других, поскольку штрафы рассчитываются в 4% от глобального дохода компании.

Закон довольно сильно похож на NetzDG [2], германский закон о защите от hate speech в котором установлены штрафы до 50 миллионов евро за его нарушения и также направленный против интернет-гигантов и крупнейших платформ.

Это важное отличие в регулировании в России и странах Европейского союза. Российское регулирование заточено под штрафы мелких местных компаний, фактически подталкивая крупных к нарушениям. А европейское регулирование построено по модели максимально крупных штрафов для крупнейших мировых игроков. Что хуже из этого? Российская модель регулирования в этой области, по сути не работает, а европейская ориентирована на защиту граждан, но не бизнеса, отчего крупнейшие цифровые игроки предпочитают другие юрисдикции, но и это не спасает в ситуации экс-территориального регулирования в ЕС.

[1] https://www.reuters.com/article/us-france-tech-regulation-idUSKBN22P2JU
[2] https://en.wikipedia.org/wiki/Netzwerkdurchsetzungsgesetz

#laws #france #germany #regulation
Роботизированная журналистика иногда пугает журналистов, но она, скорее про автоматизацию чернового труда и избавление этой профессии от чернорабочих рерайтеров. Хотя ещё и неизвестно станет ли профессии лучше от роботизации этого рерайта.

А вот технологические стартапы близкие к этой области возникают, хотя и часто называются по другому. Например, Ax Semantics [1], германский стартап по автоматизации копиратинга. Привлекли неизвестную сумму от 6 инвесторов [2] и продают сервис автоматизации отчетов, написания тестов, описания продуктов и так далее.

На самом деле такие авто-пишущие продукты наиболее востребованы именно в написании текстов для потребителей с описанием товаров.

Поэтому журналистам пока опасаться стоит гораздо меньше чем рядовым копирайтерам. Но в The Stuttgarter Zeitung уже автоматизируют с их помощью спортивные обзоры и обзоры качества воздуха, развивая у себя робожурналистику [3]

Ссылки:
[1] https://en.ax-semantics.com/
[2] https://www.crunchbase.com/organization/ax-semantics
[3] https://en.ax-semantics.com/portfolio/stuttgarter-zeitung

#opendata #data #robojournalism #datajournalism #germany #startups
Data trusts in Germany and under the GDPR [1] публикация Anouk Ruhaak из Algorithm Watch о том как устроено регулирование через альтернативные модели управления данными под названием "трасты данных" (data trusts). Трасты данных - это специальные организации уполномоченные правительством или пользователями на доверительное хранение и предоставление данных по запросу. В Австралии, к примеру, под data trust понимается предоставление государством доступа к данным которые обычно недоступны, а в контексте GDPR это модель когда Ваши данные хранятся не в дата-корпорации, а в специальной организации посреднике. Кстати, отечественную модель цифрового профиля можно отнести к таким трастам данных, только в данном случае он под контролем государства/ЦБ.

А в данном случае короткая записка на 19 страниц качественного исследования и рекомендаций по корректировке госполитики в Германии. Для России интересно тем что в Германии не общее, а континентальное право и больше вероятности что на него будут смотреть будущие регуляторы/законотворцы.

Ссылки:
[1] https://algorithmwatch.org/wp-content/uploads/2020/12/Data-trusts-in-Germany-and-under-the-GDPR-Anouk-Ruhaak-AlgorithmWatch-2020.pdf

#privacy #data #germany
В Германии в последние дни активно обсуждается и может быть усилено законодательство в защиту копирайта и могут быть введены фильтры на загрузку контента (upload filters). Об этом пишет Euroactive [1] с акцентом на то что это нарушает обещание правительства Германии 2-х летней давности. Правда, похоже, из-за общественного резонанса рассмотрение этого вопроса в прошедшую среду было отложено.

В любом случае можно наблюдать постепенное усиление правообладателей в давлении на крупнейшие цифровые платформы платформы и их пользователей.

Ссылки:
[1] https://www.euractiv.com/section/copyright/news/leak-german-government-reaches-agreement-on-copyright-law/

#copyright #germany
Германское правительство расширяет требования по обязательной открытости данных госорганов и госструктур. 10 февраля принят акт [1] который расширяет регулирование 2017 года и включает требования по публикации открытых данных организациям "indirect administration", не являющихся министерствами. Например, это разного рода институты, корпорации и фонды и иные структуры, за исключением малых организаций.

Для этого будут наняты координаторы открытых данных, но они будут обязательны только для организаций с административным аппаратом более 50 человек (таких организаций не так много).

Ссылки:
[1] https://www.euractiv.com/section/digital/news/german-government-will-make-more-data-publicly-available-with-new-law/

#opendata #germany #policy
Национальная стратегия работы с данными (Datenstrategie der Bundesregierung) была принята в Германии решение Правительства, 21 января 2021 года [1].

О ней писали [2] Deuche Welle, с небольшим пессимизмом, о том можно ли действительно достичь всех заложенных туда целей и о ней же есть декомпозиция у Simmons+Simmons [3].

На что стоит обратить внимание:
- создание инструментов с открытым кодом для работы с данными в соответствии со стандартами;
- разработка стратегии открытых данных (на самом деле обновление имеющейся);
- реализация директив по открытости данных и доступа к информации с учётом новых законов регулирующих данные.

Там ещё много разного, но в целом стратегию можно сформулировать как:
- развивать открытость данных и кода
- создавать инфраструктуру для работы с данными
- формировать культуру работы с данными
- защищать приватность и персональные данные
- развивать искусственный интеллект
- распространять принципы обмена данными в коммерческом секторе

И ещё довольно много всего. Нельзя сказать чтобы там было что-то совсем неожиданное или странное, важнее что всё собрано в один документ и именно он определяет основные направления развития не работы с данными органов власти, но и регулирования данных в Германии.

Ссылки:
[1] https://www.auswaertiges-amt.de/blob/610644/49a58b5ecfd5a78862b051d94465afb6/gestaltungsmaechtekonzept-engl-data.pdf
[2] https://www.dw.com/en/germanys-new-data-strategy-may-come-too-late/a-56372247
[3] https://www.simmons-simmons.com/en/publications/ckkp9wcs816rl0941llo7rbl8/new-data-strategy-of-the-german-federal-government

#opendata #data #datastrategy #germany
Bertelsmann Stiftung опубликовали каталог с 11 тысяч наборов данных муниципалитетов Германии [1]. Это более 100 муниципалитетов, с данными самой разной тематики. Все данные агрегировались с порталов этих муниципалитетов, хорошо систематизированы и доступны как открытые данные. Сама работа велась в рамках проекта Smart Country [2] и это, конечно, не единственный подобный проект в мире по агрегации муниципальных/гиперлокальных данных.

Ссылки:
[1] https://www.bertelsmann-stiftung.de/de/unsere-projekte/smart-country/musterdatenkatalog
[2] https://www.bertelsmann-stiftung.de/de/unsere-projekte/smart-country

#opendata #germany
Германия вступила [1] в International Open Data Charter, это было обязательство в рамках их 2-го плана по открытости [2]. Ранее, 27 января этого года Германия приняла [3] рамочную стратегию по работе с данными для федерального правительства Data Strategy of the Federal German Government [4], а в июле приняла стратегию открытых данных на основе стратегии работы с данными [5] (текст только на немецком языке).

Хартию открытых данных подписали уже десятки стран [6], на постсоветском пространстве это только Узбекистан и Украина.

Ссылки:
[1] https://www.open-government-deutschland.de/opengov-en/content/germany-adopts-the-international-open-data-charter-1947360
[2] https://www.open-government-deutschland.de/resource/blob/1687030/1686704/bf176dc680badd65142e0aaebd5a5184/2nd-action-plan-accessible-data.pdf?download=1
[3] https://www.bundesregierung.de/breg-en/news/data-strategy-adopted-1845882
[4] https://www.bundesregierung.de/resource/blob/998194/1950610/fb03f669401c3953fef8245c3cc2a5bf/datenstrategie-der-bundesregierung-englisch-download-bpa-data.pdf?download=1
[5] https://www.bundesregierung.de/resource/blob/975232/1940386/1d269a2ad1b6346fcf60663bdea9c9f8/2021-07-07-open-data-strategie-data.pdf?download=1
[6] https://opendatacharter.net/government-adopters/

#opendata #germany #charter
В рубрике "как публиковать данные" стандарт раскрытия данных о городской инфраструктуре CityGML 3.0 [1], разработан Open Geospatial Consortium, доступен вместе с референсной реализацией [2] под лицензией MIT и используется для описания физических объектов в городском пространстве, например, домов, малых архитектурных форм и тд.

Пример применения - набор данных LoD3 Road Space Models [3] в котором описаны более 50 домов города Ингольстадт в Баварии (Германия). Набор данных смоделирован по результатам мобильного лазерного сканирования (MLS) и не просто даёт картинку здания/объекта, но и декомпозирует и определяет все его конструкционные элементы.



Ссылки:
[1] https://www.ogc.org/standards/citygml
[2] https://github.com/opengeospatial/CityGML-3.0Encodings
[3] https://github.com/savenow/lod3-road-space-models

#opendata #datasets #urban #data #germany
Германский парламент как место для дискуссий и объект общественного наблюдения в проекте Open Parliament TV [1], созданном abgeordnetenwatch.de [2] при поддержке фонда Demokratie.io [3].

В проекте собраны видеозаписи всех дебатов парламента Германии с 2017 года и текстовые транскрипты к ним. Через поисковые запросы можно находить любые обсуждаемые темы, а при просмотре видео автоматически идёт движение и подсветка текста в транскрипте.

У всего этого открытый код на Python, PHP, Javascript [4] и открытые данные [5] через API, с хорошей спецификацией и документацией на хранимые данные.

Всё это возможно благодаря тому что Бундестаг открывает машиночитаемые данные у себя на сайте [6] и с помощью библиотеки aenas [7] возможность синхронизации текста и видео.

Авторы обещают постепенно подключать новые парламенты, как знать, может и до российских федерального и регионального парламента доберутся или может кто-то в России сделает это на основе их открытого кода.

Ссылки:
[1] https://de.openparliament.tv
[2] https://abgeordnetenwatch.de
[3] https://www.demokratie.io
[4] https://github.com/OpenParliamentTV
[5] https://de.openparliament.tv/api/
[6] https://www.bundestag.de/services/opendata
[7] https://www.readbeyond.it/aeneas/

#opengov #opendata #opensource #germany #parliaments
Совершенно свежая и поучительная история о том как один немецкий исследователь раскрыл секретное германское ведомство с помощью AirTag'а.

Если вкратце то один немецкий активист отправил AirTag подозрительному германскому федеральному ведомству и отследил его настоящие офисы.

А если подробнее то Лилит Витман, исследователь из Германии, утверждает что она раскрыла что Federal Telecommunications Service в Германии - это, на самом деле, "камуфляжная служба" и она изначально написала о том как столкнулась со службой которой не существует [1].

После чего она обстоятельно и методично собирала все возможные данные о этой структуре, вплоть до IP адресов и того чтобы проехаться мимо зданий [2].

После чего она отправила посылку с AirTag внутри и с помощью сервиса Apple Find My [3] следила за её движением и нашла что посылку переслали в Office for the Protection of the Constitution in Cologne. О чём она написала подробно в германоязычной Википедии [4]

А вся история на английском языке есть в Apple Insider [5].

История поучительна тем что современные технологии позволяют следить за теми кто следит. Можно рассмотреть много кейсов при которых можно выяснять немало интересного о существующих и камуфляжных государственных структурах.

Хочется надеяться что в России после этого AirTag не запретят.

Ссылки:
[1] https://lilithwittmann.medium.com/bundesservice-telekommunikation-wie-ich-versehentlich-eine-tarnbeh%C3%B6rde-in-der-bundesverwaltung-a8823f308536
[2] https://lilithwittmann.medium.com/bundesservice-telekommunikation-enttarnt-dieser-geheimdienst-steckt-dahinter-cd2e2753d7ca
[3] https://appleinsider.com/inside/Find-My
[4] https://de.wikipedia.org/wiki/Bundesservice_Telekommunikation
[5] https://appleinsider.com/articles/22/01/25/apples-airtag-uncovers-a-secret-german-intelligence-agency

#privacy #security #airtag #germany #specialagencies
Wir dokumentieren Deutschland

В рубрике как это работает у них проект bund.de [1] и его основательница Лилит Виттманн. Лилит с волонтерами занимается тем что находит недокументированные государственные API, документируют их и выкладывают документацию на сайт bund.de помогая повторному использованию данных. Фактически выполняют за правительство Германии ту работу которую они должны делать сами. Например, во Франции этим занимается государственная компания Etalab создавшая каталог api.gouv.fr

Из свежих работ Лилит и её команды - это превращение торгового реестра Германии (аналога российского ЕГРЮЛа) в машиночитаемую форму. С 1 августа в Германии он стал "открытым", но лишь частично, не в виде открытых данных. Она пишет у себя в блоге о том как они обрабатывают эти данные и собирают набор данных [2]. В общий доступ они его не выкладывают, но можно заполнить форму и получить их для исследовательских целей (это около 100ГБ).

То что делает Лилит и команда волонтеров - это то что волонтеры в Германии, Великобритании, России и т.д. делали ещё 10 лет назад. До появления национальных порталов открытых данных мы устраивали хакатоны и конкурсы по извлечению данных из открытых источников и превращению их в открытые данные.

Потом стали появлятся госинициативы, но не все из них были достаточно системы чтобы решить вопросы с доступом к данным, поэтому история ходит по кругу.

В прошлом году наша команда собрала более 100 открытых точек подключения к открытым недокументированным API информационных систем в России и сделать аналог bund.de или api.gouv.fr это несложно и быстро. Но время ещё, видимо, не пришло.

Кстати, Лилит Виттманн известна тем что когда-то вычислила секретное германское ведомство с помощью Airtag [3]. Так что боевая девушка, думаю что ещё станет депутатом Бундестага когда-нибудь или сделает политическую карьеру.

Ссылки:
[1] https://bund.de
[2] https://lilithwittmann.medium.com/bund-dev-wir-befreien-das-handelsregister-8168ad46b4e
[3] https://t.me/begtin/3473
#opendata #germany #opengov #api