Продолжаю обзоры открытых данных создаваемых не-государством. На сей раз данные о инфраструктуре Интернета.

M-Lab (Measurement Lab) [1] - это консорциум посвящённый измерению Интернета. Он включает:
- New America’s Open Technology Institute (OTI)
- PlanetLab Consortium
- Google Inc.
- и множество академических инститов.

Проект создан для непрерывного мониторинга за качеством связи в Интернете, публикации данных о текущем состоянии этой связи и визуализации этих данных наглядно.

В рамках проекта раскрываются огромные объёмы данных [2] хранящиеся на Google Storage [3]. Это по несколько гигабайт архивных данных ежедневно.

В M-Lab уже накоплены данные созданы такими инструментами как:
- Glasnost [4] - определение приоритизации или цензуры сетевого трафика
- NDT [5] - инструмент измерения трафика TCP под большой нагрузкой
- Neurobot [6] - инструмент сбора информации о скорости каналов, сетевом нейтралитете и цензуре
- NPAD [7] - инструмент измеряющий проблемы в сетевом пути влияющие на производительность
- OONI [8] - инструмент измерения цензуры, прослушки и манипуляции трафиком
- Paris Traceroute [9] - инструмент картирующий топологию сети
- pathload2 [10] - инструмент для измерения ширины каналов
- ShaperProbe [11] - инструмент определения приоритизации трафика
- SlideStream [12] - инструмент измеряющий состояние TCP трафика и информацию о завершенных TCP соединениях
- mlab-collectd [13] - инструмент накопления статистики с серверов M-Lab

Все материалы публикуются под лицензией CC Zero. Практически весь код M-Lab раскрывается н Github [x]

Ссылки:
[1] https://www.measurementlab.net/about/
[2] https://www.measurementlab.net/data/
[3] https://www.measurementlab.net/data/gcs/
[4] https://console.developers.google.com/storage/browser/m-lab/glasnost/
[5] https://console.developers.google.com/storage/browser/m-lab/ndt/
[6] https://console.developers.google.com/storage/browser/m-lab/neubot/
[7] https://console.developers.google.com/storage/browser/m-lab/npad/
[8] https://console.cloud.google.com/storage/browser/m-lab/ooni/
[9] https://console.cloud.google.com/storage/browser/m-lab/paris-traceroute/
[10] https://console.developers.google.com/storage/browser/m-lab/pathload2/
[11] https://console.cloud.google.com/storage/browser/m-lab/shaperprobe/
[12] https://console.developers.google.com/storage/browser/m-lab/sidestream/
[13] https://console.developers.google.com/storage/browser/m-lab/utilization/
[14] https://github.com/m-lab

#opendata #opengov #internet

На днях произошла интереснейшая утечка большого объёма данных - структуры доменной зоны сайтов Северной Кореи [1] включающей множество ссылок на существующие веб-сайты в этой стране, включая сайты корпораций, госорганов и университетов.

Удалось это из-за некорректно настроенных доменных серверов что удалось узнать автору утечки во время своего проекта TLDR [2] (A Continuously Updated Historical TLD Records Archive).

Чем это закончится внутри самой кореи - кто знает, а вот посмотреть на некоторые их интернет ресурсы - очень интересно.


Ссылки:
[1] https://github.com/mandatoryprogrammer/NorthKoreaDNSLeak
[2] https://github.com/mandatoryprogrammer/TLDR

#opendata #internet #northkorea

Сервис выдачи бесплатных TLS сертификатов для доменов Let's Encrypt [1] еще в феврале 2017 года стал наиболее популярным сервисом создания сертификатов, а в этом месяце достинг планки в 35%, это доля сертификатов выдаваемых Let's Encrypt, по оценке NetTrack [2]. Напомню что в мае 2016 года Let's Encrypt начинал свой взлет, но у него была доля в только 5% всех сертификатов.

Практически все коммерческие сервисы такие как Godaddy, Geotrust и Comodo теряют свою долю и пользователи все чаще подключают сертификаты Let's encrypt автоматически.

Эта история важна еще и тем что базовая безопасность перестала восприниматься как услуга и стала восприниматься как инфраструктура. В ситуации когда TLS должно быть базовым протоколом работы сети, то и раздачей сертификатов должна заниматься общественная организация. Пока все идет к тому что у коммерческих игроков через пару лет не останется тут вообще никаких шансов на заработок.

Но единственная ли это область где качественный недорогой некоммерческий сервис способен "убить рынок" ? Что будет если такие сервисы появились бы для электронного документооборота или бухгалтерских услуг?

Когда-то таким образом переструктурировался весь рынок электронной почты. Когда раздавая бесплатные почтовые аккаунты крупнейшие цифровые сервисы практически убили все сервисы платной электронной почты. На какое-то время.


Ссылки:
[1] https://letsencrypt.org/
[2] https://nettrack.info/ssl_certificate_issuers.html
[3] https://en.wikipedia.org/wiki/Let%27s_Encrypt

#internet #web #security

Вышел отчёт Правительства о деятельности за 2012-2017 годы [1] [2] помимо общих красивых слов там ещё и 3 слайда - 18, 20, 27 напрямую касаются Интернета.

Я воздержусь от подробных комментариев, скажу лишь что в любом отчёте важно не то что там есть, а то чего там нет.

Ссылки:
[1] http://government.ru/news/32246/
[2] http://static.government.ru/media/files/cNe663ge3X6ILtWakxSav3iAbDHKU7y5.pdf

#government #internet

Свежий законопроект от сенатора Боковой [1] О внесении изменений в Федеральный закон "О защите детей от информации, причиняющей вред их здоровью и развитию" и отдельные законодательные акты Российской Федерации по вопросу обеспечения безопасности и развития детей в информационном пространстве"

Внесен 26 февраля вечером и содержит положение о недопущении размещения информации о привлечении детей к участию в создании информационной продукции, причиняющей вред их здоровью и (или) развитию

и ещё ряд положений.

Формулировки размытые, в ФЭО как всегда "расходов федерального бюджета не потребуется" несмотря на то что есть раздел:
——
3) статью 16 дополнить частью 4 следующего содержания:
«Организации, осуществляющие образовательную деятельность,
обязаны применять меры для защиты несовершеннолетних обучающихся
от информации, причиняющей вред их здоровью и (или) развитию, путем
разработки и реализации программ обеспечения информационной
безопасности обучающихся.
Программы обеспечения информационной безопасности
обучающихся данных организаций должна учитывать требования к
административным и организационным мерам, техническим и
программно-аппаратным средствам защиты детей от информации,
причиняющей вред их здоровью и (или) развитию.».
——

а слова "обязаны" как-то трудно трактовать без увеличения расходов.

Ссылки:
[1] http://sozd.duma.gov.ru/bill/654418-7

#internet #runet #kids #watchdog

С ноября 2020 года в Индонезии действует новое регулирование платформ, приложений и социальных сетей MR5 [1] очень похожее на регулирование германский закон NetDZ [2] и похожие законы и регулирование в Австралии, Индии, Венесуэле, России, Малайзии, Кении, Филиппинах и других странах.

Регулирование в Индонезии создано Министерством коммуникации и информации и вводит следующее:
- операторы любой цифровой платформы или сервис (Private Electronic System Operator, private ESO) должны зарегистрироваться и получить сертификат, в противном случае их могут заблокировать. Это требование экстерриториально и распространяется на все сервисы доступные индонезийским пользователям. Это охватывает все соцсети, цифровые маркеплейсы, цифровые сервисы, сервисы обрабатывающие данные о гражданах и так далее.
- регистрация этих операторов должна произойти до середины мая 2021 года, каждый зарегистрировавшийся должен будет предоставить прямой доступ к их системам для мониторинга и доступа правоохранителей
- у всех компаний/сервисов цифровой контент которых используется в Индонезии должен быть свой локальный представитель ответственный за исполнение требований по предоставлению персональных данных и удаление контента
- MR5 включает формулировки требующие удалять по требованию любые материалы "создающие социальную напряжённость" и "требование удалять которые предусмотрено местным законодательством" и тому подобное. Фактически могут удаляться любые материалы по требованию их Министерства коммуникации и информации
- платформам/сервисам запрещено информировать пользователях о способах получения доступа к запрещённым документам (это можно расшифровать как полный запрет на VPN и документы/тексты/публикации с рекомендациями по настройке VPN, даже на уровне ссылок на соответствующие инструкции). Такие "рекомендации" регулятор Индонезии уже выдавал пользователям [3]
- операторы (кроме облачных провайдеров) обязаны мониторить то что запрещённого цифрового контента нет на их платформах
- в MR5 указана новая официальная должность назначаемого чиновника, условно "Министра по блокированию доступа" который имеет право запросить удаление информации, которая должна быть удалена в течение 24 часов при стандартном запросе и 4 часов при срочном запросе.

Всё это в материале EFF на английском [4].

В целом принятое регулирование является довольно жёстким и, казалось бы, в случае многих других стран цифровые корпорации и сервис-провайдеры могли бы его проигнорировать, но Индонезия сейчас - это 175 миллионов пользователей при 271 миллионном населении [4] и это огромный рынок который ещё и активно растёт. С другой стороны если цифровые платформы, соцсети и сервисы согласятся на подобное, то значительно ускорится введение аналогичного регулирования в других странах. Пока же страны с куда меньшим экономическим влиянием, идут по пути Китая с созданием централизованного интернет-шлюза с жёсткой фильтрацией. Такой декрет принят в Камбодже в начале февраля 2021 года [6]

Ссылки:
[1] https://jdih.kominfo.go.id/produk_hukum/view/id/759/t/peraturan+menteri+komunikasi+dan+informatika+nomor+5+tahun+2020
[2] https://www.article19.org/wp-content/uploads/2017/12/170901-Legal-Analysis-German-NetzDG-Act.pdf
[3] https://www.asiasentinel.com/p/indonesia-minister-anti-vpn-threat-free-speech
[4] https://www.eff.org/deeplinks/2021/02/indonesias-proposed-online-intermediary-regulation-may-be-most-repressive-yet
[5] https://www.slideshare.net/DataReportal/digital-2020-indonesia-january-2020-v01
[6] https://www.reuters.com/article/cambodia-internet-idUKL4N2KN20W

#regulation #internet #indonesia

В Forbes моя свежая колонка "Разведка боем: как Роскомнадзор меняет модель управления Рунетом" [1] про последние события с замедлением Роскомнадзора.

Ссылки:
[1] https://www.forbes.ru/tehnologii/423155-razvedka-boem-kak-roskomnadzor-menyaet-model-upravleniya-runetom

#regulation #internet #russia

В Arstechnica две заметки о том как Роскомнадзор блокировал Twitter в России [1] [2] в них, в том числе, независимое подтверждение что это ошибка в регулярном выражение при блокировке по подстроке "t.co", поскольку аналитики из Kentik [3] (компания специализирующаяся на сетевом мониторинге) обнаружили заметное падение трафика в сети Ростелекома [4].

О ситуации также пишет NYT [5] и тоже делают акцент что Минцифра опровергала связь недоступности госсайтов и блокировок Twitter'а в самом Twitter аккаунте министерства.

В целом очень жаль что мало то немногое за что позитивно относятся к России в других странах - это антиковидная вакцина, а над действиями Роскомнадзора разьве что не смеются.

Ссылки:
[1] https://arstechnica.com/gadgets/2021/03/a-russian-isp-confirms-roskomnadzors-twitter-blocking-blooper/
[2] https://arstechnica.com/information-technology/2021/03/russian-attempt-to-throttle-twitter-appears-to-backfire/
[3] https://www.kentik.com
[4] https://cdn.arstechnica.net/wp-content/uploads/2021/03/kentik-russia-throttling-twitter.png
[5] https://www.nytimes.com/2021/03/10/world/europe/russia-twitter.html

#regulation #internet

В Motherboard статья "How Data Brokers Sell Access to the Backbone of the Internet" [1] о том как Интернет провайдеры приторговывают втихую данными о трафике (netflow) и помогают отслеживать пользователей VPN. Там подробно рассказывается о компании Team Cymru, в том числе историю о том как CitizenLab с помощью инструментов Team Cymru ловили израильский малварь Candiru [2].

Статья полезная для тех кто хочет больше о том как устроена реальная приватность, а ещё вернее её отсутствие, и о том что VPN далеко не гарантировано защищает от слежки и, если очень надо и при наличии финансовых ресурсов, всё отслеживается.

Ссылки:
[1] https://www.vice.com/en/article/jg84yy/data-brokers-netflow-data-team-cymru
[2] https://citizenlab.ca/2021/07/hooking-candiru-another-mercenary-spyware-vendor-comes-into-focus/

#privacy #internet #teamcymru

В рубрике интересных наборов данных, открытый датасет всех доменов в проекте Domains Project [1]. Его автор собрал домены из 1522 TLD из которых 245 относятся к доменам стран, остальные домены общего типа. Общее число собранных доменов 1.7 миллиарда (1,789,946,688 на 29 сентября 2021 г.)

Все доменные имена можно скачать по адресу dataset.domainsproject.org [2] и в репозитории на GitHub [3].
После распаковки это примерно 49 гигабайт данных.

Конечно, это не единственный крупный набор данных о сетевой инфраструктуре, но полезный для тех кто изучает инфраструктуру интернета.

Ссылки:
[1] https://domainsproject.org
[2] https://dataset.domainsproject.org
[3] https://github.com/tb0hdan/domains

#opendata #datasets #data #internet #domains

Судебный департамент блокирует доступ к ряду информационных ресурсов не с российских IP адресов. Например, при заходе на раздел "Федеральные суды общей юрисдикции" или в поиск по судебным делам. Проверялось на VPN с серверами во Франции и в Эстонии.

Удивительного в этом ничего нет, во многих странах органы власти блокируют доступ для стран и больших макрорегионов. Например, портал data.gov в США не открывается с российских IP адресов и таких примеров много.

Но, конечно, в данном случае это странно поскольку участники судебных слушаний могут быть не только внутри страны, а блокировки запросов безальтернативны, не дают ответа на каком основании они производятся м что делать.

#internet #data #courts #access

Объясните мне, знающие люди, зачем часть сайтов и, может быть, инфраструктуры Мэрии Москвы находится за пределами РФ? Например, хостится на серверах Hetzner, Германия. Это такой хостер-дискаунтер, хороший в своём классе, но далёкий от России.

Вот примеры:
- inno.mos.ru - IP: 78.46.71.197 (открывается пустая страница)
- cgrt.mos.ru - IP: 176.9.230.170 (не открывается)
- gk.tech.mos.ru - IP: 138.201.197.43 (заглушка на немецком языке)
- aupd-test.mos.ru - IP: 95.216.13.234 (тестовая страница Московской электронной школы)
- new.dit.mos.ru - IP: 176.9.230.170 (не открывается)

Я, конечно, всё понимаю, немецкое качество и всё такое, но как так можно случайно сделать?

Это не единственный зарубежный хостер на который указывают домены в зане mos.ru и этот список не финальный. Читающим меня сотрудникам ДИТ Москвы я бы посоветовал проверить тщательно, потому что нельзя так делать.

#privacy #security #internet #moscow

Евросоюз планирует создать собственную DNS инфраструктуру в блекджеком и лунным модулем с мощными функциями фильтрации. Об этом пишет The Record [1] со ссылкой на DNS4EU Infrastructure project [2], проекте информация о котором появилась на прошлой неделе.

В описании проекта, пункт 12:
—
12. Lawful filtering: Filtering of URLs leading to illegal content based on legal requirements applicable in the EU or in national jurisdictions (e.g. based on court orders), in full compliance with EU rules.

The proposal for the service infrastructure shall ensure a forward looking approach regarding technological innovation:
—
У Евросоюза, конечно, неповоротливая медленная бюрократия и немало гражданских организаций которые могут выступить против этой инициативы, но тенденция на лицо - расширение ограничений по доступу к интернет ресурсам не только в России, но и в таких межстрановых образованиях как Европейский союз.

Ссылки:
[1] https://therecord.media/eu-wants-to-build-its-own-dns-infrastructure-with-built-in-filtering-capabilities/
[2] https://ec.europa.eu/info/funding-tenders/opportunities/portal/screen/opportunities/topic-details/cef-dig-2021-cloud-dns-works

#privacy #internet #internetfiltering

По поводу моей последней публикации про DNS4EU Евросоюза [1], Михаил Климарев (@zatelecom) прокомментировал у себя в телеграм канале [2] о том что Да, это будет цензура. Если вы денег заплатите.

Но нет, не только если вы денег заплатите. Я ещё раз обращаю на пункт 12. Lawful filtering это не про добровольность и не про родительский контроль, это про фильтрацию в соответствии с регулированием в странах Евросоюза, решениями судов и не только. Он явно указан в этой инициативе и маловероятно что не будет применяться.

Другой вопрос что ограничения на использование альтернативных DNS серверов и сервисов в Евросоюзе не вводятся, во всяком случае пока. Обязательности использования этих серверов также нет. Во всяком случае на сегодняшний день.

Ссылки:
[1] https://t.me/begtin/3447
[2] https://t.me/zatelecom/20261

#privacy #eu #internet #internetfiltering