В рубрике интересные наборы данных, наборы данных связанные с анализом мобильных приложений.
- AndroZoo [1] база файлов .apk приложений для Android c более чем 16 миллионами приложений. Только сжатый файл csv с описанием более 2GB, а все файлы, конечно, гораздо большего объёма. Доступ предоставляют исследователям по запросу. Непонятно насколько часто обновляется, последнее упоминание научных работ в 2016 году
- MalDroid 2020 [2] база зловредных приложений для Андроида собранная в Универститете Нью Брунвика. Включает 17,341 приложений, доступ по запросу. У них же там много других датасетов, связанных с кибербезопасностью, даркнетом и тд [3]
- Android Malware Datasets [4] подборка ссылок на наборы данных вредоносных мобильных приложений для Android

Наборов данных гораздо больше, многие из них создают внутри университетов для исследования переупаковки приложений, наличия вредоносного кода, наличия рекламного кода (adware), сетевой безопасности, распространения технологий и многого другого.

Ссылки:
[1] https://androzoo.uni.lu/
[2] https://www.unb.ca/cic/datasets/maldroid-2020.html
[3] https://www.unb.ca/cic/datasets/index.html
[4] https://github.com/traceflight/Android-Malware-Datasets

#privacy #datasets #android #apps

В блоге AppCensus, стартапа занимающегося анализом приватности приложений для Android, появился весьма подробный и полезный разбор [1] сервиса Huq в котором собирается до нескольких миллиардов событий ежесуточно [2].

Стартап Huq предоставляется разработчикам в виде SDK и после установки приложения с этим SDK оно собирает все сведения о геопозиции, BSID у сетей WiFi, факты подключения пользователя к сети Wifi и ещё много чего. Всё это каждый 9 минут загружается на сервер Huq'а.

Причём инсталляций с ним много, в особенности в самых что ни на есть массовых бесплатных мобильных приложениях [3]

Об этом Huq и сборе данных без согласия бользователей BBC написали в конце октября [4], по мотивам статьи в Vice [5] где также обратили внимание на это расследование AppCensus и на то что Huq собирает данные не уведомляя об этом пользователей.

Google обещают что проводят расследование по этому поводу, поскольку это нарушает их собственные правила в экосистеме Android'а.

История показательная, разумеется, Huq далеко не единственные кто собирает столь много данных и использует подобную бизнес модель и такие истории будут повторятся. Нам же стоит помнить что любое бесплатное приложение - не бесплатное, мы расплачиваемся сбором информации о себе, всегда.

Ссылки:
[1] https://blog.appcensus.io/2021/10/25/what-the-huq/
[2] https://web.archive.org/web/20211001150723/https://huq.io/data/
[3] https://reports.exodus-privacy.eu.org/en/trackers/408/
[4] https://www.bbc.com/news/technology-59063766
[5] https://www.vice.com/en/article/5dgmqz/huq-location-data-opt-out-no-consent

#privacy #huq #android

Почему в прошлой публикации я написал что МИД мог бы свалить всю вину на разработчиков приложения?

Во-первых потому что в большинстве госприложений запрашивается меньше небезопасных разрешений. Так приложение МИДа запрашивает их 8 штук, аналогичные запросы делают только несколько приложений Московского Пр-ва, мы делали исследование год назад где писали об этом [1], но там это было, как бы, хотя бы частично обосновано.

А во вторых, и в главных, важно знать как устроено приложение МИДа. Это не специализированное мобильное приложение вроде Госуслуг, Госключа или Активного гражданина или ещё много чего. Это контентное приложение построенное на материалах сайта МИДа РФ. А если конкретнее - это оболочка над браузером который обращается к сайту https://m.mid.ru/mid_mobapp/ скорее всего сделанное на движке 1С Битрикс мобильное приложение [2].

Так вот совершенно непонятно зачем мобильному приложению которое, по сути, просто надстройка над сайтом и без дополнительных функций нужны разрешения на доступ к камере или записи аудио. В приложении просто не предусмотрены задачи для которых эти разрешения применимы.

После углублённого анализа выяснилось следующее.

Это сложное xapk приложение с набором вложенных apk файлов под разные языки и базовым приложением ru.mid.app.apk внутри этого xapk. В AndroidManifest.xml общего приложения затребуются максимум разрешений, а внутри ru.mid.app.apk их нет вообще. Поэтому при проверке по приложению указано то что при установке не затребуются. В итоге всё сводится к тому что:
1) Разработчики ошиблись в структуре манифеста затребующего разрешения, но именно разрешения из этого манифеста указываются в Google Apps и они используются всеми сервисами и инструментами анализа Android приложений.
2) МИД РФ не в курсе что по факту разрешения приложению не нужны, и начал оправдывать их запрос. Реакция МИДа была не вполне нормальной.
3) По факту приложение не может собирать аудио, подключаться к камере и тд. поскольку это приложение надстройка над мобильным сайтом МИДа, см. выше

В который раз, не масонская ложа, а великая лажа (с). Ну, ошибки разработчиков - это лучше чем заговор, но выглядит всё это вопиюще глупо.

Ссылки:
[1] https://privacygosmobapps.infoculture.ru/
[2] https://www.1c-bitrix.ru/products/mobile/

#privacy #security #android

Для тех кто мог пропустить, с 20 июля, вот уже совсем скоро Google окончательно заменит раздел с разрешениями приложения в Google Apps на блок Data safety.

В Arstechnica статья о важных отличиях [1].

Раздел "разрешения приложению" был гарантированно актуальным поскольку разрешения описывались автоматически по итогам сканирования приложений, а Data safety - это декларация разработчика приложения по итогам заполнения одноименной формы. Это называется honor system (система на доверии).

Иначе говоря Google заменяют блок описания приложения от "мы проверили роботом, они следят вот так" на "разработчик мамой поклялся что будет вот так честно делать всё".

Впрочем в Google свои планы ещё не анонсировали, возможно раздел с разрешениями приложения всё же вернут под давлением общественности и регуляторов.

А я напомню что приложения для Android'а можно проверять независимыми инструментами такими как Exodus Privacy и др., я регулярно делал их обзоры [2].

Ссылки:
[1] https://arstechnica.com/gadgets/2022/07/google-plays-new-privacy-section-actually-hides-app-permissions/
[2] https://t.me/begtin/3106

#google #android #privacy

При всех недостатках Google Play в виде [почти] монопольной платформы для распространения приложений в экосистеме Андроид, лично я к инициативе обязательности установки RuStore на телефоны в России [1] отношусь крайне отрицательно.

Помимо нерыночности, того что у него нет инструментов для разработчиков сравнимых с другими сторами, самым главным является то что там нет никаких механизмов контроля приватности. Типичная страница в RuStore выглядит вот так [2].

Там нет ни списка разрешений приложения, ни ответственности разработчика, ни, даже, декларации разработчика о добровольных обязательствах вроде формы Data safety.

Хотя многое из этого можно было бы реализовать и не то чтобы с коллосальными усилиями. Расширенная информация о приложениях есть в магазине F-Droid [3], с указанием перечня разрешений.

И, наоборот, её нет в китайском Huawei AppGallery [4].

Видимо российские создатели национального магазина приложений решили пойти по китайскому пути.

Но суть даже не в этом. Устанавливая требования обязательства установки приложения уже не только разработчик, но и Минцифра РФ берет на себя ответственность за то как и в каком объёме оно за Вами следит, берёт ответственность за утечки данных из него и вред наносимый нарушением приватности.

А в случае RuStore он, де-факто, превращается в государственный магазин приложений (да и VK уже почти госкорпораций, чего-уж тут) и тем самым Минцифра вместе с VK будет нести ответственность за все те приложения которые будут там одобрены и осуществляют слежку за гражданами.

Кстати, если Вы думаете что с уходом госкорпораций из России следящих трекеров зарубежных сервисов в российских приложениях стало меньше, то нет, не стало. Откройте какое-нибудь приложение Сбербанка и условия использования метрических программ, где явно указана трансграничная передача данных в Google и AppsFlyer.

А что будет если проверить все приложения в RuStore? А будет хороший расследовательский материал о том как будущая российская госкорпорация VK помогает международным big tech компаниям (читай спецслужбам) следить за россиянами не проверяя приложения на трекеры. Я тут сознательно утрирую, но, смысл от этого не меняется, протаскивать под маркой импортозамещения инструменты слежки - это очень хреновая история.

Так что кто-то явно живёт по принципу: война-войной, а слежка по расписанию (c)

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2022/07/21/932444-rustore-predlozhili-sdelat-obyazatelnim-dlya-predustanovki
[2] https://apps.rustore.ru/app/ru.rostel
[3] https://f-droid.org/ru/packages/org.tasks/
[4] https://appgallery.huawei.com/app/C101280309

#privacy #digital #android #sberbank #mobileapps

Вы беременны и используете приложение для отслеживания своего здоровья? Почти 100% за Вами следят

Если бы я писал статью в популярный журнал, я бы начал именно с такого заголовка

У фонда Mozilla интересный проект Privacy not included по анализу приватности в мобильных приложениях. Я писал о нём коротко в мае 2022 г. [1], но тема шире и интереснее.

Исследователи в Mozilla проверяют приложения на предмет того:
- как компания использует данные
- можете ли Вы управлять Вашими данными
- какова история компании в использовании данных
- дружелюбность информации о приватности
- можно ли продукт использовать оффлайн

А также минимальные проверки безопасности:
- используется ли шифрование
- позволяют ли они использовать слабые пароли

А также несколько критериев применения ИИ:
- используется ли ИИ?
- доверенный ли ИИ?
- прозрачны ли решения компании по использованию ИИ?

и ещё много чего другого, почитайте методологию [2]

А теперь пример, в Mozilla проверили 20 наиболее популярных приложений для отслеживания здоровья в период беременности и признали 18 из 20 как не обеспечивающие приватность. [3]

При этом они не анализировали наличие кода передачи данным третьим сторонам (трекерам). Например, приложение Period Tracker [4] помечено как не обеспечивающее приватность, а если ещё и посмотреть на отчет в Exodus Privacy [5] то можно найти внешние 8 трекеров в этом приложении.

Почему Mozilla эту информацию не учитывают не знаю, по своему важны оценки, и их ручной проверки, и автоматической от Exodus Privacy.

А теперь, внимание вопрос, неужели кто-то полагает что аналогичные приложения в России или в других не-англоязычных странах существуют иначе?

Год назад примерно мы публиковали доклад от приватности мобильных приложений публикуемых госорганами [6]․ Всего 44 приложения тогда было и, как Вы догадываетесь, их приватность была далека от совершенства.

В качестве преданонса, и я об этом уже писал, в этом году мы скоро опубликуем исследование на ту же тему.

Оно обязательно выйдет в Телеграм канале Информационная культура, подписывайтесь и не переключайте каналы!

Ссылки:
[1] https://t.me/begtin/3826
[2] https://foundation.mozilla.org/en/privacynotincluded/about/methodology/
[3] https://foundation.mozilla.org/en/privacynotincluded/categories/reproductive-health/
[4] https://foundation.mozilla.org/en/privacynotincluded/period-tracker/
[5] https://reports.exodus-privacy.eu.org/en/reports/com.period.tracker.lite/latest/
[6] https://privacygosmobapps.infoculture.ru/

#privacy #android #mobile #surveillance

Результаты свежего исследования Инфокультуры с анализом приватности (читай - слежки) 1014 мобильных приложений для Android опубликованных в магазине приложений RuStore.

Мы работали над ним около месяца, анализируя все опубликованные приложения на предмет тех разрешений которые затребуют на устройствах пользователей и наличия в них кода специальных библиотек (трекеров) используемых для слежки за потребителями.

Почему RuStore и приложения оттуда? Потому что усилиями Минцифры РФ и Правительства РФ именно этот магазин приложений стал официальным, фактически, нормативно закреплённым. Можно говорить о том что компания ВК и Правительство РФ теперь несут совокупную ответственность за то как приложения оттуда следят за нами.

Выводы [не]удивительные:
- большая часть приложения включает трекеры, требуют больше разрешений чем им реально может быть нужно, а сам магазин приложений не имеет стандартов верификации.
- большая часть приложений передают данные компаниям в юрисдикциях которые Правительство РФ называет "недружественными"
- даже госприложения включают трекеры, например компании Google, передающие данные о гражданах в другие страны и в BigTech корпорации

44 госприложения мы анализировали в прошлом году, но в этот раз решили подойти масштабнее и проанализировали 1014 приложений всех категорий. Было это дольше, но не менее увлекательно.

С результатами исследования мы публикуем все данные в CSV и исходный код по их подготовке [2].

Если будут сложности самостоятельного анализа данных в CSV и если Вы журналист или исследователь, хотите сделать собственную визуализацию или материал, свяжитесь с нами на infoculture@infoculture.ru, мы поможем․

Ссылки:
[1] https://rustoreprivacy.infoculture.ru
[2] https://github.com/infoculture/rustore-privacy/

#privacy #infoculture #android #mobileapps

Из-за сделки Яндекса с ВК наша новость про результаты исследования приватности мобильных приложений [1] слегка утопла, пишут о ней куда меньше чем хотелось бы, но актуальность оно сохранит ещё долго.

Я дополню несколькими важными тезисами которые в основную часть исследования не попали:
1. То что мы проанализировали - это статический анализ, он показывает наличие кода который предполагает передачу данных. Не анализировалось то какие приложения сами собирают и что для себя. Такие методики есть, но это сильно-сильно дольше и дороже, называется динамический анализ, делается стартапами вроде AppCensus.
2. Почему RuStore? Потому что он стал официальным государственным магазином приложений. Это его принципиально отличает от всех остальных магазинов приложений в России.
3. Что не успели - не успели сопоставить те же приложения в Google Play, трудоёмкость избыточна и выборочные проверки показали что разработчики не заморачиваются разными версиями приложения для разных магазинов приложений.
4. Что важно? У RuStore отсутствуют очень важные данные по популярности и числу скачиваний по приложениям. В результате сложно измерить "уровень вреда" по влиянию (impact) приложений, как говорят.
5. Что не стали делать? Не стали сознательно делать списки приложений которыми лучше не пользоваться и которые лучше заменить.
6. Что ещё можно было бы сделать в будущем? Добавить юридический анализ, посмотреть в условия использования и их соответствие фактической ситуации наличия трекеров внутри приложения.

Ссылки:
[1] https://t.me/begtin/4187

#android #mobileapps #privacy

Продолжая тему приватности мобильных приложений. Есть стартапы создающие мобильные приложения, а есть стартапы помогающие отслеживать нарушения приватности в этих приложениях. Например, Privado [1] предоставляют сервис отслеживания обработки чувствительных данных в приложениях для Android'а через сканирование исходного кода. Проверить код можно скачав их open source сканер [2] и запустив с параметром 'privado scan <folder name>'.

Я его проверял на швейцарском государственном приложении отслеживания COVID-19 swisscovid-app-android [3].

Из плюсов - он работает
Из минусов - только с Java кодом, не поддерживается приложения на Javascript или Kotlin не говоря уже о Flutter и тд.
Из странностей - ложные срабатывания. Например, срабатывает на обработку высоты изображения как рост человека height, хотя в коде видно что срабатывание неверное.

Приложение хотя и open source, но будьте осторожны, результаты оно постит сразу на сайт community.privado.ai, то есть открытый код, но с зависимостью от облачного сервиса.

Главная фишка - генерация Data Safety манифеста для Google Play. Иначе говоря, автоматизация комплаенс процедуры для приложений Android.

Продукт интересный, буду наблюдать за его развитием. Может быть он сможет работать и с декомпилированным кодом или сам научится декомпилировать DEX файлы? А может у него появятся конкуренты.

Ссылки:
[1] https://www.privado.ai/
[2] https://github.com/Privado-Inc/privado
[3] https://github.com/SwissCovid/swisscovid-app-android

#mobileapps #privacy #android #security

О том что Apple удалили из магазина приложений все приложения связанные с холдингом VK, это все, наверняка, уже прочитали. Вроде как ещё не удалили приложение Одноклассников, но если удаление было из-за санкций, то это вопрос только времени. Пока видно что в Google Play приложения MailRu Group остались, но, опять же, если удаление из-за санкций, то вероятность их исчезновения велика.

Правда для Android'а есть RuStore по приватности приложений в котором мы делали исследование совсем недавно и, если кратко, всё там даже хуже чем в Google Play.

Но я о другом. Много лет я пишу и два исследования мы провели о том что во многих приложениях содержатся внешние трекеры позволяющие третьим сторонам получать данные действий пользователей. В лидерах распространения таких трекеров глобальные рекламные корпорации вроде Facebook и Google, но, в России тоже есть свои игроки. Один из крупнейших из которых теперь холдинг VK.

Например, во многих приложениях стоят трекеры myTracker и myTarget от MailRu Group. В проекте Exodus Privacy посчитано 1281приложение с myTracker и 2826 с myTarget , но в реальности их гораздо больше. Кроме этих рекламных трекеров многие разработчики интегрируют SDK для авторизации во Вконтакте, есть как минимум 845 таких приложений. Всё это про приложения для Android, но SDK myTarget, myTracker и VKontakte есть и для iOS.

А теперь, внимание, вопрос․ Будут ли следующим шагом платформы Apple и Google предупреждать авторов приложений использующих трекеры VK о том что их приложения могут могут быть удалены из магазинов приложений если они этот код из приложений не уберут?

Следующим постом я запилил опрос на ту же тему.

#privacy #security #vk #mobileapps #trackers #android #apple

Полезное чтение про данные, технологии и не только:
- The Modern CLI Renaissance [1] о том как инструменты командной строки переживают ренессанс будучи переписанными, в основном, на Rust. Тоже наблюдаю эту картину и что тут скажешь, хорошо что это происходит.
- Nvidia and Oracle team up for Zettascale cluster: Available with up to 131,072 Blackwell GPUs [2] полным ходом гонка ИИ кластеров. Oracle и NVIDIA запускают в начале 2025 г. кластер на 2.4 зетафлопса, сравнивать сложно, это просто много
- Android apps are blocking sideloading and forcing Google Play versions instead [3] Google начали внедрять в андроид функцию установки приложения через Google Play если ты пытаешься поставить его из другого источника. То есть если ты из внешнего магазина загружаешь приложение которое есть в Google Play то тебя обязывают ставить то что в Google Play.
- Google will now link to The Internet Archive to add more context to Search results [4] Google теперь даёт ссылки в результатах поиска на Интернет Архив вместо их собственного кэша, на который они ранее ссылки удалили. Надеюсь они при этом дали денег Интернет Архиву, потому что как бы их не за ддосили.

Ссылки:
[1] https://gabevenberg.com/posts/cli-renaissance/
[2] https://www.tomshardware.com/tech-industry/artificial-intelligence/nvidia-and-oracle-team-up-for-zettascale-cluster-available-with-up-to-131072-blackwell-gpus
[3] https://arstechnica.com/gadgets/2024/09/android-now-allows-apps-to-block-sideloading-and-push-a-google-play-version/
[4] https://9to5google.com/2024/09/11/google-search-internet-archive-wayback-machine/

#software #data #google #android #readings