Анализ миллиона скриншотов со стримов веб-камер (@netstalking_webcameras)

https://blog.blacknode.tk/netstalking-webcameras-analysis.html
https://cams.blacknode.tk/

Analysis of over a million webcam screenshots (@netstalking_webcameras)

https://blog.blacknode.tk/netstalking-webcameras-analysis-en.html

Мы решили поделиться некоторыми материалами из нашей личной библиотеки с нетсталкерским сообществом. Приятного чтения: https://cloud.blacknode.tk/s/BukijMBNNyiNCLv

Поговорим о дизайне интерфейсов. Какой вариант реализации пользовательского интерфейса приложения вам ближе?
anonymous poll

Standalone GUI, собственный графический интерфейс – 29
👍👍👍👍👍👍👍 40%

CLI, взаимодействие через терминал/консоль – 22
👍👍👍👍👍 31%

Web GUI, взаимодействие с приложением через браузер – 21
👍👍👍👍👍 29%

👥 72 people voted so far.

Для тех, кто не понял, что же такое мы запостили, подсказка: скриншот выше не связан с машинным обучением - это визуализация состояния ключевой подсистемы нашего нового проекта.

Большая часть проекта уже завершена, и мы прикладываем все возможные усилия, чтобы представить его сообществу как можно скорее. Stay tuned!

Выкладываем обещанный ранее набор скриншотов веб-камер из @netstalking_webcameras.

Набор данных находится в zip-архиве объёмом 17.7 GB. В архиве находятся три директории: images, metadata и notebook.

В директории images расположены непосредственно скриншоты вебкамер, в директории metadata - набор json-файлов с данными скриншотов (IP и данные для входа, распознанные объекты, семантические векторы изображений и координаты точек для создания двумерной карты скриншотов).

В директории notebook находится Jupyter notebook с примером использования семантических векторов изображений для поиска похожих изображений в наборе данных.


Ссылка на скачивание: https://mega.nz/#!R0hCAYAB!tNS7YaSGwdW7vx6R0jPI2DeiLQ3qdhgvfChPP0-hvEw

Пришло время рассказать вам немного больше о проекте под рабочим названием "Отклик". На данный момент разработка "Отклика" является нашей первостепенной задачей, на проекте сконцентрированы все наши доступные ресурсы.

Что такое "Отклик"?
Проект "Отклик" - это полностью децентрализованная, распределённая платформа для энтузиастов-исследователей Интернета. Платформа решает задачи автоматического, анонимного и отказоустойчивого сбора, анализа и хранения данных.

В своей текущей итерации, проект представяет собой одноранговую сеть узлов, каждый из которых выполняет сканирование сети в двух режимах (случайное и направленное сканирование). Результаты сканирования обрабатываются при помощи машинного обучения, сохраняются и реплицируются (распространяются) между другими узлами сети, формируя распределённую базу данных. Этим достигается отказоустойчивость платформы - не существует центрального сервера, на который отправляются результаты сканирования, и который может выйти из строя. Все узлы равны между собой, и выполняют одинаковые задачи, сеть "Отклика" способна функционировать и сохранять данные, даже если в ней остался всего лишь один действующий узел. Новые узлы присоединяются к системе в автоматическом режиме, а вся коммуникация между узлами проходит внутри сети Tor.
Дополнительная иммутабельность хранимых данных достигается использованием методов, родственных блокчейн-платформам, а встроенная система ранжирования позволяет вести семантический поиск по результатам сканирования. Кроме того, в платформе предусмотрены элементы для социального взаимодействия пользователей.


Сканирование Всемирной Сети - не единственное возможное применение платформы. Распределённые базы данных "Отклика" могут хранить любую информацию, и на их основе можно построить и другие системы, в которых требуется децентрализованное, отказоустойчивое хранилище данных.

На каком этапе проект находится сейчас?
На данный момент основная работа ведётся над графическим пользовательским интерфейсом, а также над улучшением алгоритмов синхронизации данных между узлами системы, повышается общая стабильность платформы.

Будет ли проект публично доступным?
"Отклик" будет абсолютно бесплатным и доступным каждому - ключи и флажки не нужны. Исходный код проекта будет выпущен под свободной лицензией для некоммерческого использования.

Когда ждать релиза?
Мы делаем всё возможное, чтобы представить проект сообществу как можно скорее. Перед релизом мы планируем провести закрытое тестирование системы, которое запланировано на апрель 2018. После закрытого тестирования состоится публичный релиз, точная дата релиза будет зависеть от результов тестирования.

Как я могу помочь?
Если вы имеете навыки:
- фронтенд-разработки (Bootstrap, ClojureScript, Reagent)
- работы с сетевыми протоколами, реверс-инжиниринга новых или малоизвестных протоколов, хороший опыт работы с Python
- работы с распределёнными системами и p2p-сетями
и имеете желание поучаствовать в проекте - напишите нам
(@blacknode_researcher).

Проект "Отклик". Почему мы выбрали децентрализацию?

Мы считаем, что полностью распределённая платформа для сканирования Сети и других исследований, которой и является Отклик, имеет ряд неоспоримых преимуществ по сравнению с привычными централизованными системами. Создание полностью распределённой платформы - более сложная задача, чем создание очередного сканера с центральной БД, но затраченные ресурсы, (в т.ч. время разработки и отладки), окупаются преимуществами такой системы.

В чём состоят преимущества полной децентрализации?
- Отсутствие единой точки отказа (single point of failure). В системе с полной децентрализацией, которой является Отклик, все узлы выполняют одинаковую роль, и если некоторые из них выйдут из строя или будут отключены - вся сеть будет продолжать работать в нормальном режиме, а хранимые данные не будут потеряны.
- Как следствие - невозможность остановить систему или подвергнуть её цензуре. Централизованную систему, даже имеющую несколько дублирующих серверов для обеспечения отказоустойчивости, всё ещё может по каким-либо причинам отключить группа или организация, стоящая за этой системой (в этом плане русскоязычному сообществу известна показательная история с потерей базы данных одного сканера сети, популярного в кругах нетсталкеров). В случае Отклика это невозможно - даже мы не сможем остановить функционирование сети после её запуска. Мы также не сможем удалить отдельные записи из распределённой базы Отклика без нарушения целостности всей базы.
- Масштабируемость. С приходом новых пользователей, сеть Отклика автоматически масштабируется. Чем больше пользователей поддерживают платформу, тем быстрее проходит сканирование и синхронизация базы данных между узлами сети. Масштабирование централизованной системы невозможно без вливания дополнительных финансовых ресурсов - а это неизбежно ведёт к платным подпискам на платформу, ключам и флажкам.
- Социализация. Работая с Откликом, вы в буквальном смысле становитесь частью коллектива энтузиастов, достигающих общих целей совместными силами. Ваш вклад так же важен, как и вклад любого другого пользователя сети.

И вновь возвращаемся к набору данных скриншотов камер. Немногие помнят забавный артефакт в наборе, камеру с невалидным адресом (120.150.256.16) - кто-то даже успел высмеять его существование в наборе, обвиняя нашу команду в сканировании несуществующих адресов :) Сегодня мы вновь вспомнили об этой камере, и на сей раз взглянули на её скриншот.

admin_12345_120.150.256.16_42.jpg

Похоже, нам теперь известен автор набора. Это подлинный скриншот, вы можете убедиться в этом, перейдя по ссылке на канал, проверив даты публикации и отсутствие отметок о редактировании сообщения в канале.

К другим новостям: мы возвращаемся из летних отпусков и продолжим заниматься проектами для энтузиастов неформального исследования Интернета. Пожалуй, большинство наших подписчиков больше всего интересует судьба проекта "Отклик", который так и остался на этапе создания пользовательского интерфейса. С некоторым сожалением о потерянном времени мы приняли решение о написании нового фронтенда с нуля, с применением более доступных нашей команде фреймворков. Это выведет работы по созданию UI из того тупика, в котором они находились на данный момент, и позволит закончить работу быстрее. Кроме "Отклика", мы также выпустим несколько других работ и проектов, разработка которых была прервана чередой летних отпусков участников нашей команды.