Data Diggers
11 subscribers
83 photos
1 file
80 links
Канал об источниках открытых данных, поиске, сборе, обработке, инструментах и сопутствующих рисках.

собрать данные: @sergeymu
сотрудничество: @sergeymu
поддержать: https://www.donationalerts.com/r/datadiggers
Download Telegram
Email-Scraper - простой и эффективный OSINT инструмент для сбора email адресов с сайтов и страниц социальных сетей.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Ghunt - многофункциональный, профессиональный и поддерживаемый OSINT инструмент для сбора информации по почте gmail.

Позволяет получить имя владельца, идентификаторы, активные google сервисы, такие как YouTube, Photos, Maps и д.р. Возможную локацию, информацию о Google документах и даже намеченных встречах в календаре и множество другой информации.

Информация предоставлена исключительно с целью ознакомления. И побуждает обратить внимание на проблемы в безопасности.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
snscrape - инструмент для поиска постов и сбора информации о пользователях в популярных социальных сетях.

Работает с:
Telegram: каналы
ВКонтакте: профили пользователей
Facebook: профили пользователей, группы и посты
Instagram: профили пользователей, хэштеги и местоположения
Mastodon: пользовательские профили и инструменты
Reddit: пользователи, сабреддиты и поиск (через Pushshift)
Twitter: пользователи, профили пользователей, хэштеги, поисковые запросы, твиты, список сообщений и тренды.
Weibo (Sina Weibo): профили пользователей

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Telepathy — OSINT инструмент для сбора информации из Telegram групп. Утилита также позволяет получать информацию о пользователях по геолокации

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Awesome-Crawler - подборка модулей и ресурсов для скрапинга/парсинга данных на Python и других языках.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Scrapy - один из самых мощных фреймворков для скрапинга/парсинга веб-страниц на Python.

Репозиторий со скриптами и примерами кода сбора данных с разных сайтов: reddit, linkedin, youtube, github, amazonbook и многих других.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Web scraping open knowledge project - проект энтузиастов которые в течение последних нескольких лет собирали лучшие практики веб-скрапинга, чтобы сделать его масштабируемым и эффективным.

Репозиторий включает:
Утилиты
Методы защиты от ботов
Различные советы по скрапингу/парсингу данных и д.р полезную информацию

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Загрузчик целых плейлистов YouTube с индикатором выполнения

#инструменты

Подписаться — Data Diggers
YaSeeker - OSINT инструмент позволяющий получать информацию о любом Yandex аккаунте используя email или username.

Находит:
Fullname
Photo
Gender
Yandex UID
Yandex Public ID
Linked social accounts
Activity (count of reviews, comments; subscribers and subscriptions)
Account features (is it verified, banned, deleted, etc.)

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Forwarded from [PYTHON:TODAY]
👨‍💻 InsightFace: анализ и распознавание лиц в 2D и 3D

InsightFace — набор инструментов для 2D- и 3D-анализа лица с открытым исходным кодом, основанный на PyTorch и MXNet.

Репозиторий содержит предварительно обученные модели 👍

⚙️ GitHub/Инструкция

#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Уровень внешнего долга к ВВП России в 2022 году упал до исторического минимума.

Показатель опустился на 10 п.п. — до 16,6%.

Тройку лидеров возглавил Китай (13,7%), а на третьем месте идет Индия (19,1%), следует из расчетов РИА Новости.

Самый высокий внешний долг у европейских стран: Нидерланды — 380,5%, Великобритания — 287%, Швейцария — 280,5%, Франция — 249%, Бельгия — 242%.

— сообщает канал ПРАЙМ

Подписаться — Data Diggers
Роскомнадзор опубликовал перечень мессенджеров, в которых операторам запрещена передача платежных документов и предоставление информации, содержащей персональные данные российских граждан, данные о переводах, сведения о счетах и вкладах российских граждан в банках.

В этот перечень вошли: Discord, Snapchat, Skype, Microsoft Teams, Threema, Viber, WhatsApp, WeChat и Telegram. — сообщает канал Импорт в Россию

#всемсидеть

Подписаться — Data Diggers
Россия по итогам прошлого года вернулась в десятку крупнейших экономик мира (8-е место), следует из расчетов РИА Новости на основе данных Всемирного банка и национальных статистических служб. В 2014 г страна занимала 9-е место — сообщает канал РИА Новости

#статистика

Подписаться — Data Diggers
Динамика изменения среднесуточного охвата крупнейших соцсетей/соцмедиа, млн чел

Апрель 2023:
1️⃣ ВК - 52.9 млн (-0.7% к марту)
2️⃣⬆️ 📹 YouTube - 50.9 млн (+0.5%)
3️⃣⬇️ Telegram - 50.6 млн (-0.7%)
4️⃣⬆️📹 TikTok - 32.2 млн (+0.0%)
5️⃣⬇️ ❇️ Дзен* - 31.9 млн (-2.0%)

- по сравнению с мартом все вернулось на круги своя: YouTube вернул второе место, обогнав Telegram, TikTok вернул 4-е место, обогнав Дзен

Апрель’23 vs апрель’22:
Дзен (+329%)
Telegram (+22%)
YouTube (+7%)
ВКонтакте (+6%)
TikTok (+2%)

* С 1 марта 2023 доучтена аудитория на главной странице мобильного приложения Яндекс.Старт

Источник: New Media по данным Mediascope CrossWeb, desktop+mobile, Вся Россия, 12+ — сообщает канал Всем ВЦИОМ!

Подписаться — Data Diggers
РЕАЛЬНЫЕ РАСПОЛАГАЕМЫЕ ДОХОДЫ РОССИЯН ОСТАЮТСЯ НА ДНЕ

По данным Росстата, рост доходов россиян в 1-м кв замедлился до 8.7% гг VS 13.2% гг в 4-м кв. Это фактически совпало со среднеквартальной инфляцией (8.8% гг), поэтому реальные доходы практически не изменились: 0.1% гг VS 0.9% гг в 4-м кв. Реальные располагаемые доходы (т.е. за вычетом обязательных платежей, в т.ч. по кредитам) выросли на те же самые символические 0.1% гг VS 1.5% гг в 4-м кв. Правый график показывает уровень реальных располагаемых доходов в 1-м кв относительно 1-го кв 2013г (именно в 2013г доходы россиян были на максимуме). В этом году, также как и в прошлом, мы находимся на 7.8% ниже пиков 2013г. График наглядно иллюстрирует, что за прошедшее 10-летие к пиковым значениям 2013г мы даже близко не подходили.

Можно сколь угодно долго рассуждать про успехи российской экономики, но ничего более убедительного, чем этот график, в данных Росстата нет… — сообщает канал MMI
Open LLMs – список открытых LLM (больших языковых моделей), доступных для коммерческого использования

Ссылка на проект | GitHub

#инструменты

Подписаться — Data Diggers