Data Diggers
11 subscribers
83 photos
1 file
80 links
Канал об источниках открытых данных, поиске, сборе, обработке, инструментах и сопутствующих рисках.

собрать данные: @sergeymu
сотрудничество: @sergeymu
поддержать: https://www.donationalerts.com/r/datadiggers
Download Telegram
Китайский экспорт по странам мира в 2022 году — сообщает канал Рука рынка

Подписаться — Data Diggers
Реальные процентные ставки основных экономик мира

Реальная процентная ставка - это номинальная процентная ставка после учета инфляции, отражающая истинную стоимость заимствования или кредитования.

По состоянию на март 2023 года в Бразилии самая высокая реальная процентная ставка среди 40 крупнейших экономик.

В России реальная процентная ставка 0.19% — сообщает канал Сигналы РЦБ

Подписаться — Data Diggers
Полезные библиотеки Python

VK visualizer
- инструмент для визуализации геоданных из фото профиля ВКонтакте.

Приложение вытянет все фото профиля, отфильтрует те что без геолокации и сохранит полученные данные в csv.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Полезные библиотеки Python

CloudScraper
- простой и очень полезный модуль для парсинга/скрапинга и обхода защиты от ботов Cloudflare.

Модуль обновляется и поддерживается

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Email-Scraper - простой и эффективный OSINT инструмент для сбора email адресов с сайтов и страниц социальных сетей.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Ghunt - многофункциональный, профессиональный и поддерживаемый OSINT инструмент для сбора информации по почте gmail.

Позволяет получить имя владельца, идентификаторы, активные google сервисы, такие как YouTube, Photos, Maps и д.р. Возможную локацию, информацию о Google документах и даже намеченных встречах в календаре и множество другой информации.

Информация предоставлена исключительно с целью ознакомления. И побуждает обратить внимание на проблемы в безопасности.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
snscrape - инструмент для поиска постов и сбора информации о пользователях в популярных социальных сетях.

Работает с:
Telegram: каналы
ВКонтакте: профили пользователей
Facebook: профили пользователей, группы и посты
Instagram: профили пользователей, хэштеги и местоположения
Mastodon: пользовательские профили и инструменты
Reddit: пользователи, сабреддиты и поиск (через Pushshift)
Twitter: пользователи, профили пользователей, хэштеги, поисковые запросы, твиты, список сообщений и тренды.
Weibo (Sina Weibo): профили пользователей

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Telepathy — OSINT инструмент для сбора информации из Telegram групп. Утилита также позволяет получать информацию о пользователях по геолокации

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Awesome-Crawler - подборка модулей и ресурсов для скрапинга/парсинга данных на Python и других языках.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Scrapy - один из самых мощных фреймворков для скрапинга/парсинга веб-страниц на Python.

Репозиторий со скриптами и примерами кода сбора данных с разных сайтов: reddit, linkedin, youtube, github, amazonbook и многих других.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Web scraping open knowledge project - проект энтузиастов которые в течение последних нескольких лет собирали лучшие практики веб-скрапинга, чтобы сделать его масштабируемым и эффективным.

Репозиторий включает:
Утилиты
Методы защиты от ботов
Различные советы по скрапингу/парсингу данных и д.р полезную информацию

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Загрузчик целых плейлистов YouTube с индикатором выполнения

#инструменты

Подписаться — Data Diggers
YaSeeker - OSINT инструмент позволяющий получать информацию о любом Yandex аккаунте используя email или username.

Находит:
Fullname
Photo
Gender
Yandex UID
Yandex Public ID
Linked social accounts
Activity (count of reviews, comments; subscribers and subscriptions)
Account features (is it verified, banned, deleted, etc.)

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Forwarded from [PYTHON:TODAY]
👨‍💻 InsightFace: анализ и распознавание лиц в 2D и 3D

InsightFace — набор инструментов для 2D- и 3D-анализа лица с открытым исходным кодом, основанный на PyTorch и MXNet.

Репозиторий содержит предварительно обученные модели 👍

⚙️ GitHub/Инструкция

#python #soft #github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Уровень внешнего долга к ВВП России в 2022 году упал до исторического минимума.

Показатель опустился на 10 п.п. — до 16,6%.

Тройку лидеров возглавил Китай (13,7%), а на третьем месте идет Индия (19,1%), следует из расчетов РИА Новости.

Самый высокий внешний долг у европейских стран: Нидерланды — 380,5%, Великобритания — 287%, Швейцария — 280,5%, Франция — 249%, Бельгия — 242%.

— сообщает канал ПРАЙМ

Подписаться — Data Diggers