Data Diggers
11 subscribers
83 photos
1 file
80 links
Канал об источниках открытых данных, поиске, сборе, обработке, инструментах и сопутствующих рисках.

собрать данные: @sergeymu
сотрудничество: @sergeymu
поддержать: https://www.donationalerts.com/r/datadiggers
Download Telegram
🚩Red flags в социологии

Социологические исследования помогают лучше понять общество и отследить динамику мнений. Однако не всем опросам можно доверять.

Мы уже рассказывали о манипуляциях в СМИ и о важности опросных формулировок. В этот раз собрали для вас «красные флаги» в социологии — тревожные звоночки, которые должны насторожить при изучении данных исследований.

А каким исследованиям доверяете вы? 🤔
Уровень инфляции в России с марта 2022 по март 2023 года — сообщает канал Statist | Финансы и бизнес

Подписаться — Data Diggers
Компании Hugging Face и ServiceNow опубликовали ИИ-модель StarCoder, которая умеет генерировать код и, в отличие от «напарника программистов» Copilot, делает это бесплатно.

Модель с 15 млрд параметров обучали на более чем 80 языках программирования, а также документации из GitHub

vc.ru/dev/685804

Подписаться — Data Diggers
Китайский экспорт по странам мира в 2022 году — сообщает канал Рука рынка

Подписаться — Data Diggers
Реальные процентные ставки основных экономик мира

Реальная процентная ставка - это номинальная процентная ставка после учета инфляции, отражающая истинную стоимость заимствования или кредитования.

По состоянию на март 2023 года в Бразилии самая высокая реальная процентная ставка среди 40 крупнейших экономик.

В России реальная процентная ставка 0.19% — сообщает канал Сигналы РЦБ

Подписаться — Data Diggers
Полезные библиотеки Python

VK visualizer
- инструмент для визуализации геоданных из фото профиля ВКонтакте.

Приложение вытянет все фото профиля, отфильтрует те что без геолокации и сохранит полученные данные в csv.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Полезные библиотеки Python

CloudScraper
- простой и очень полезный модуль для парсинга/скрапинга и обхода защиты от ботов Cloudflare.

Модуль обновляется и поддерживается

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Email-Scraper - простой и эффективный OSINT инструмент для сбора email адресов с сайтов и страниц социальных сетей.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Ghunt - многофункциональный, профессиональный и поддерживаемый OSINT инструмент для сбора информации по почте gmail.

Позволяет получить имя владельца, идентификаторы, активные google сервисы, такие как YouTube, Photos, Maps и д.р. Возможную локацию, информацию о Google документах и даже намеченных встречах в календаре и множество другой информации.

Информация предоставлена исключительно с целью ознакомления. И побуждает обратить внимание на проблемы в безопасности.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
snscrape - инструмент для поиска постов и сбора информации о пользователях в популярных социальных сетях.

Работает с:
Telegram: каналы
ВКонтакте: профили пользователей
Facebook: профили пользователей, группы и посты
Instagram: профили пользователей, хэштеги и местоположения
Mastodon: пользовательские профили и инструменты
Reddit: пользователи, сабреддиты и поиск (через Pushshift)
Twitter: пользователи, профили пользователей, хэштеги, поисковые запросы, твиты, список сообщений и тренды.
Weibo (Sina Weibo): профили пользователей

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Telepathy — OSINT инструмент для сбора информации из Telegram групп. Утилита также позволяет получать информацию о пользователях по геолокации

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Awesome-Crawler - подборка модулей и ресурсов для скрапинга/парсинга данных на Python и других языках.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Scrapy - один из самых мощных фреймворков для скрапинга/парсинга веб-страниц на Python.

Репозиторий со скриптами и примерами кода сбора данных с разных сайтов: reddit, linkedin, youtube, github, amazonbook и многих других.

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Web scraping open knowledge project - проект энтузиастов которые в течение последних нескольких лет собирали лучшие практики веб-скрапинга, чтобы сделать его масштабируемым и эффективным.

Репозиторий включает:
Утилиты
Методы защиты от ботов
Различные советы по скрапингу/парсингу данных и д.р полезную информацию

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers
Загрузчик целых плейлистов YouTube с индикатором выполнения

#инструменты

Подписаться — Data Diggers
YaSeeker - OSINT инструмент позволяющий получать информацию о любом Yandex аккаунте используя email или username.

Находит:
Fullname
Photo
Gender
Yandex UID
Yandex Public ID
Linked social accounts
Activity (count of reviews, comments; subscribers and subscriptions)
Account features (is it verified, banned, deleted, etc.)

GitHub/Инструкция

#инструменты

Подписаться — Data Diggers