#OSINT #BIGDATA Системы позволяющие анализировать большие массивы данных, содержащихся в файлах различных форматов. Пригодится для поиска по разрозненным базам данных, выделения сущностей (телефонов, электронных ящиков, IP-адресов и т.п.) из групп файлов. Весьма полезное приобретение.

├datashare на GitHub
├Архивариус 3000
├dtsearch
├Доктор Ватсон
├docfetcher
└astrogrep

@tomhunter | атакующая безопасность

Z-scoring for simple and fast anomaly detection
Anomaly detection is a fairly common problem that covers many scenarios, from financial fraud to computer network failures. Some problems require complex machine learning models, but most often some simpler and cheaper methods are sufficient. For example, you have sales data over a period of time where you want to flag days with abnormally high volumes or highlight customers with abnormally high credit card swipes for risk testing.
For such cases, a simple statistical method of marking outliers, called Z-scoring, will do. The score is equal to the difference between the current and mean values, divided by the standard deviation. Z-scoring assumes the classical normal distribution of random variables. Converting nominal scale values to a logarithmic scale will improve the ability of most ML models to discern relationships and improve the ability of Z-scores to flag outliers.

In practice the implementation of Z-score is very simple: it can be written as a small software script or even a set of SQL queries to quickly get a lightweight MVP and quickly test a hypothesis.
https://towardsdatascience.com/anomaly-detection-in-sql-2bcd8648f7a8

Pygal - это одна из самых простых, но в то же время мощных библиотек для построения всевозможных графиков.
График тут построить можно всего одной строчкой кода, например:

pygal.Bar()(1, 3, 3, 7)(1, 6, 6, 4).render()

Причем Pygal делает экспорт графиков в SVG.
И это на самом деле крайне удобно.

Ставится командой pip install pygal
Документация и примеры кода здесь.

​DeepFaceLab – Набор python-проектов для создания DeepFake

В наборе вы найдете софт для создания множества эффектов - начиная от изменения возраста персонажа на видео до замены головы

GitHub | #Python #Interesting #Useful

HuggingFace запустили свой курс по RL! Судя по скриншотам - это бомба 💣

Курс бесплатный, регистрируют тут

GPT-3 модель для 60 языков от Сбера
mGPT: Few-Shot Learners Go Multilingual

Сбер выкатил в опенсоурс новую модель на 1,3 миллиарда параметров, обученных на 60 языках из 25 языковых семей с использованием Википедии и Colossal Clean Crawled Corpus.

В препринте на архиве, авторы заявляют, что модель показывает производительность наравне с недавно выпущенными моделями XGLM от Facebook (disclaimer: я хз, сам модель не тестил ещё), охватывая больше языков, включая малоресурсные языки (с маленьким набором текстов в датасетах) стран СНГ и малых народов России.

На скрине пример использования модели. Код и веса есть на гитхабе.

🥻StyleGAN-Human: A Data-Centric Odyssey of Human Generation

Тут ребята генерируют людей целиком, а не только лица. Вроде ничего нового, но результат неплохой. Даже в эпоху DALL-E 2, подобная технология может быть полезна, так как позволяет генерировать реалистичные «стоковые души» для разных коммерческих задач.

🔮 Colab | сгенерировать стоковую душу

Ребята уже выложили веса StyleGAN (1024x512), StyleGAN 2 (1024x512) и даже StyleGAN 3, но пока только в 512х256, но обещают скоро выложить и 1024x512 веса.

🖥 project 💻 git 🎥 youtube

p.s.: На ютуб ролике с объяснением, пока всего 90 просторов