Код в мешке
249 subscribers
8.94K photos
1.58K videos
2.11K files
42.1K links
Код в мешке - про кодинг, и не только...
Это личная записная книжка

https://t.me/joinchat/AAAAAEIy6oGlr8oxqTMS5w
Download Telegram
Forwarded from Ivan Begtin (Ivan Begtin)
Для тех кто работает с CSV файлами, неплохой и даже немного смешной текст A love letter to the CSV format [1] где автор рассуждает и расхваливает преимущества CSV формата для данных и аргументы его неплохи, но... лично мне недостатки не перевешивают. На его 9 пунктов я могу пару десятков пунктов написать о недостатках CSV, но плюсы тоже есть, чего уж тут скрывать. И, правильнее сказать что не один автор, а авторы, создатели утилиты xan, the CSV magician [2] для обработки CSV файлов.

Утилита эта является переписанной и переработой утилиты xsv [3] и позволяет вытворять самое разное с CSV файлами, включая визуализации, параллельную обработку, просмотр с командной строки и ещё многое другое.

Хороший инструмент, у него только один недостаток, он работает только с CSV файлами😂

Для тех кто любит командную строку и CSV формат - незаменимая штука.

Ссылки:
[1] https://github.com/medialab/xan/blob/master/docs/LOVE_LETTER.md
[2] https://github.com/medialab/xan
[3] https://github.com/BurntSushi/xsv

#opensource #data #datatools
@chatppgbot

Представлен первый AI-бот для работы с PostgreSQL на естественном языке

В основе ChatPPG — собственная LLM‑модель, созданная на базе open‑source модели от Alibaba.
Для работы также развёрнут GPU‑сервер, установленный в российском дата‑центре.
ChatPPG проходит стадию тестовой эксплуатации.

Чтобы присоединиться к тестированию:
• Перейдите в Telegram‑бот
• Задайте вопрос или опишите задачу, например: «Как настроить репликацию?» или «Напиши 10 причин, почему стоит перейти с Oracle на Postgres Pro».
• Оставьте обратную связь в боте через кнопку «Feedback».

...
Читать далее:
↘️ https://habr.com/ru/news/895110/

Полная функциональность будет доступна на официальном сайте:
↘️ https://postgrespro.ru/


Читайте также:

Уже через год мы будем общаться с базами данных по-русски
↘️ https://habr.com/ru/companies/postgrespro/articles/895436/

Шпаргалка по PostgreSQL
↘️ https://khashtamov.com/ru/postgresql-cheatsheet/

Рекомендации при работе с PostgreSQL
↘️ https://habr.com/ru/articles/794839/
...
В ядро Linux добавлена поддержка работы в качестве хост-системы для Hyper-V

В состав кодовой базы ядра Linux, на основе которой формируется выпуск 6.15, принято изменение, добавляющее возможность использования Linux в качестве корневого окружения (Dom0. root partition) для гипервизора Hyper-V (Microsoft Hypervisor). Хост-окружение отвечает за управление гипервизором, организацию запуска гостевых систем, выделение ресурсов и обеспечение взаимодействия виртуальных машин с оборудованием. Управления гипервизором в Linux осуществляется через устройство /dev/mshv. Кроме того, в том же наборе патчей для виртуальных машин, использующих Hyper-V, добавлена возможность отключения на лету отдельных процессорных ядер (CPU offlining).
↘️ https://www.opennet.ru/opennews/art.shtml?num=62959
🖥 Репозиторий: Seekr — универсальный набор инструментов для OSINT

Seekr — этот инструмент объединяет функции ведения заметок и OSINT. Его можно использовать вместе с другими существующими инструментами.

— Этот инструмент включает в себя ключевые функции:
1. Рабочий стол
2. База данных для целей OSINT
3. Интеграция и адаптация множества популярных OSINT-инструментов
4. GitHub для отправки по электронной почте
5. Учётные карточки для каждого человека в базе данных
6. Обнаружение аккаунтов, интеграция с карточками аккаунтов
7. Предустановленные часто используемые поля в базе данных

Ссылка на GitHub (https://github.com/seekr-osint/seekr/tree/main)

#OSINT
@hackernews_lib
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Репозиторий: DataSurgeon — многофункциональный инструмент

DataSurgeon (ds) — это универсальный инструмент, созданный для реагирования на инциденты, тестирования на проникновение и решения задач CTF.

— Этот инструмент позволяет извлекать различные виды конфиденциальной информации, включая электронные почты, номера телефонов, хеши, кредитные карты, URL-адреса, IP-адреса, MAC-адреса, записи SRV DNS и многое другое.

Ссылка на GitHub (https://github.com/Drew-Alleman/DataSurgeon)

#OSINT #CTF #Pentest #Mail #IP #BugBounty
@hackernews_lib
🖥 Репозиторий: GoSearch — эффективный и надежный OSINT

GoSearch — это современный инструмент с открытым исходным кодом, созданный для поиска цифровых следов пользователей в интернете.

— Этот инструмент предназначен для того, чтобы предоставить простой и эффективный способ проверки присутствия человека в интернете, выявления его цифрового следа и, в некоторых случаях, даже получения информации о компрометированных данных, связанных с его профилем.

Ссылка на Github (https://github.com/ibnaleem/gosearch)

#OSINT
@hackernews_lib
Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Browser-use: бесплатный инструмент, который позволяет скинуть на ИИ рутинные задачи в браузере

Просто устанавливаете, вежливо скармливаете API-ключ от нейросети (лучше всего подходит GPT-4o) и скидываете на ИИ все нудные задачи, которые лень делать самому.

Например, на демо: парень попросил прочитать его резюме, найти релевантные вакансии, сохранить их в файл, а позже начать оставлять на них отклики.

Репо тулзы с 50к ⭐️ | Документация

#инструменты
Forwarded from BritLab
Как автоматизированно извлекать текст из видео на YouTube?

Знакомо: нашёл на YouTube ролики, в которых есть тонна полезной информации, а тратить часы на просмотр — нет времени?

В 2018 году появился проект youtube-transcript-api (GitHub) — Python-модуль, который за пару секунд извлекает субтитры из видео.

Но есть нюансы:
⚠️ Требует сетевого доступа к YouTube (может не работать в некоторых странах)
⚠️ Использует неофициальное API
Вот что пишет создатель проекта:
Этот код использует недокументированную часть API YouTube, которая вызывается веб-клиентом YouTube. Поэтому нет гарантии, что он не перестанет работать завтра, если они изменят то, как все работает. Однако я сделаю все возможное, чтобы все заработало как можно скорее, если это произойдет. Так что если он перестанет работать, дайте мне знать!


Как использовать?

1️⃣ Установить библиотеку youtube-transcript-api (PYPI)
2️⃣ Взять ID интересующего видео (поддается автоматизации)
3️⃣ Запустить скрипт (📖 официальная документация)

#BritLab #YouTube #Subtitles #Transcription #Python #Automation
Forwarded from BritLab
Как на самом деле подделывают голос?

Каждую неделю появляются новости о мошенниках, которые с помощью подделанного голоса крадут деньги. Но если спросить: «Как именно они это делают?», в СМИ чаще всего встречаются общие фразы вроде «используют ИИ». [1] [2] [3] [4]

Многих устраивает такой ответ, но давайте все-таки разберемся, как именно происходит эта "подделка".

История из жизни
В 2022 году, на 5-м курсе, я писал научно-исследовательскую работу (НИР) на тему «Атаки на систему верификации диктора по голосу».

Мне дали экспериментальную систему верификации диктора по голосу (СВДГ), и задача была проста: сгенерировать образцы аудио, которые обманут эту систему.

После долгих поисков я наткнулся на проект DiffVC [5] — реализацию диффузионной модели для преобразования голоса. Этот код выложили в открытый доступ буквально за несколько дней до начала моей работы, что было особенно ценно, так как тогда это была действительно передовая технология.

Как это работает (если упростить)?
1️⃣ Берем два аудиофайла:
Голос А (человек 1 говорит фразу X)
Голос B (человек 2 говорит фразу Y)
2️⃣ Подаем их в модель
3️⃣ На выходе получаем аудио, где человек 1 говорит фразу Y голосом человека 2.

Генерация одной записи занимала ~10 секунд (на слабом железе), а качество было почти неотличимо от оригинала — никакого «робоголоса» или шумов.

Эксперимент
Я сгенерировал несколько образцов и прогнал их через СВДГ. Результат:
💥 21,7% успешных атак (из 2256 тестов).

До этого (из предыдущих научных работ, которые я изучал) другие методы давали максимум 5% успешных атак. Для меня это был шок — стало ясно, что подделка голоса скоро станет массовой.

Таким образом, аудио и видео по умолчанию уже нельзя считать достоверными, а способы их подделки с каждым годом сильно дешевеют и довольно просты в реализации.

P.S. Если кому-то интересно, то текст работы закинул в комментарии (титульник, реферат и оглавление удалил).

#ИнформационнаяБезопасность #Кибербезопасность #Deepfake #VoiceCloning #ИИ #Мошенничество #Технологии #Фишинг #НИР #СВДГ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from BritLab Chat
Все научные работы имеют "обязательный" процент воды (с этим ничего не поделать). Суть заключалась в том, чтобы показать пример реального инструмента (https://github.com/huawei-noah/Speech-Backbones/tree/main/DiffVC), который умеет "подделывать" голос и результат его работы "из коробки" при атаках на СВДГ.
Forwarded from BritLab
Как искать скрытую информацию в Telegram

Последнее время я ломал голову над вопросом: "как искать Telegram-каналы, где публикуют информацию об информационной безопасности?"
В Twitter, например, всё просто: купил подписку — и получаешь доступ к куче данных, которые легко парсить. В Telegram же официальных способов для такого поиска нет.

Но я был уверен, что "хитрушки" существуют. И сегодня я их нашёл! Всё оказалось до безобразия просто.

Есть ресурсы, которые используют множество ботов. Эти боты добавляются во все возможные Telegram-каналы и сохраняют всё, что там публикуется. Потом на этих ресурсах можно искать по ключевым словам и находить каналы, где упоминается нужная вам информация.

Долгое время я находил только платные сервисы, доступ к которым стоил космических денег — около 50к в месяц. Но сегодня я нашел ДВА КРУТЫХ БЕСПЛАТНЫХ РЕСУРСА, которые дают просто фантастические результаты.

Например, при поиске по фразе "CVE-2025", эти сервисы выдают список каналов, где публикуют информацию об уязвимостях. Причём это могут быть как крупные каналы (которые легко найти через обычный поиск), так и каналы с 20 подписчиками (которые без таких инструментов обнаружить почти невозможно).

🔥 Ссылки на ресурсы:
1️⃣ tgdev.io/tme/
2️⃣ https://cse.google.com/cse?q=+&cx=006368593537057042503:efxu7xprihg (Telegago)

Если понравился пост, то реакции и репосты приветствуются (цель не поменялась - к лету 500 подписчиков)

#Telegram #поисквтелеграм #Хитрушки #CVE #ИБ
Forwarded from BritLab
Как использование торрентов демаскирует тебя в сети?

Пользовались ли вы когда-нибудь торрентами? Если да, то у меня для вас плохие новости.

Когда пользователь скачивает или раздаёт файл через торрент, его IP-адрес становится видимым для других участников сети.
Сервис IKnowWhatYouDownload собирает эту информацию, систематизирует и предоставляет возможность поиска по IP-адресу.

Чтобы узнать, какие файлы связаны с конкретным IP, достаточно ввести адрес в поисковую строку на сайте. Сервис покажет список торрентов, которые были загружены или разданы с этого IP. Также можно увидеть дату и время активности.

Где это может использоваться?
1️⃣ Мониторинг сети: администраторы корпоративных или домашних сетей могут использовать сервис для проверки активности устройств в своей сети. Это помогает выявить несанкционированное использование торрентов без закупки дорогостоящего ПО.

2️⃣ Юридические вопросы: правообладатели или юристы могут использовать сервис для отслеживания распространения пиратского контента.

3️⃣ Таргетированная реклама: рекламные агрегаторы могут собирать данные через подобные сервисы, чтобы показывать пользователям таргетированную рекламу на основе их активности.

4️⃣ RedTeam: сервис может использоваться для сбора информации о потенциальной цели, что может помочь подготовить целевую фишинговую атаку ("Беспокоит Служба Безопасности ... Было обнаружено, что вы используете торрент в корпоративной сети. Срочно заполните форму, иначе вас уволят <ссылка>").


Вывод
Использование торрентов может раскрыть вашу активность в сети, даже если вы этого не ожидаете.
Помните: ваши данные — это ваша ответственность. Не оставляйте их на виду.

В комментариях привожу пример того, как легко извлекается информация об использовании торрентов из сети с арендованными VPS.

#ru_vm #Кибербезопасность #Торренты #Конфиденциальность #IKnowWhatYouDownload
Forwarded from BritLab
Сбор данных из DHT (Пишем свой аналог IKnowWhatYouDownload)

После моего прошлого поста прилетело много фидбэка. Я не эксперт в области торрентов, но благодаря комментариям узнал несколько интересных нюансов. Это вдохновило меня на создание мини-аналога IKnowWhatYouDownload, и, как оказалось, его можно сделать буквально за пару часов.

Начнем с базы
Разберемся, как работает IKnowWhatYouDownload (и подобные агрегаторы).
Вот что говорят его создатели:
Торрент-файлы попадают в нашу базу данных несколькими способами. Во-первых, мы собираем новинки с популярных торрент-сайтов (как зарубежных, так и российских). Во-вторых, у нас есть компоненты, которые постоянно мониторят DHT-сеть. Если кто-то ищет или анонсирует infohash, мы также добавляем его в базу.

Данные по одному торрент-файлу собираются раз в несколько часов. Чем дольше вы находитесь на раздаче, тем выше вероятность попасть в нашу базу. Данные на сайте обновляются с задержкой в сутки.


Что такое DHT?
DHT (Distributed Hash Table) — это технология, которая используется в торрент-сетях для децентрализованного поиска участников раздачи (пиров) без необходимости подключения к центральному трекеру. Вместо того чтобы полагаться на сервер, DHT позволяет каждому участнику сети хранить и обмениваться информацией о пирах напрямую.

Проще говоря, DHT хранит данные о том, какие пиры участвуют в раздаче конкретного торрента (по его info_hash). Когда вы обращаетесь к DHT, другие узлы сети возвращают список IP-адресов и портов, которые они знают для данного торрента. Именно эту информацию собирают агрегаторы, делая запросы с определенным интервалом.

Как написать свой агрегатор?
После изучения вышеперечисленных деталей стало понятно, что для создания своего аналога нужно выполнить следующие шаги:
1️⃣ Собрать хэши интересующих раздач с трекеров;
2️⃣ Делать запросы в DHT по каждому хэшу, чтобы получить IP-адреса и порты пиров, участвующих в раздаче, и сохранять их в удобном формате (например, JSON).
3️⃣ Загружать данные в базу для дальнейшей обработки и отображения пользователю.
4️⃣ Повторять процесс с определенным интервалом (например, раз в час).

Пункты 1, 3 и 4 довольно просты (для первого понадобится VPN, а для остальных есть множество готовых гайдов).

Самый сложный - это пункт 2. Документации и гайдов по работе с DHT мало, а готового кода я не нашел. Поэтому пришлось немного по python-ить самостоятельно.

Что получилось?
Я написал скрипт, который:
1️⃣ Принимает на входе хэш торрента (либо файл с набором хэшей)
2️⃣ Делает запрос к DHT и сохраняет результаты в JSON-файл (ключом в файле является хэш торрента, а значением — список IP-адресов и портов пиров, участвующих в раздаче)

Для теста я нагуглил хэш торрента с игрой "Ведьмак 3".
В результате работы скрипта отображается информация об активных на текущий момент пирах (скрины работы в комментариях): часть пиров совпала с данными IKnowWhatYouDownload, а часть — нет (IKnowWhatYouDownload работает с задержкой в сутки + некоторые клиенты могут появляться и исчезать довольно быстро и агрегатор может не успевать их собирать). Т.е получилось собрать больше данных, чем у вышеупомянутого агрегатора (мини-успех).
Итоговый скрипт залил на GitHub.

Важный момент: пользователи могут отключать DHT (он включен по умолчанию). В таком случае этот способ их не "обнаружит" (как и агрегаторы).

Если тема вызовет интерес, я глубже погружусь в работу торрентов и расскажу, как пользователи могут "обманывать" агрегаторов, которые следят за DHT.

@ru_vm
#ru_vm #Торренты #DHT #ИнформационнаяБезопасность #Разработка
OSINT: интернет помнит о вас всё

Сколько информации о себе вы публикуете в интернете?
Большинство ответит: «Много».

В десятом выпуске подкаста «Теория большого IT» обсуждаем OSINT (Open Source Intelligence) — методы расследования инцидентов, поиска и проверки фактов с помощью открытых источников.

Как найти нужного человека, проверить незнакомую компанию, провести конкурентную разведку или детализировать события?
Ответы лежат на поверхности, надо только уметь их видеть, рассказывает инженер отдела мониторинга защищенности Максим Копырин.

Ведущий — Александр Соколов

Подкаст можно посмотреть:
✓ на сайте «Теория большого IT»
✓ в VK Видео
✓ на Rutube
🖥 Репозиторий: Tookie — это мощный инструмент для тех, кто интересуется OSINT. Tookie представляет собой продвинутый инструмент для сбора информации, который находит учетные записи в социальных сетях на основе предоставленных данных. Этот инструмент может обнаруживать все учетные записи пользователей на различных веб-сайтах, и Tookie-osint успешно справляется с этой задачей почти в 80% случаев. Ссылка на GitHub (https://github.com/Alfredredbird/tookie-osint) #OSINT
@hackernews_lib
🖥 Репозиторий: Zehef — это инструмент для разведки с открытыми данными (OSINT), который помогает отслеживать электронную почту.

Zehef предназначен для выполнения разнообразных задач, связанных с безопасностью электронной почты.

— Этот инструмент полностью асинхронный и собирает информацию из разных источников.

Ссылка на GitHub (https://github.com/N0rz3/Zehef)

#OSINT #Mail
@hackernews_lib