📌 Столкнулся на днях с небольшой задачей по поиску геоданных. Звучит она следующим образом - определить геолокацию и полное название страны по ее двухбуквенному коду (alpha-2).

🔎 Помониторив различные сервисы, в том числе наиболее популярные от Яндекс и Google, стало ясно, что без регистрации тут не обойтись. Также вспомнил про используемую ранее платформу DaData, при помощи которой реализовывал подключение автоподсказок по введенному адресу (бесплатных запросов для ненагруженного приложения более чем достаточно), но для решения текущей задачи соответствующего инструмента не нашлось. Можно было бы поиграться с несколькими запросами цепочкой и собрать информацию воедино, но такие усложнения ни к чему.

Повсеместно распространен подход с регистрацией, предоставлением доступа к API по ключу и лимитами по количеству запросов. В целом, для проверки функциональности, а в дальнейшем и коммерческого использования в своем продукте можно, а в большинстве случаев даже нужно обращаться к подобным ресурсам в связи с наличием техподдержки, поддержанием актуальной информации и непрерывным развитием предоставляемых услуг.

📚 Продолжив поиски, обнаружил отправленный в архив проект restcountries на github - публичная библиотека информации по странам с открытым API. Создатель проекта какое-то время назад коммерциализировал свое детище, так появился restcountries.eu, однако бесплатную версию подхватили энтузиасты и поддерживают до сих пор. Доступна она по адресу restcountries.com, а репозиторий проекта располагается на gitlab.

🔨 В один запрос задача получила свое решение без каких-либо лишних манипуляций

# выгружаем информацию о стране по cca2 коду
curl https://restcountries.com/v3.1/alpha/ru

В ответе представлена довольна обширная информация о стране, включая сокращенное и полное названия, геолокацию, столицу, часовые пояса, граничащие страны, численность населения, государственный флаг и многое другое.

Полный перечень endpoints смотрим здесь. Искать можно как по кодам всех видов, так и по названиям, валютам, языкам, столицам и так далее.

📝 Очередной инструмент в копилку.

#tools #geo

Задача о выгрузке информации о странах получила свое продолжение. Для собранных данных о геолокации стран (координаты столицы, крупных городов) необходимо сделать соответствующие отметки на карте.

📝 Имеем географические координаты (широту и долготу) и карту в виде изображения, на которое и нужно нанести метки, т.е.преобразовать точку трехмерного пространства в двумерное, построить проекцию.

📚 С решением задачи нам поможет картографическая проекция Меркатора, а точнее ее вариант WGS 84 / Pseudo-Mercator, который используется в современных картографических приложениях и сервисах.
WGS - всемирная геодезическая система, в настоящее время являющаяся стандартном в картографии, геодезии и спутниковой навигации. Согласно этой системе, Земля - эллипсоид, а экватор и нулевой меридиан - опорные точки для широты и долготы соответственно.

‼️ Обязательным условием является работа с изображением карты, которое соответствует WGS 84.

Подходящее изображение карты можно взять, например, здесь.

🚀 Перейдем к решению.

Поскольку точка отсчета - это пересечение экватора и нулевого меридиана, а нам удобнее было бы работать с левым верхним углом изображения, как началом координат, то для смещения по оси X используем ложный сдвиг в восточном направлении, а по оси Y ложный сдвиг в северном направлении. Ложный сдвиг - это линейное значение, применяемое к началу координат, которое позволяет гарантировать, что значения по конкретной оси будут положительными, что нам и нужно при работе с изображением.

Сама формула расчета давно известна, я приведу вариант ее реализации на языке python применительно к задаче, а также чтение и отрисовку тестовых данных с использованием библиотеки opencv.

✅ Тестовые данные

data = [
    {"lat": 55.75, "lon": 37.6, "label": "Moscow"},
    {"lat": 55.0415, "lon": 82.9346, "label": "Novosibirsk"},
    {"lat": 56.8519, "lon": 60.6122, "label": "Yekaterinburg"},
    {"lat": 51.3026, "lon": 0.0739, "label": "London"},
    {"lat": 48.48, "lon": 2.20, "label": "Paris"},
    {"lat": 40.24, "lon": -3.41, "label": "Madrid"},
]

✅ Функция построения проекции

# lat - широта
# lon - долгота
# width - ширина изображения карты
# height - высота изображения карты
def latlon_to_offset(lat, lon, width, height):
    # ложный сдвиг в восточном направлении
    FALSE_EASTING = 180

    # долгота меридиана в точке отсчета
    # 0, т.к. у нас точкой отсчета является левый край карты
    lon0 = 0

    # радиус Земли в проекции
    # ширина изображения здесь является длиной окружности
    radius = width / (2 * math.pi)

    # переводим широту и долготу в радианы
    radian_lat = math.radians(lat)
    radian_lon = math.radians(lon - lon0 + FALSE_EASTING)

    # определяем положение по X
    offset_x = radius * radian_lon

    # определяем положение по Y относительно экватора
    offset_y_from_equator = radius * math.log(math.tan(math.pi / 4 + radian_lat / 2))

    # определяем положение по Y относительно верхней границы изображения
    offset_y = height / 2 - offset_y_from_equator

    return int(offset_x), int(offset_y)

✅ Читаем изображение, применяем функцию на тестовых данных, отрисовываем результат и сохраняем

src = cv2.imread("1084px-Web_maps_Mercator_projection_SW.jpg", cv2.IMREAD_COLOR)
h, w, _ = src.shape

for item in data:
    x, y = latlon_to_offset(item["lat"], item["lon"], w, h)
    src = cv2.circle(src, (x, y), 5, (0, 0, 255), 2)

cv2.imwrite("result.jpg", src)

#python #geo

Тема с внедрением инструментов на базе языковых моделей в рабочие процессы вызывает все больший интерес у специалистов совершенно разных областей. Интерес порождает стремительный рост количества предложений, отсюда множество чат-ботов, сервисов и прочего специализированного ПО на базе ИИ, как правило, платных.

Однако, существуют решения для локального развертывания, без обращения к внешним ресурсам, без отправки данных на чей-либо сервер при обработке их с помощью так называемого ИИ.

🔥 Одним из таких решений является LM Studio - приложение для работы с языковыми моделями прямо на компьютере. Оно позволяет запускать популярные модели, такие как Llama, Mistral, Gemma и другие, без необходимости подключения к интернету. Широкий выбор поддерживаемых моделей дает пользователю гибкость в решении поставленной задачи.

📌 Основные возможности: генерация текста, анализ и обработка файлов.

⚒️ Установка и работа

🔸 Приложение можно скачать с официального сайта.
Поддерживаются:
- Windows (10 и выше, x64)
- macOS (13.4 и выше, Apple Silicon)
- Linux (Ubuntu 20.04 и выше, x64)

🔸 Интерфейс приложения интуитивно понятен и содержит довольно много подсказок и описаний, чтобы пользователю было проще сориентироваться. Не считая некоторых параметров, которые можно и нужно корректировать в процессе работы с моделями в зависимости от целевой задачи, и которые будут рассмотрены далее, трудностей даже у рядового пользователя возникнуть не должно.

- В разделе Discover выбираем подходящую модель из предложенного списка или ищем любую другую с Hugging face по названию / автору.
- Скачиваем, модель будет сохранена локально.
- Переходим в чат и выбираем модель, с которой хотим взаимодействовать.
- Начинаем общение.

🚀 Системный требования (рекомендуемые)
- 16+ Гб RAM
- CPU с поддержкой AVX2 (для Windows и Linux)
- Apple Silicon (для macOS)
- Желательно, но не обязательно, наличие GPU с поддержкой CUDA или AMD ROCm.

Доступные мощности накладывают свои ограничения на используемые модели. Стоит отметить, что вопросу оптимизации уделяется отдельное внимание как от разработчиков, так и от создателей моделей, что позволяет запускать языковые модели даже на устройствах с ограниченными ресурсами.

⚙️ Параметры генерации и запуска модели

🔹 Temperature
Отвечает за "творческие способности" модели. При низких значениях модель будет выбирать наиболее вероятные слова - хорошо подходит для задач, требующих точности, при высоких — может выбирать менее предсказуемые варианты, что лучше подойдет для творческих текстов.
✔️ Диапазон: 0.0 – 1.0
- 0.0–0.5: Строгие и формальные ответы, минимальная случайность.
- 0.7–0.8: Сбалансированные ответы.
- > 0.8: Неожиданные, творческие ответы.

🔹 Top-P Sampling
Ограничивает выбор слов на основе их совокупной вероятности. Помогает избежать как слишком шаблонных, так и слишком случайных ответов.
✔️ Диапазон: 0.0–1.0
- 0.1–0.5: Узкий выбор слов, предсказуемые ответы.
- 0.7–0.9: Разнообразные, но логичные ответы.
- 1.0: Без ограничений, модель рассматривает все слова.

🔹 Top-K Sampling
Ограничивает выбор следующего слова количеством наиболее вероятных кандидатов. Например, при Top-K = 40 (значение по умолчанию) модель будет выбирать из 40 самых вероятных слов. Таким образом контролирует точность и предсказуемость генерации, снижается вероятность генерации маловероятных слов.
✔️ Диапазон: 1–500

🔹 Context length
Максимальное количество слов, которое модель может учесть и обработать за одну итерацию. Диапазон значений зависит от модели. Корректируется в зависимости от задачи, например, для коротких задач типа вопрос-ответ будет достаточно небольшого значения, тогда как для анализа длинных текстов и диалогов контекст следует расширить, чтобы получить более точные ответы.

✏️ Дополнительные возможности
Приложение LM Studio позволяет запустить локальный REST API сервер для взаимодействия с моделями через запросы. Если рассматриваете интеграцию своего приложения с сервисом языковых моделей, то это отличная возможность поэкспериментировать.

#tools #ai

Для передачи файлов между распределенными устройствами и пользователями в повседневной работе как правило используются различные сервисы и инструменты, например, мессенджеры или электронная почта для мелких файлов, облачные хранилища и файлообменники для больших. Варианты безусловно удобные и быстрые, однако, в таком случае, чтобы была возможность поделиться файлами с кем-то еще, они оказываются на “чужом” сервере, где ничто не мешает владельцу этого самого сервера распорядиться ими по своему усмотрению.

🔥 Для устранения необходимости в посредниках при обмене данными существует специализированная библиотека с открытым исходным кодом Magic Wormhole на python, основанная на одноименном протоколе. Назначение - прямая передача файлов, каталогов или текстовых сообщений между двумя устройствами в зашифрованном виде с использованием уникальных одноразовых кодов, которые генерируются для каждой сессии передачи.

⚡️ Magic Wormhole использует PAKE (Password Authenticated Key Exchange) - протокол обмена ключами, при котором используется пароль для создания общего ключа на каждой из сторон с дальнейшей его верификацией, который используется для шифрования пересылаемых данных.

📌 Обязательными компонентами Magic Wormhole являются:

▫️ Сервер-ретранслятор для обмена служебными сообщениями между клиентам Magic Wormhole Mailbox Server.

▫️ Транзитный сервер Magic Wormhole Transit Relay, задача которого “склеить” два клиентских сокета по запросу, если это не удалось сделать напрямую.

В библиотеке адреса двух серверов разработчика системы прописаны по умолчанию. Они могут быть развернуты на своем хостинге, что еще больше повысит надежность обмена.

📌 Библиотека поставляется вместе с консольной утилитой wormhole. На примере ее работы можно оценить простоту использования протокола.

🔹 Установка

# Debian / Ubuntu
sudo apt install magic-wormhole

Magic Wormhole доступна под разные операционные системы. Подробнее о способах установки здесь.

🔹 Отправка файла

# wormhole send [args] --text TEXT
# wormhole send [args] FILENAME
# wormhole send [args] DIRNAME

wormhole send myfile.txt

Будет сформирован одноразовый код, который необходимо сообщить получателю.

🔹 Получение файла

# wormhole receive [args]

wormhole receive

Вводим одноразовый код и получаем файл.

🔹 Явное указание адресов сервера-ретранслятора и транзитного сервера

wormhole send --relay-url=ws://<server ip>:4000/v1 --transit-helper=tcp:[<server ip>]:4001 myfile.txt

Другая сторона должна указать эти же параметры при получении.

📌 Реализация протокола Magic Wormhole была адаптирована в виде библиотеки и под другие языки, а также разработаны клиентские приложения на их основе, включая мобильные. Полный перечень библиотек и приложений можно посмотреть в документации.

#tools #security

Еще одним внушительным инструментом для работы с ИИ локально является платформа LobeChat. Это целый комплекс возможностей, объединенных в одном, красиво оформленном и интуитивно понятном веб-приложении.

📌 Основные особенности

1) Агрегатор провайдеров языковых моделей
LobeChat предоставляет доступ к популярным чат-ботам, таким как ChatGPT, Gemini, Groq, Claude и другие, объединяя все это в одном рабочем пространстве.

2) Визуальный анализ
Закинули изображение в чат и запросили описание или генерацию промпта по нему для дальнейшего использования. Реализуется путем интеграции с моделями распознавания, например, gpt-4-vision или gemini-pro-vision.

3) Преобразование текста в речь и речи в текст (OpenAI Audio).

4) Генерация изображений из текста. Интеграция с DALL-E, MidJourney или бесплатным решением от Pollinations.

5) Система плагинов
Расширение возможностей чатов за счет подключения дополнительных функций, например календарь, погода, поисковая система, генерация изображений, новостные сводки, переводчики и многое другое. Находим нужный плагин в Plugin Store, устанавливаем, подключаем к конкретному чату.

6) База ассистентов, т.е. подготовленных промптов для решения конкретных узкоспециализированных задач.
На данный момент набор ассистентов содержит более 400 решений, разбитых на категории по разным направлениям, которая периодически пополняется и обновляется силами независимых исследователей и организаций.

7) Локальное использование моделей
Осуществляется путем интеграции с ollama - популярным у исследователей инструментом локального запуска языковых моделей, который, в том числе, предоставляет API для взаимодействия.

8) Многопользовательский доступ

9) Использование технологии `PWA` (Progressive Web Apps), что позволяет адаптировать приложение под различные платформы, в том числе мобильные.

🚀 Попробовать приложение можно в облаке или же развернуть локально

▫️ Разворачиваем локально с помощью docker только веб-приложение. Вся история взаимодействия и настройки хранятся во встроенной в браузер базе данных indexedDb.

▫️ Для подключения распределенной базы данных, работы с документами и формирования собственной “базы знаний” LobeChat поставляется с набором сопутствующих сервисов (сервер управления доступом Casdoor, база данных PostgreSQL и s3 хранилище MinIO). Используем подготовленный docker-compose со всем необходимым.

✖️ Из минусов отмечу слабую локализацию на русский язык - выглядит как автоматический перевод, в большинстве случаев сложно разобрать о чем идет речь в том или ином описании.

✅ Платформа ориентирована на максимально простой и удобный способ собрать воедино зоопарк площадок, сервисов и инструментов для работы с искусственным интеллектом. Большинство интеграций требуют наличия аккаунтов для доступа к платным функциям известных решений, что накладывает некоторые ограничения. Однако, ряд существующих бесплатных компонентов, а также работа с языковыми моделями локально, позволяют использовать систему вполне полноценно.

#tools #ai

🔎 Рассмотренный ранее cli клиент для безопасной передачи данных это конечно замечательно, но не так удобно для повседневного использования, если терминал не ваш основной инструмент. Попробовал несколько клиентов из списка от разных разработчиков и на базе разных библиотек, реализующих протокол Magic Wormhole.

1️⃣ Rymdport. Мультиплатформенное десктопное приложение под Windows / Linux / macOS / FreeBSD с открытым исходным кодом. Для реализации протокола используется библиотека на golang wormhole-willian.
Максимально простое приложение - запустил, закинул файл, передал сгенерированный код получателю, отследил прогресс и статус отправления. В разделе с настройками можно прописать собственные адреса сервера-ретранслятора и транзитного сервера.

2️⃣ Wormhole File Transfer. Мобильное приложение с открытым исходным кодом для Android, опубликованное в Google Play и F-Droid. В основе реализации протокола лежит библиотека magic-wormhole.rs на Rust. Аналогично Rymdport - ничего лишнего, только целевые функции для передачи / приема файлов с возможностью настройки рабочих серверов.

3️⃣ Кроссплатформенный графический клиент Destiny. Реализован на Flutter. Мобильные версии размещены во всех популярных магазинах, десктопные в релизах на гитхабе. По функциональности добавить нечего.

4️⃣ Веб-клиент от команды разработчиков Destiny - Winden. Как и у Destiny, реализация протокола базируется на wormhole-willian.

📝 Если к первым трем клиентам вопросов не возникло, все соответствует заявленной функциональности, поставил и протестировал передачу данных, используя в том числе собственные служебные серверы, то вот с Winden пришлось повозиться, чтобы развернуть его локально. Сборка оказалась куда сложнее, чем просто docker compose up -d в связи с множественными падениями из-за “недоустановленных” модулей и пакетов, которые подкидываются чуть ли не вручную. Приложение в beta версии, последней релизной версии уже год, много тестового окружения внутри, некий сервис обратной связи для сбора отзывов после каждой отправки / получения файлов. На основе выше перечисленного создается впечатление, что продукт ушел в коммерциализацию, а его opensource версия существует лишь для публичного теста.

✅ Наличие немалого числа вариантов позволяют выбрать и установить или вовсе собрать самостоятельно определенную версию клиента, подходящего именно под ваши рабочие платформы и устройства. Сам процесс передачи данных никак не отличается в зависимости от реализации, что позволяет комбинировать приложения разных авторов для выполнения поставленной задачи.

#tools #security

📚 Пополняю коллекцию шпаргалок списком основных команд для работы с Docker.

🔷 Images

# список образов
docker images

# скачиваем образ из Docker Hub
docker pull <name>

# собираем образ из Dockerfile в текущей директории
docker build .
# с присвоением тега
docker build -t <name>:<tag> .
# с указанием пути до Dockerfile
docker build -f path/to/Dockerfile

# удаляем образ по id
docker rmi <image_id>

🔷 Containers

# список всех запущенных контейнеров
docker ps

# список всех контейнеров, в том числе остановленных
docker ps -a

# запускаем контейнер по id или имени
docker start <name / id>

# останавливаем контейнер
docker stop <name / id>

# перезапускаем контейнер
docker restart <name / id>

# удаляем контейнер
docker rm <name / id>

# создаем и запускаем новый контейнер в фоновом режиме с загрузкой образа если необходимо
docker run -d --name <container_name> <image_name>
# с пробросом портов
docker run -d -p <host_port>:<container_port> <image_name>
# с монтированием директории или тома
docker run -d -v <host_dir / volume>:<container_dir> <image_name>

# подключаемся к запущенному контейнеру
docker attach <name / id>

# подключаем к контейнеру с созданием новой shell сессии
docker exec -it <container name / id> sh

🔷 Сбор информации о контейнерах

# смотрим логи контейнера
docker logs <name / id>
# в реальном времени
docker logs -f <name / id>
# последние 10 строк логов
docker logs -n 10 <name / id>

# системные ресурсы, используемые контейнером
docker stats <name / id>

# запущенные процессы в контейнере
docker top <name / id>

# детальная информация о контейнере
docker inspect <name / id>

🔷 Volumes

# список томов
docker volume ls

# создаем том
docker volume create <name>

# информация о томе
docker volume inspect <name>

# удаляем том
docker volume rm <name>

🔷 Networks

# список сетей
docker network ls

# создаем новую сеть
docker network create <network_name>

# подключаем контейнер к сети
docker network connect <network_name> <container name / id>

# отключаем контейнер от сети
docker network disconnect <network_name> <container name / id>

# информация о сети
docker network inspect <network_name>

# удаляем сеть
docker network rm <network_name>

🔷 Docker compose

# запускаем сервисы, указанные в docker-compose.yml / compose.yml
docker compose up
# в фоновом режиме
docker compose up -d
# с пересборкой образов, если были какие-либо изменения
docker compose up -d --build
# с принудительным пересозданием контейнеров, даже если не было изменений
docker compose up -d --build --force-recreate
# с удалением контейнеров, которых нет в compose, но были при предыдущих запусках
docker compose up -d --remove-orphans

# останавливаем и удаляем контейнеры, сети, тома и образы, созданные при up
docker compose down

# список запущенных сервисов через compose
docker compose ps

# список всех запущенных проектов compose
docker compose ls

# собираем / пересобираем образы
docker compose build

# смотрим логи сервисов
docker compose logs

🔷 Системная информация

# общая информация
docker system info

# занятое дисковое пространство
docker system df

🔷 Очистка

# удаляем все dangling (без тегов и ни к чему не привязанные) образы
docker image prune
# удаляем все неиспользуемые образы, в том числе dangling
docker image prune -a

# удаляем все остановленные контейнеры
docker container prune

# удаляем неиспользуемые контейнерами тома
docker volume prune

# удаляем неиспользуемые сети
docker network prune

# очищаем builder кэш
docker builder prune

# очищаем все неиспользуемое - образы, контейнеры, сети, кэш, тома
docker system prune

#docker #шпаргалка

📌 Для тех кто ищет альтернативу платным / более недоступным сервисам, или просто хочет разместить аналог на своем сервере для пущей надежности, можно воспользоваться сервисом Open-source builders. Не нашли нужный вариант? Загляните в раздел Requests, оставьте заявку или полистайте созданные ранее обращения, возможно, кто-то уже ранее интересовался чем-то подобным.

📌 Также порекомендую подборку проектов Awesome-Selfhosted, где предлагаются решения с открытым исходным кодом под конкретные задачи с возможностью размещения на своем железе. Сам периодически пользуюсь этим каталогом дабы найти узкоспециализированные инструменты. Список категоризирован, каждый проект с кратким описанием, ссылками и типами лицензий.

#полезное

При разработке программных продуктов мы так или иначе взаимодействуем с различными ресурсами, сервисами, базами данных как внутри ИТ инфраструктуры компании, так и за ее пределами. Для получения доступа к этим ресурсам используются секреты - ключи, токены, логины и пароли и прочее, т.е. разного рода конфиденциальные данные для аутентификации, заполучив которые, злоумышленники откроют для себя возможность беспрепятственного сбора информации.

⚠️ В угоду скорости или удобству, по невнимательности или неопытности, непосредственные участники процесса (разработчики, тестировщики, администраторы) могут оставить секреты в открытом виде прямо в коде или конфигурационных файлах. После публикации такого проекта на платформе для размещения исходного кода, например, github или gitlab, секреты становятся доступными всем желающим. Даже если на очередной итерации вы “прибрали за собой”, то история проекта помнит все. Таким образом, помимо управления секретами, возникает необходимость проверки кода на наличие секретов в открытом виде.

📌 Поиск по ключевым словам
Простой, но действенный способ обнаружить забытые в коде секреты - поиск по ключевым словам. Составляем список слов, например, password, key, private, token и так далее, используем grep по содержимому проекта или поисковую систему на площадке размещения. Чем больше проект и чем больше в нем участников, тем сложнее будет полагаться только на ручную проверку.

📌 Gitleaks
Gitleaks - утилита с открытым исходным кодом для мониторинга конкретных репозиториев, каталогов, файлов. Позволяет автоматизировать процесс контроля за возможными утечками секретов как при самостоятельной разработке на каких-либо одиночных проектах, так и внутри хранилища исходного кода большой команды или целой компании. Важной особенностью здесь является проверка всей истории проекта, а не только актуального состояния.

Поддерживается большинство популярных платформ, включая вариант с использованием docker. Попробовал готовые сборки под Windows и Linux. Долго разбираться не пришлось, параметры запуска описаны в официальном репозитории проекта. Единственное с чем могут возникнуть трудности, так это с формированием собственных правил поиска на основе регулярных выражений, однако в большинстве случаев будет достаточно конфигурационного файла по умолчанию, количество поддерживаемых вариантов секретов накопилось довольно серьезное за время существования проекта.

💻 Несколько примеров работы с программой

✅ Сканируем git репозиторий, включая полную историю

# с выводом всей информации в консоль
gitleaks git -v
# с сохранением отчета в файл
gitleaks git --report-path gitleaks-report.json

✅ Проверяем директорию

gitleaks dir -v path/to/dir

✅ Передаем в gitleaks поток на анализ

# windows
type mysecretkey.pem | gitleaks -v stdin
# linux
cat mysecretkey.pem | gitleaks -v stdin

💡 Автоматизировать процесс можно благодаря хуку на pre-commit, за счет которого на каждый git commit будет выполняться проверка через gitleaks. Процесс настройки описан в README. Очень полезная опция.

📌 gitGrabber
В дополнение к gitleaks упомяну и gitGrabber - отслеживает последние индексируемые github файлы по мере их появления, что позволяет узнать об упоминании о вашем проекте, сервисе, организации, домене и тому подобное. Зачем это нужно? Источником утечек не обязательно являются сотрудники именно вашей команды или компании, ими в точно такой же степени могут оказаться пользователи, поставщики услуг, фрилансеры, с которыми вы работаете или работали, и о существовании публичного профиля которых ничего неизвестно.
Инструмент не анализирует историю репозиториев, работает на регулярных выражениях, умеет слать уведомления о своих находках.

🌎 Применение специализированных инструментов мониторинга позволяет снизить риск непреднамеренного попадания учетных данных в публичное пространство или же своевременно отреагировать на возникшие инциденты. Следует отметить, что отслеживание ни в коем случае не освобождает от такой важной задачи, как управление секретами, обеспечение хранения и безопасного доступа к ним.

#security #leaks

‼️ На днях популярная ИИ библиотека ultralytics была скомпрометирована, причем дважды. В версиях 8.3.41 и 8.3.42 pip пакета обнаружили криптомайнер, пропатчили, а после, в версиях 8.3.45 и 8.3.46 злоумышленники снова повторили свою атаку. Судя по комментариям исследователей, целью атаки были машины и серверы на Linux и macOS, Windows же затронут не был.

Вместе с установкой библиотеки загружается и запускается XMRig майнер в /tmp/ultralytics_runner. Заметить подозрительную активность оказалось несложно - резкий скачок загрузки цп после установки тому свидетельство.

✅ Проверяем версию установленного пакета. Если она среди скомпрометированных - удаляем.

pip show ultralytics
pip uninstall ultralytics

✅ Ищем и убиваем вредоносный процесс /tmp/ultralytics_runner (ps -a). Удаляем исполняемый файл.

На сегодняшний день скомпрометированные пакеты уже удалены из сборок библиотеки, а также выпущены несколько обновленных версий с экстренными патчами безопасности, однако, рекомендуется пока повременить с обновлениями и воспользоваться одним из предыдущих выпусков, например, 8.3.40 и младше.

Источники: [1], [2], [3]

#security #leaks

Источников контента, новостных сайтов и каналов на сегодняшний день столько, что охватить весь объем становится проблематично, а отыскать что-то действительно ценное еще сложнее. Трудностей в освоении материала добавляет необходимость перепрыгивать с ленты на ленту, из приложения в приложение и по множеству вкладок в браузере в придачу.

📝 Для формирования краткой сводки по новостям давно существуют RSS-ленты, а для автоматического сбора сообщений из них различные специализированные приложения и сервисы. Я приведу вариант размещения подобного агрегатора на собственном сервере, а также способ представления Telegram-каналов в виде RSS-лент с подключением к этому серверу.

⚡️ Tiny Tiny RSS
В качестве RSS сервера будем использовать проект с открытым исходным кодом - Tiny Tiny RSS. В основе лежит минималистичное веб-приложение для сбора и чтения RSS-лент. Поддерживает категоризацию, метки, различные фильтры, варианты представления, кастомные темы и расширения за счет плагинов. Быстро и просто разворачивается с помощью docker.

🔹 Установка
▫️ Имеем виртуальную машину на Debian 12 с предварительно установленным docker.
▫️ Забираем с официального сайта .env и docker-compose.yml файлы.
▫️ Внесем несколько правок в переменные окружения, поскольку планируем использовать только в локальной сети

ADMIN_USER_PASS=admin
ADMIN_USER_PASS_ACCESS_LEVEL=10
HTTP_PORT=8280

▫️ Собираем и запускаем

docker compose up -d

🔹 Проверка
По адресу виртуальной машины идем в приложение через порт 8280. Здесь все интуитивно понятно - создаем новую подписку - добавляем либо адрес rss-ленты (например, https://3dnews.ru/news/rss/), либо просто ссылку на сайт (https://3dnews.ru), а приложение попробует найти его ленту и добавит в список. Настраиваем удобный вид отображения и тему, листаем сотни подгруженных новостей.

⚡️ RSSHub
Для многих авторов Telegram стал чуть ли не основной площадкой публикации собственного контента, однако, не каждый заводит отдельный сайт для дублирования своего творчества, а следовательно и подписаться на сводку новостей напрямую, без подписки на канал через мессенджер, не представляется возможным. В данном случае нам поможет еще один open source инструмент - RSSHub, с помощью которого разного рода площадки, будь то социальные сети, видеохостинги или мессенджеры, могут быть представлены в виде RSS-ленты.

🔹 Установка
▫️ Разворачивается также в контейнерах. Скачиваем docker-compose.yml.
▫️ Поскольку reverse proxy не используем, https нам тоже без надобности, то необходимо выставить внешним 80й порт для основного контейнера вместо проставленного по умолчанию 1200, тогда ранее установленный агрегатор успешно подхватит все формируемые через RSSHub ленты.

services:
    rsshub:
        image: diygod/rsshub
        restart: always
        ports:
            - "80:1200"
...

▫️ Собираем и запускаем

 docker compose up -d

🔹Проверка
Заходим по адресу виртуальной машины и видим страницу приветствие - сервис успешно запущен. Никаких манипуляций непосредственно с RSSHub больше делать не требуется.

🔹Создание rss-ленты из Telegram-канала
▫️ Возвращаемся в Tiny Tiny RSS. Предположим, что мы хотим добавить в каталог источников Telegram-канал Хабра https://t.me/habr_com.
▫️ Для преобразования канала в RSS-ленту, нам нужно сформировать ссылку, используя роутинг RSSHub.
Выглядит она следующим образом:

http://{host}/telegram/channel/{tg channel name}

, где host - адрес виртуальной машины, на которой развернут RSSHub (192.168.1.134 в моем случае), а tg channel name - имя Telegram-канала (habr_com).
▫️ В итоге получаем ссылку:

http://192.168.1.134/telegram/channel/habr_com

▫️ Добавляем ее в подписки в Tiny Tiny RSS и проверяем выгрузку новостей.

🔎 Как я упомянул ранее, RSSHub дает возможность привязать не только Telegram, но и другие популярные ресурсы как источники публикаций в вашу собственную ленту. Ряд сопутствующих проектов позволяют упростить и автоматизировать эту процедуру. Подробная информация об особенностях системы представлена в официальной документации.

#tools #opensource #selfhosted #rss

Запустив на днях одну из тестовых виртуальных машин, заметил, что свободного места практически не осталось, хотя никаких тяжелых данных там никогда не хранилось, пользовался ей лишь для сборки и запуска различных контейнеров, так что принялся очищать накопленное, в первую очередь, docker платформой (см. шпаргалку по командам для инспекции и очистки системы).

В локальном хранилище образов было немало тяжеловесов на основе базовых образов систем, например, python3.10-bookworm размером под 800 Мб или golang:1.22.4-bookworm под 1.2 Гб. По их содержимому даже пробегаться страшно - помимо установленных дополнительно, полный набор пакетов и зависимостей, поставляемых с основной системой, причем давно устаревших, а значит потенциально уязвимых.

📝 Исходя из вышеописанного, несколько замечаний на тему сборки образа в контексте скорости и итогового размера. Список далеко не исчерпывающий, а содержит лишь основные моменты.

1️⃣ Выбор специализированных урезанных образов против образов, основанных на полных дистрибутивах систем
▫️ slim - уменьшенная версия стандартного образа системы с удалением ненужных пакетов, компонентов, зависимостей.
▫️ alpine - образ на основе облегченного, минималистичного дистрибутива Alpine Linux. Еще меньше, чем slim, использует специальные версии стандартной библиотеки musl libc и Busybox для пущей миниатюрности.
▫️ scratch - образ-пустышка. Идеальный вариант для запуска приложений, не требующих никакого окружения, внешних зависимостей и т.д.

2️⃣ Многоэтапная сборка
Разделение процесса сборки приложения на отдельные шаги, по завершению которых, на следующий шаг переносится только полученный результат, а не весь комплект сопутствующих программ и зависимостей.

3️⃣ Исключение лишних данных из сборочного процесса с помощью .dockerignore

4️⃣ Использование официальных образов
Официальные образы от разработчиков систем и разного рода инструментария с довольно высокой периодичностью обновляются, долгое время поддерживаются, а также проверены тысячами пользователей, что нельзя сказать о неофициальных сборках от энтузиастов, а вместе с ними и злоумышленников, которые плодят тысячи собственных творений дабы поделиться с окружающими.

⚒️ Пример двухэтапной сборки python приложения с итоговой публикацией в slim

# собираем зависимости
FROM python:3.10 AS builder
COPY requirements.txt .

RUN pip install --user -r requirements.txt

# помещаем исходники и собранные зависимости в итоговый образ
FROM python:3.10-slim

COPY --from=builder /root/.local /root/.local
COPY . /myapp

WORKDIR /myapp

ENV PATH=/root/.local/bin:$PATH

CMD ["python", "-u", "-m", "src"]

💥 В итоге получился образ размером 165 Мб, содержащий 135 установленных пакетов и 814 исполняемых файлов. Не такой уж и чистый, но по сравнению со стандартным образом, значительно меньше.

⚒️ Пример трехэтапной сборки golang приложения с итоговой публикацией в scratch

# кэширование модулей
FROM golang:1.22.4-alpine3.20 AS modules
COPY go.mod go.sum /modules/
WORKDIR /modules
RUN go mod download

# сборка приложения
FROM golang:1.22.4-alpine3.20 AS builder
COPY --from=modules /go/pkg /go/pkg
COPY . /app
WORKDIR /app
RUN go build -o /bin/myapp ./cmd/myapp

# публикация
FROM scratch
COPY --from=builder /app/config /config
COPY --from=builder /bin/myapp /myapp
CMD ["/myapp"]

💥 Размер полученного образа 29 Мб. Содержит 38 модулей проекта и 1 исполняемый файл.

💡 Безопасность систем контейнеризации - отдельная большая тема, однако, в разрезе приведенных примеров (скорее второго приведенного примера, т.к. в первом случае множество исполняемых файлов и библиотек - это, очевидно, кладезь уязвимостей), первый шаг в сторону ее обеспечения был сделан - минимизация вероятности попадания уязвимых зависимостей в контейнер.

#docker

Не откладываем в долгий ящик логичное продолжение рассмотренной ранее темы про агрегацию новостей. На этот раз собирать новости с разных источников будем не на отдельном сервере, а прямо в Telegram с возможностью автоматической публикации в свой открытый канал. На сайте будет размещена расширенная версия данной заметки с дополнительными примерами и описаниями.

⚡️ rss2tg_bot
Первый, наиболее быстрый вариант - воспользоваться ботом @rss2tg_bot.
▫️ Стартуем бота rss2tg_bot
▫️ Бот сразу же готов принимать фиды для обработки и публикации. Достаточно отправить ссылку на rss feed, и свежие новости начнут падать в ленту. Отправляем ссылку еще раз - источник перестанет обрабатываться.
Основные команды:
🔹 /list - список подключенных источников.
🔹 /stats - информация об интервале обновления, количестве фидов, чатов и пользователей. По мере роста нагрузки на бота, интервал обновления, естественно, будет увеличиваться. На момент публикации он составляет около 5 минут.
🔹 /settings - небольшой набор параметров для настройки представления публикуемого поста.

🚀 Для автоматического репоста новостей в публичный канал, нужно добавить бота в администраторы канала с разрешением на отправку сообщений.
▫️ Сформированный в личном чате с ботом список не мигрирует в канал автоматически. У канала с привязанным ботом свой список источников.
▫️ @rss2tg_bot https://desoft.ru/feed.xml - команда для добавления нового источника из чата канала.
▫️ /settings@rss2tg_bot - настройки бота для канала.

❗️ Важно отметить, что бот размещен на сервере частного разработчика, и до тех пор, пока имеется некое внешнее финансирование проекта, он его обслуживает и продолжает разработку. Эта ситуация несет определенные риски.

⚡️ RSS to Telegram Bot
Размещение новостного бота на собственном сервере на основе проекта с открытым исходным кодом RSS to Telegram Bot. Лучший вариант с точки зрения детальной настройки и независимости от внешних факторов.

🔖 Предварительно создаем нового бота в @BotFather и получаем token.
🔖 Также необходимо определить user ID будущего администратора. Для этого идем в специального бота @userinfobot, выполняем команду /start, в ответ прилетает id.

🚀 Запуск
Разворачивать бота на сервере будем с помощью docker. Конфигурация машины: 2 CPU, 2 Гб RAM, 20 Гб SSD, ос Debian 12.
✳️ Скачиваем docker-compose.yml из репозитория проекта

wget https://raw.githubusercontent.com/Rongronggg9/RSS-to-Telegram-Bot/dev/docker-compose.yml.sample -O docker-compose.yml

✳️ Настраиваем переменные окружения в docker-compose.yml. Детальное описание каждого параметра здесь. Я же приведу только измененные значения.
▫️ Проставляем в TOKEN и MANAGER полученные ранее значения токена бота и id пользователя соответственно.
▫️ Отправку через Telegraph использовать не планировалось, поэтому комментируем переменную TELEGRAPH_TOKEN со всеми указанными там тестовыми значениями.
▫️ MULTIUSER=0, т.к. многопользовательского доступа к боту не подразумевается.
✳️ Поднимаем

docker compose up -d

🚀 Проверка
Возвращаемся в приватный чат с созданным в @BotFather ботом. Если все было сделано верно, то у бота появится меню с целым списком команд.
🔹 /help - перечень доступных команд и инструкция по использованию.
🔹 /set_option - настройки бота.
🔹 /set_default - параметры по умолчанию для новых подписок (формат представления, период проверки, стиль).
🔹 /test rss-link - проверка возможности подключения rss-ленты с выводом последнего сообщения.
🔹 /sub rss-link - подписка на rss-ленту.

🚀 Публикация в канал
▫️ Добавляем бота в администраторы канала с разрешением на отправку сообщений.
▫️ Создавать подписки на rss-ленты можно прямо из приватного чата с ботом

/sub @my_public_channel rss-link

а также управлять настройками подписок для канала

/set_default @my_public_channel

🔥 Таким образом, мы получаем собственный агрегатор с возможностью детальной настройки и полного контроля, а также неплохими опциями по оформлению, ограниченный лишь выделенными ресурсами оборудования.

#tools #opensource #selfhosted #rss

Аналог Trello есть в копилке, альтернатива Notion и Miro также была рассмотрена, на очереди opensource замена Jira.

Plane - стильная система управления проектами с открытым исходным кодом, отличающаяся глубоким внимаем к деталям. Проект развивается семимильными шагами. В работе не только основная веб версия, но и приложения под мобильные устройства и десктоп.

🔖 Особенности

▪️ На верхнем уровне располагаются рабочие пространства как центральные узлы для групп, команд или целой компании, в рамках которых осуществляется вся совместная работа над проектами.

▪️ Внутри проекта пользователи оперируют проблемами и задачами, они же issues, обладающие уникальным идентификаторами, а также целым рядом настраиваемых параметров, что добавляет гибкости и удобства в работе и контроле исполнения.

▪️ Отдельный раздел посвящен циклам - организационные объединения задач с планированием по времени (например, спринты), сопровождающиеся всей необходимой аналитической информацией.

▪️ Проекты также содержат модули - каталоги для логического объединения связанного контента в проекте для облегчения навигации, отслеживания и планирования.

▪️ Страницы - место хранения заметок и документации. Заявлена интеграция с искусственным интеллектом для помощи в составлении документов.

💥 Отмечу большое число аналитических разделов и экранов с различными метриками, фильтрами, категоризацией и вариантами представления. Такая проработка внутреннего инструментария пользователя позволяет настроить максимально комфортно под себя и под конкретный проект все необходимые компоненты, разделы и страницы.

💥 Еще год назад у проекта был всего один “тариф” - бесплатный как в облаке так для собственного размещения. Теперь это целый набор предложений, оно и понятно - курс на перехват аудитории Jira предполагает гибкий подход к разной аудитории, но тем самым под нож попадает открытая функциональность.

⚒️ Разработка ведется на nextjs для frontend и django для backend. Инфраструктура сервиса базируется на современных решениях postgresql, redis, rabbitmq, minio.
Заявленные интеграции с github и gitlab на момент публикации еще не добрались до релиза, однако в dev ветках работа ведется, а вот использование webhooks уже доступно. Для внешнего взаимодействия имеется хорошо задокументированный API.

🔖 Установка self-hosted версии

Разработчики позаботились об автоматизации процесса развертывания и управления и подготовили sh скрипт с интерактивным меню.

# скачиваем файл скрипт
curl -fsSL -o setup.sh https://raw.githubusercontent.com/makeplane/plane/master/deploy/selfhost/install.sh

# делаем его исполняемым
chmod +x setup.sh

# запускаем
./setup.sh

Здесь нас встречает набор предопределенных действий.

Select a Action you want to perform:
   1) Install
   2) Start
   3) Stop
   4) Restart
   5) Upgrade
   6) View Logs
   7) Backup Data
   8) Exit

Выполнив пункт 1) Install будет подготовлен рабочий каталог plane-app с docker-compose.yml и переменными окружения plane.env.
Перед запуском рекомендуется заглянуть в переменные окружения и прописать ip адрес своего хоста в APP_DOMAIN, а также указать порт NGINX_PORT, этого будет достаточно для локального запуска. Остальные параметры на усмотрение администратора.

Запускаем

./setup.sh

# выбираем пункт 2) Start
2

После запуска всех контейнеров, становятся доступными панель администратора http(s)://<ip/domain>/god-mode и основное приложение http(s)://<ip/domain>:PORT.

#management #opensource #selfhosted

‼️ Совсем недавно Microsoft выпустила целый ворох патчей безопасности в декабрьском обновлении, а сразу после пошла информация о повышенной активности злоумышленников, сканирующих службы RDP с особым вниманием к порту 1098.

Исправления затронули критические уязвимости RDP, такие как CVE-2024-49106, CVE-2024-49108, CVE-2024-49115, CVE-2024-49116 и другие, позволяющие реализовать удаленное выполнение кода на уязвимых машинах.

Во избежание потенциальных проблем рекомендуется в экстренном порядке не только установить свежие доработки, но и проверить корректность настройки службы, включая мультифакторную аутентификацию, политики доступа и контроля учетных записей.

Источники: [1], [2]

#security #leaks

Приведу ряд полезных инструментов для работы с образами Docker как на этапе подготовки, так и после сборки.

⚒️ Hadolint
Hadolint - статический анализатор или линтер для Dockerfile. Поможет следовать best practices при построении докер файлов. Содержит множество правил и рекомендаций во избежание распространенных ошибок, представляя их в виде предупреждений.
Можно собрать самостоятельно или воспользоваться релизными сборками под разные платформы в виде исполняемого файла. Также существует одноименное расширение для vscode, позволяющее в реальном времени контролировать правильность написания Dockerfile с выводом подсказок.

В качестве примера прогоним через hadolint представленный в предыдущей заметке файл сборки python сервиса.

hadolint Dockerfile

Dockerfile:2 DL3045 warning: `COPY` to a relative destination without `WORKDIR` set.
Dockerfile:4 DL3042 warning: Avoid use of cache directory with pip. Use `pip install --no-cache-dir <package>`

⚒️ Syft
Syft - утилита для генерации SBOMs (Software Bill of Materials) - составляет перечень зависимостей, библиотек и исполняемых файлов с детализацией путей, типов, версий и принадлежности к слою сформированного образа. Полезный источник информации как для первоначальной оценки наполнения полученного образа, так и для последующего аудита в том числе с точки зрения безопасности.

Собираем самостоятельно или забираем актуальный исполняемый файл под целевую платформу.

curl -sSfL https://raw.githubusercontent.com/anchore/syft/main/install.sh | sh -s -- -b /usr/local/bin

Формат представления и уровень детализации задаются параметрами запуска. Применим на все том же образе python сервиса с параметрами по умолчанию.

# syft <image id>
syft f47f0179743e
...
   ├── ✔️ Packages                        [135 packages]
   ├── ✔️ File digests                    [3,283 files]
   ├── ✔️ File metadata                   [3,283 locations]
   └── ✔️ Executables                     [814 executables]
apt                     2.6.1                  deb
base-passwd             3.6.1                  deb
bash                    5.2.15-2+b7            deb
certifi                 2024.6.2               python
cryptg                  0.4.0                  python
dpkg                    1.21.22                deb
grep                    3.8-5                  deb
...

⚒️ Dive
Популярное приложение для анализа образов docker - dive. Незаменимая утилита для отладки и проверки корректности наполнения и сборки образов по слоям с детальным отображением происходящего на каждом этапе, исполняемых команд и формируемого контента, а также для оценки эффективности используемого дискового пространства получаемым результатом.

Достаточно воспользоваться подготовленным исполняемым файлом из релизов и заглянуть в парочку образов дабы понять глубину детализации и удобство представления.

dive <image id>

⚒️ SecretScanner
Аналог уже опробованного поисковика утечек секретов в глубинах репозитория Gitleaks в контексте образов - SecretScanner. Ищет, структурирует и записывает забытые конфиденциальные данные в собранном docker образе по более чем 140 заготовленным правилам и типам.

Варианты конфигураций можно посмотреть в документации. Запускается прямо из docker, поэтому сразу пробуем:

docker run -it --rm --name=deepfence-secretscanner -v $(pwd):/home/deepfence/output -v /var/run/docker.sock:/var/run/docker.sock deepfenceio/deepfence_secret_scanner:latest -image-name <target image name> --output json

summary:
  total=15 high=3 medium=3 low=9
   {
      "Image Layer ID": "blobs/sha256/e5d8b619f2cea803c9ccd7dcd6bba9c613f44c1d3c2750e1c21fc92884382fe2",
      "Matched Rule Name": "Username and password in URI",
      "Severity": "high",
      "Severity Score": 7.56,
      "Full File Name": "usr/local/lib/python3.10/site-packages/pip/_vendor/urllib3/util/url.py",
      "Matched Contents": "'http://username:password@host.com:80/path?query#fragment'"
    },
...

#docker

⚠️ Еще раз акцентирую внимание на забытых секретах в репозиториях проектов. Пролистывая новостные заголовки, любезно подготовленные агрегаторами из предыдущих заметок, снова попались довольно свежие, месячной давности, новости о крупных утечках.

🥷 В начале октября 2024 года шумела новость о взломе небезызвестного интернет архива. Однако вскоре, во второй половине октября, ресурс подвергся атаке повторно по причине того, что были раскрыты токены аутентификации закрытого GitLab репозитория.

В git репозитории могут находиться файлы конфигураций, такие как .git/config, .gitlab-ci.yml, .env и так далее, в которых разработчики, опять же ради удобства, оставляют секреты. Если репозиторий закрытый, т.е. изолирован от публичного доступа, то еще как-то можно простить такую оплошность (нет), но выставленный каталог .git в открытый доступ на сайте становится легкой добычей для сканеров.

Получив токены аутентификации из конфигурационных файлов, злоумышленники выкачивают репозиторий, анализируют его на наличие каких-либо иных секретов, которые конечно же обнаруживаются в истории (репозиторий же закрытый, почему бы и не оставить парочку ключей и паролей к внешним сервисам прямо в исходном коде), и векторы атаки приобретают новые направления в зависимости от обнаруженного.

🥷 По схожей схеме была произведена очередная атака в конце октября 2024 года, но уже куда более масштабная - на тысячи частных репозиториев.

К теме хранения и обработки секретов вернусь еще ни раз, в том числе в контексте выбора и тестирования специализированных инструментов для решения этой задачи.

#security #leaks

Для тех, кто имеет дело с «бесплатными», нелицензионными копиями программного обеспечения, будь то игры или специализированный коммерческий софт, приведу краткое описание того, как распространяется и работает Redline Stealer - один из самых популярных инструментов для кражи конфиденциальных данных с Windows машин на сегодняшний день.

🔎 Распространение

Как правило, подобные системы распространяются через фишинговые ресурсы, рассылки, утилиты для обхода защиты (кряки, кейгены, активаторы) или непосредственно взломанное ПО.

📨 Несколько примеров:
▪️ Спам-рассылка в почте с вложенным документом формата .doc или ссылкой на скачивание инсталлятора, замаскированного под нечто "важное".
▪️ Фишинговый сайт конвертера файлов из одного формата в другой. После выполнения конвертации пользователю предлагается скачать результат, однако по ссылке скачивается вовсе не то, что ожидается.
▪️ Фейковый vpn сервис. Предлагается к скачиванию обычный установочный файл, за которым и скрывается программа-стилер.
▪️ Взломанные игры с вшитой "таблеткой" или отдельно поставляемым кряком, опубликованные на запрещенных хранилищах, форумах, торрент-трекерах.
▪️ В 2022 году имел место пример поддельного сайта системы удаленного доступа AnyDesk, точь-в-точь оригинал за исключением ссылки на скачивание.
▪️ В качестве еще одного канала распространения стилера злоумышленники использовали YouTube, загружая короткие видео определенной тематики с прямой ссылкой на инсталлятор.

🚀 Будучи запущенным на машине жертвы, вредоносное ПО проверяет окружение, связывается со своим базовым сервером для подтверждения доступа, деобфусцирует и вызывает программу-стилера, которая и представляет из себя полезную нагрузку или payload, выполняющий сбор и передачу секретов.

⚒️ Основные возможности

✖️ Сбор системной информации о зараженном хосте, включая IP, страну, имя пользователя, раскладку клавиатуры, снимок экрана, операционную систему, список установленного программного обеспечения и активных процессов.
✖️ Извлечение файлов cookie, данных автозаполнения, банковских карт, логинов и паролей из браузеров на базе Chromium, в том числе Google Chrome, а также на базе Gecko, включая Mozilla Firefox.
✖️ Сбор паролей FTP клиентов.
✖️ Извлечение данных Steam, Discord, Telegram.
✖️ Сбор учетных данных VPN сервисов.
✖️ Извлечение конфиденциальной информации из крипто кошельков.

📝 Общие рекомендации

✅ Повышенное внимание при посещении любых ресурсов в сети, будь то популярный сервис с большой аудиторией или сайты сомнительного происхождения. Дизайн и даже функциональность может быть идентична ожидаемой площадке, а подмену в один символ заметить непросто.
✅ Не переходить по ссылкам и не открывать документы в рекламных сообщениях от неизвестных отправителей.
✅ Избегать стороннего ПО для обхода защиты, взлома или активации некоего программного продукта.
✅ Не хранить пароли в браузерах, а пользоваться менеджерами паролей.
✅ Применять современные средства защиты.

#security #leaks

В качестве первого шага цикла разработки системы оценки и фильтрации комментариев в Telegram-каналах опробую несколько готовых моделей для определения токсичности текста, эмоциональной окраски и принадлежности к спаму с площадки Hugging Face.

🌐 Полную версию статьи смотри на сайте, а исходники и тестовые комментарии в репозитории на gitverse.

⚒️ Подготовка
🔹 Для упрощения взаимодействия с моделями была разработана библиотека Transformers с поддержкой Torch. Устанавливаем

pip install transformers torch pandas

🔹 В качестве тестовых данных можно воспользоваться подготовленными датасетами комментариев на русском языке, например, здесь или здесь или же самостоятельно выгрузить комментарии из Telegram-каналов способом, который я озвучивал в одной из предыдущих заметок.

🚀 Применение
Заявленные критерии оценки относятся к задаче классификации текста. Из этого подраздела на Hugging Face и будем выбирать соответствующие модели.

1️⃣ Эмоциональная окраска текста
Используем модель rubert-base-cased-russian-sentiment от частного исследователя
Вячеслава Литвинова. Модель обучена различать 3 класса тональности: нейтральный, позитивный, негативный.

from transformers import pipeline
# объявляем pipeline (высокоуровневая обертка для работы с моделями)
# с указанием задачи text-classification
pipe = pipeline("text-classification", model="seara/rubert-base-cased-russian-sentiment")
# читаем файл с комментариями
with open("comments.txt", mode="r", encoding="utf-8") as f:
    comments = [line.rstrip() for line in f.readlines()]
# определяем тональность текста и выводим результат
for comment in comments:
    print(f"\nComment: {comment}\nResult: {pipe(comment)}")

Результаты:

Comment: уродина, его так подвесить.
Result: [{'label': 'neutral', 'score': 0.5076143741607666}]
Comment: спасибо что приняли меня
Result: [{'label': 'positive', 'score': 0.69575035572052}]
Comment: твари, живут же такие подленькие людишки
Result: [{'label': 'negative', 'score': 0.5077788233757019}]
Comment: ты как футболный мяч
Result: [{'label': 'neutral', 'score': 0.8442604541778564}]

Стоит отметить наличие сомнений (низкой вероятности) в некоторых результатах из-за неоднозначности интерпретации текста.

2️⃣ Определение токсичности
Применим модель russian_toxicity_classifier от группы s-nlp.
Принцип тот же самый, что и в предыдущем подходе, только указываем другую модель при создании pipeline

pipe = pipeline("text-classification", model="s-nlp/russian_toxicity_classifier")

Результаты:

Comment: уродина, его так подвесить.
Result: [{'label': 'toxic', 'score': 0.9966415166854858}]
Comment: спасибо что приняли меня
Result: [{'label': 'neutral', 'score': 0.999728262424469}]
Comment: твари, живут же такие подленькие людишки
Result: [{'label': 'toxic', 'score': 0.9866997003555298}]
Comment: ты как футболный мяч
Result: [{'label': 'neutral', 'score': 0.9938940405845642}]

Здесь уже уверенности побольше, т.к. классификация бинарная, что несколько упрощает задачу.

3️⃣ Определение спама
Для данного раздела возьмем модель spam_deberta_v4 от группы исследователей RUSpam.
Можно пойти уже проверенным путем и использовать pipeline или загрузить модель напрямую, настроить токенизатор (предобработка текста перед отправкой на модель для классификации) и обработчик результата. Разработчики предлагают второй вариант, воспользуемся.

Результаты:

Comment: быдло оно и в африке быдло!
Result: Не спам
Comment: Уважаемый победитель, вы получили приз в нашей лотерее!
Result: Спам
Comment: Вы стали участником розыгрыша призов: проверьте свою удачу!
Result: Спам
Comment: Привет, как дела? Яблоко
Result: Не спам

✅ Результаты применения одиночных моделей оказались на удивление информативными с учетом того, что предварительно никаких исследований не выполнялось. Не лишним будет провести эксперименты анализа текста по совокупности признаков, формируемых несколькими оценочными моделями, более точно сформулировав задачу и расширив тестовую выборку. Опробованные классификаторы найдут дальнейшее применение в системе фильтрации комментариев в Telegram.

#python #nlp #ml

Уже несколько заметок были посвящены теме утечек секретов ([1], [2]). На этот раз рассмотрим один из вариантов, как все-таки можно ими управлять, чтобы не пришлось рвать волосы на голове и вырезать коммиты из репозитория.

Платформа с открытым исходным кодом Infisical - централизованное решение с широким набором возможностей по контролю за конфигурациями, ключами и иными конфиденциальными данными. Ее и развернем локально для проверки предлагаемой функциональности.

📝 Некоторые особенности системы
▪️ Формирование структуры управления с разделением по организациям и проектам.
▪️ Версионирование, откаты и ротация секретов.
▪️ Динамические секреты.
▪️ Синхронизация секретов с другими инструментами, решающими подобную задачу.
▪️ Внутренний центр сертификации (PKI) и управление ключами (KMS).
▪️ Поддержка разнообразных методов аутентификации пользователей.
▪️ Богатый api и наличие sdk для быстрого встраивания в код.

🔨 Установка
▫️ Разворачивать будем self-hosted версию, используя docker.

# забираем compose и .env файлы
wget -O docker-compose.yml https://raw.githubusercontent.com/Infisical/infisical/main/docker-compose.prod.yml
wget -O .env https://raw.githubusercontent.com/Infisical/infisical/main/.env.example

▫️ При публикации в прод нужно сгенерировать собственные ключи доступа, задать пароли и настроить требуемые интеграции со сторонними сервисами. Описание переменных окружения здесь. Для тестового стенда оставим все по умолчанию.

# запускаем
docker compose up -d

▫️ Идем в приложение на 80 порт (http://localhost), создаем аккаунт администратора и попадаем в панель управления.

⚒️ Подготовка
Необходимо создать проект, пользователя, клиента и несколько секретов. Подробно процесс описал в полной версии статьи на сайте. Здесь же опущу эти шаги в угоду размера поста.

🚀 Получение доступа к секретам с использованием python sdk
▫️ Устанавливаем sdk

pip install infisicalsdk

▫️ Записываем в переменные окружения системы полученные Client ID, Client Secret, Project ID

export CLIENT_ID=<my client id>
export CLIENT_SECRET=<my client secret>
export PROJECT_ID=<my project id>

▫️ Обращаемся к Infisical из python скрипта и получаем секреты

import os
from infisical_sdk import InfisicalSDKClient
# забираем переменные окружения
client_id = os.getenv("CLIENT_ID")
client_secret = os.getenv("CLIENT_SECRET")
project_id = os.getenv("PROJECT_ID")
# инициализация клиента и авторизация
client = InfisicalSDKClient(host="http://localhost")
client.auth.universal_auth.login(client_id=client_id, client_secret=client_secret)
# получаем список всех секретов в dev окружении
secrets = client.secrets.list_secrets(project_id=project_id, environment_slug="dev", secret_path="/")
print(secrets)
# получаем секрет MYAPI_KEY из окружения prod по имени
mysecret = client.secrets.get_secret_by_name(
    secret_name="MYAPI_KEY",
    project_id=project_id,
    environment_slug="prod",
    secret_path="/",
)
print(mysecret)

💡 Дополнительно стоит отметить, что система поставляется в том числе в виде cli инструмента, с помощью которого можно как получать и проверять секреты с центрального сервера, генерируя из них переменные окружения или файлы конфигураций, так и анализировать репозитории на утечки секретов по аналогии с уже рассмотренным GitLeaks. Еще одним полезным применением Infisical cli является возможность добавления утилиты прямо в Dockerfile для формирования переменных окружения контейнера в реальном времени, что исключает необходимость прямой передачи секретов.

📌 Решение несложно настраивается, предоставляет широкий набор вариантов интеграции, а в совокупности с целым комплексом решаемых задач станет неплохим подспорьем как для небольшой команды, так и для крупной организации с множеством проектов, где требования контроля и безопасности очень высоки. В качестве примера была рассмотрена одна из наиболее важных функций платформы, отдельного внимания стоят реализации центра сертификации и системы управления ключами.

#management #opensource #selfhosted #security