📝 Changelog анализатора ссылок

✅ Добавил поддержку нового сервиса проверки - Kaspersky Threat Intelligence Portal.

Пришлось распиливать ссылку на составные части с помощью urllib.parse.urlsplit для определения наличия path, поскольку в запросе нужно отправлять домен на один endpoint, а если это ссылка на ресурс, то на другой. Заодно добавил метод по проверка ip адреса (да, у него тоже отдельная ручка), нужно будет валидацию ссылки на ip учесть в следующей версии.

✅ Учел обработку ошибок запросов, прикрутил корректную обработку exception к каждому сервису.

✅ Докинул параметров в переменные окружения.

🌐 Исходники

#проекты #changelog

🔥 Наткнулся на интересный сборник ресурсов по 10 направлениям в AI. Как его характеризуют авторы - required reads для AI инженеров. Подборка и правда получилась "без воды", взял оттуда несколько занятных источников для изучения. Подойдет как практикующим специалистам, так и тем, кто только знакомится с областью.

📚 Разделы

1️⃣ Передовые языковые модели
2️⃣ Бенчмарки, тесты
3️⃣ Промпт
4️⃣ Генерация с расширенным поиском (RAG)
5️⃣ Агенты
6️⃣ Кодогенерация
7️⃣ Обработка и анализ изображений
8️⃣ Голос / речь
9️⃣ Генерация изображений / видео
🔟 Настройка / "тюннинг" моделей

🌐 Источник

#ai #полезное

⚡️ Yandex опубликовали свою новую модель YandexGPT 5 Lite на 8B параметров в открытый доступ. Это pre-trained версия, т.е. обученная на универсальном наборе данных, и пригодная для дальнейшего дообучения под узкоспециализированные задачи.

📌 Некоторые особенности

🔹 В модели нет никакой цензуры.
🔹 Отлично ладит с русским языком.
🔹 Согласно бенчмаркам, несколько превосходит аналогичные по размеру модели от LLaMA и Qwen по производительности.

🤗 Модель на HuggingFace.
🔎 Чат с Алисой, где уже доступна YandexGPT 5 Pro и скоро обещают прицепить Lite.

#ai #полезное

Помимо специализированных систем управления под конкретные базы данных, например, pgAdmin или MongoDB Compass, существует множество альтернатив, в том числе с открытым исходным кодом и возможностью подключения различных источников. Собрал некоторые из них в подборку вместе с сопутствующими инструментами.

📌 Универсальные админки

▫️ DBeaver
▫️ Bytebase
▫️ DBVisualizer
▫️ Adminer

📌 Low-code/no-code решения

▪️ NocoDB
▪️ Baserow
▪️ Mathesar
▪️ Appsmith

📌 Мониторинг, оптимизация

🔥 WAL-Listener - отслеживание изменений данных в базе PostgreSQL с отправкой событий в брокеры сообщений.
🔥 PgAssistant - мониторинг, трассировка, анализ, оптимизация и генерация запросов с возможностью подключения LLM.

📌 Визуальные редакторы схем

▫️ drawDB
▫️ ChartDB

#db #полезное

На неделе пропустил несколько запланированных публикаций. Две темы завершились безуспешно прямо во время проработки.

❌ Откопал старенький роутер Asus RT-N12 C1. Поскольку скорости выдает небольшие по современным меркам, то как основной вряд ли захочется использовать, поэтому думал над иными вариантами его применения, чтобы не валялся без дела. Прошерстил 4PDA форум, изучал разные прошивки, как родные так и кастомные, и наткнулся на DD-WRT со сборками vpn, big и mega, как раз подходящие для рассматриваемого устройства. Сборки имеют на борту поддержку wireguard, что в свою очередь позволит организовать постоянное соединение с рабочей vpn и выделить для нее отдельный источник связи как с проводным так и беспроводным подключением.

В чем собстственно фейл. Каждую прошивку я пробовал поставить как с помощью специальной утилиты, так и напрямую, отработал несколько инструкций с оф сайтов и из опыта пользователей форума. Все прошивки с расширенной функциональностью уводили устройство в бесконечные перезагрузки, тогда как их младшие версии с урезанной функциональностью вставали без проблем. В итоге вернул сей девайс на родную прошивку последней версии и бросил пылиться до лучших времен.

❌ Еще одной темой экспериментов было построение системы управления знаниями на базе RAG. Нашел занятный инструмент simba, реализующий задуманное, да еще и с веб интерфейсом и возможностью настройки на лету, судя по описанию и презентации.

Начал разбор и параллельно документировал процесс установки и настройки. Сразу бросилось в глаза большое число непредусмотренных зависимостей, которые нужно было "доставить". Отдельное раздражение вызвала необходимость вносить корректировки в пути сборочных файлов, подкручивание параметров для поддержки более свежей версии docker compose и прочее и прочее.

С установкой, с горем пополам, разобраться удалось - контейнеры взлетели, модели подгрузились, осталось лишь начать работу через web ui. Но тут меня встретило очередное разочарование, веб клиент, очевидно, недоработан, ошибки валятся горой в консоли, а часть функциональности просто отсутствует. Убедившись в несостоятельности текущей версии, забросил идею и инструмент до выхода обновлений. На сегодняшний день уже несколько глобальных изменений было внесено и опубликовано. Повторю процесс по прошествии времени.

✅ Под задачу с роутером нашел более свежего представителя, а значит тема будет доведена до своего логического завершения.

✅ simba обзавелась новыми сборками, активность авторов сильно повысилась за последнее время, а значит можно ожидать более стабильного выпуска, и продолжения экспериментов на эту тему.

#fail

📚 В процессе освоения новых языков, фреймворков, инструментов через решение далеких от реальности задач часто можно столкнуться с ситуацией недопонимания ради чего выполняется то или иное задание, какова итоговая цель учебных теоретических или практических материалов, что в свою очередь снижает эффективность переваривания приобретенной информации, а также напрочь убивает мотивацию к продолжению развития в выбранном направлении.

На помощь в данном случае приходят несколько отличных репозиториев - сборников для обучения через практику на очень даже интересных полноценных проектах, и это не змейка или калькулятор или список ToDo. К примеру, написать свой BitTorrent клиент, клон SQLite, Git, поисковый движок или вовсе операционную систему. Подход позволит не только погрузиться в разработку полезного проекта на интересующем языке, но и изучить принцип работы того или иного сервиса изнутри в ходе реализации.

🔥 Project Based Learning

🔥 Build your own x

#полезное

Поборол наконец прошивку старого роутера Asus RT-N12 C1, о проблемах с которым говорил ранее. По рекомендации поставил open-wrt. Поддержка устройства закончилась еще в 2022, поэтому версия довольно старая - 19.07.10. Судя по описанию, слабые характеристики устройства, а именно 4/32 flash/ram, не позволяют использовать более современные версии. Текущая поддерживаемая - 22.03.7, однако разработчики не рекомендуют ее конкретно на этой модификации роутера.

Ставил open-wrt впервые, поэтому сразу столкнулся с несколькими неудобными ситуациями.
1️⃣ Для управления в LAN подключал ноутбук, а на WAN основной домашний роутер, от которого был получен адрес автоматически через DHCP, только вот адрес этот был в той же самой сети, что и сеть по умолчанию на установленной прошивке. Меняем внутреннюю сеть, чтобы разрешить конфликт.
▪️ Подключаемся к старому роутеру по ssh
▪️ Тут сразу загвоздка. Современная версия ssh оболочки на linux не включает по умолчанию поддержку устаревшего алгоритма RSA/SHA1 (ssh-rsa) - ее нужно активировать отдельно.
▪️ Прописываем дополнительный параметр подключения и попадаем на устройство

ssh -oHostKeyAlgorithms=+ssh-rsa  root@192.168.1.1

▪️ Меняем адрес lan и перезагружаем сетевой интерфейс

uci set network.lan.ipaddr="192.168.200.1"
uci commit network
/etc/init.d/network restart

▪️ Переподключаем кабель к ноутбуку. Новая сеть активирована, доступ через основной роутер наружу появился.

⁉️ Через веб интерфейс luci такое проделать можно, но проблематично. Устройство уходит в откат настроек автоматически, если не успеть вовремя переключиться на новую сеть на рабочей машине.

2️⃣ Цель сего мероприятия была организовать на выделенном устройстве постоянное подключение к рабочей vpn, поэтому доставил соответствующий пакет

opkg update && opkg install openvpn-openssl

Для настройки vpn через веб интерфейс luci нужен еще один пакет

opkg install luci-app-openvpn

После перезагрузки в панели управления появился раздел VPN, где можно подгрузить свой конфиг, создать зону для OpenVPN и настроить перенаправление трафика.

Продолжу эксперименты уже на тестовом окружении, посмотрим как хорошо старичок будет справляться с поставленной задачей.

#vpn #openvpn #openwrt

🌐 Nmap - одна из самых популярных утилит с открытым исходным кодом для сетевого обнаружения, сканирования портов, определения ОС, сбора сведений об активных службах на хостах. Инструмент нашел свое применение в разных областях сетевого анализа как подручное средство администратора так и мощное оружие пентестера.

Существует множество шпаргалок по практикам использования Nmap под различные задачи. Камнем преткновения здесь является анализ результатов, в особенности, когда под наблюдением и периодическим сканированием находится большая инфраструктура.

📝 Для упрощения работы с Nmap и удобного представления результатов существует ряд полезных проектов.

🔹 Zenmap - графическая оболочка для Nmap от разработчиков системы.

🔹 DrawNmap - простой визуализатор результатов сканирования.

🔥 Nmap-did-what — проект с подготовленным python скриптом для парсинга результатов Nmap с сохранением их в SQLite базу данных и docker контейнером Grafana с предварительно настроенной панелью мониторинга для визуализации данных от Nmap, источником для которого и является собранная база.

🔹 Nmap Viewer - еще один вариант визуализатора результатов сканирования Nmap.

🔹 nmap-analyze - автоматизация процесса сравнения результатов сканирования с заданной спецификацией на хост.

🔹 Nmap-Analysis - сравнение нескольких результатов сканирования, автоматическая оценка и интерпретация результатов с помощью AI.

#security #tools #nmap #полезное

В комментариях к заметке про построение защищенной виртуальной сети подсказали одно из opensource решений для размещения контроллера ZeroTier на собственном сервере с полноценной админкой - ZTNET. Проект развивается уже несколько лет и успел обзавестись расширенной функциональностью по сравнению с базовыми функциями контроллера. Возникновение подобных наработок было лишь вопросом времени, поскольку разработчики ZeroTier не выкладывают в открытый доступ свою панель администратора, но предоставляют исходный код самого контроллера.

🔥 Особенности

Помимо основного назначения - создание и управление виртуальными сетями, система предоставляет целый ряд дополнительных возможностей:

❎ Наличие docker и standalone (под Debian / Ubuntu и FreeBSD) вариантов установки.
❎ Гибкая настройка многопользовательского доступа (роли, группы, организации).
❎ Двухфакторная аутентификация из коробки.
❎ Поддержка OAuth2.
❎ Наличие REST API для интеграции.
❎ Отправка уведомлений по списку событий через Webhook.
❎ Подключение к SMTP серверу для почтовых уведомлений.
❎ Создание организаций со встроенным пользовательским чатом.
❌ BETA версия (на момент публикации v0.7.3).

⚒️ Установка с помощью docker

🔹 Забираем compose файл из репозитория

wget -O docker-compose.yml https://raw.githubusercontent.com/sinamics/ztnet/main/docker-compose.yml

✖️ Запускаю на виртуалке ради теста, поэтому домен и https не прикручиваю. Остается лишь сменить адрес в переменной окружения NEXTAUTH_URL сервиса ztnet на ip виртуалки. В документации подсказывают как это сделать с помощью sed.

sed -i "s|http://localhost:3000|http://$(hostname -I | cut -d' ' -f1):3000|" docker-compose.yml

🔹 Стартуем

docker compose up -d

Через 3000 порт доступна веб панель системы.

❗️ Первый зарегистрированный пользователь получает права администратора.

Отмечу аккуратный интерфейс с набором полезных функций по сравнению с некогда популярным решением ztncui. Визуальная составляющая представлена наглядными скриншотами в репозитории, поэтому дублировать не стану.

🔖 Standalone варианты установки представлены в документации - Debian / Ubuntu и FreeBSD.

🌐 Создание собственной планеты

Также отмеченным в комментариях был вопрос касательно публичного сервера-координатора или "планеты" от разработчиков ZeroTier, который используется zt контроллером по умолчанию. ZTNET позволяет создать собственную планету и перенаправить задачи организации сетевого взаимодействия на нее.

▪️ Открываем раздел Контроллер ZT - СОЗДАТЬ PLANET. Endpoints заполнится адресом хоста, на котором запущена система. Также можно указать адреса дополнительных резервных серверов, на которых развернут zt контроллер. Важный момент - endpoints должны быть глобальными, т.е. доступными всем клиентам сети.

▪️ Чтобы контроллер подхватил изменения, необходимо перезапустить сервис zerotier, например, так docker restart zerotier.

▪️ Чтобы клиенты смогли использовать созданную планету, скачиваем архив с параметрами - СКАЧАТЬ КОНФИГ, внутри которого найдем файл planet, который и нужно передать всем клиентам сети для применения.

▪️ Файл planet подменяется на стороне клиентского приложения ZeroTier. Инструкция по замене под разные системы здесь.

#vpn #zerotier

📦 Подборка простых, но в тоже время функциональных встраиваемых СУБД, для которых не требуется поднимать отдельный сервер. Могут размещаться в одном файле или вовсе в памяти. Доступ через специальное API, отчего получаем высокую скорость и возможности гибкой интеграции.

⚡️ Реляционные

💥 SQLite - самая популярная однофайловая СУБД.

🔥 DuckDB - PostgreSQL совместимая высоко-производительная СУБД.

📝 Документо-ориентированные

▪️ LiteDB

▪️ TinyDB

▪️ LowDB

📚 Key-Value хранилища

▫️ LevelDB - key-value хранилище с хранением на диске.

▫️ SlateDB - key-value хранилище память-s3, минуя диск.

▫️ RocksDB - ответвление от LevelDB с уклоном в производительность / быстрые хранилища.

#db #субд #tools #полезное

Часто стал замечать, что на практике, вместо того, чтобы воспользоваться обширными возможностями протокола SSH, ищу какие-то узкоспециализированные программы, утилиты, сервисы для реализации того или иного способа подключения, передачи данных, монтирования, прокси, удаленного выполнения команд и прочего.

В данной заметке собрал информацию по работе с SSH-туннелями, дабы освежить и/или обнаружить различные способы применения данного инструмента.

📚 Теоретические и практические гайды по SSH-туннелям

🔸 Развернутая статья про ssh-туннели от Академии Selectel
🔸 Давняя, но не потерявшая своей актуальности, статья от коллег с канала "Записки IT специалиста"
🔸 "SSH туннели на практике"
🔸 "Наглядное руководство по SSH-туннелям"
🔸 Красивый гайд с лабораториями для отработки материала
🔸 Примеры использования ssh-туннелей для решения конкретных задач
🔸 Объемный материал о продвинутых функциях ssh

⚒️ Инструменты автоматизации при работе с SSH

🔹 autossh - утилита для создания и автоматического перезапуска ssh-туннелей в случае разрыва соединения.
▫️ Инструкция 1
▫️ Инструкция 2

🔹 SSH Commander - инструмент для управления ssh-подключениями и параллельного выполнения команд сразу на нескольких серверах.

🔹 boring - менеджер ssh-туннелей для командной строки с поддержкой автоматического переподключения и удобной конфигурацией.

#ssh #полезное

Пропустил по публикациям некоторое время, тестировали заготовку проекта на стыке агрегатора новостных источников и ИИ помощников. Родился следующий прототип.

🔥 DS Compost - это агрегатор Telegram-каналов и новостных лент со встроенным ИИ-помощником для удобного чтения статей и их автоматизированной обработки с помощью языковых моделей.

📌 Основные возможности
▫️ Сбор публикаций из открытых Telegram-каналов в единую новостную ленту
▫️ Преобразование контента выбранной новости с помощью ИИ для последующего использования / публикации в своем канале
▫️ Интеграция с ChatGPT и Grok
▫️ Индивидуальные промпты под каждый канал для обработки контента
▫️ Сохранение новостей в избранное
▫️ Ведение истории обработки новостей
▫️ Простая настройка и быстрое взаимодействие.
▪️ Добавляете ссылку на канал - новостная лента пополняется актуальными постами.
▪️ Добавляете ключ провайдера языковой модели - преобразовываете новости в один клик.

📌 Где найти ключи для работы с провайдерами ИИ моделей писал выше.

💡 Далее, у инструмента вижу несколько путей развития - уходить в сторону полноценного агрегатора с поддержкой RSS фидов, категориями, статусами и архивацией, в том числе на мобильном устройстве, или же двигаться по пути продвинутой работы с контентом, менеджментом постов, отложенных публикаций, рассылок и аналитическими функциями. Увидим, вырастет ли это во что-то полноценное или же пойдет в стол, как это обычно бывает 😉

#проекты #ai #rss

Опробовал в деле представленный прототип для обработки новостных публикаций через Grok. Получилось вполне неплохо, поработать немного над промптом, добавить уникальности, и будет вполне годный пересказчик дабы разбавить сухость и однотипность статей.

Несколько примеров

———————————————————————
Google представила бесплатный AI-инструмент Stitch для создания веб-интерфейсов

Google Labs выпустила новый сервис под названием Stitch, который помогает разрабатывать интерфейсы для веб-сайтов и мобильных приложений. Этот инструмент способен генерировать HTML и CSS, опираясь на текстовые описания или загруженные изображения, что упрощает процесс создания дизайна даже для новичков.

Пользователи могут настраивать свои проекты, меняя цвета и используя текстовые команды для корректировки. Stitch поддерживает экспорт в Figma и предоставляет отформатированный код для дальнейшей работы. Однако некоторые пользователи отмечают, что сгенерированные дизайны порой выглядят слишком стандартно и лишены оригинальности.

Сервис предоставляется бесплатно, но, к сожалению, недоступен для пользователей с российскими IP-адресами.

———————————————————————
Китайский стартап Flowith представил ИИ-агента NEO

Компания Flowith из Китая представила своего нового ИИ-агента NEO, который демонстрирует выдающиеся результаты, превосходя такие решения, как Manus и Operator. NEO способен выполнять более 1000 операций подряд и удерживать контекст объемом до 10 миллионов токенов.

Стоит отметить, что NEO не является полностью самостоятельной разработкой. В его основе лежат модели o3, o4-mini, GPT-4.1, Claude 3.7 Sonnet, Gemini 2.5 Pro Preview и Grok 3. Для генерации изображений агент использует DALLE-3, Flux 1.1 Pro и Recraft V3, а для создания видео — Veo 2 и Kling V2.

На данный момент NEO доступен в закрытой бета-версии с бесплатным доступом на первые две недели.

#dscompost #ai #news

Разбирался на днях с настройкой тестового домашнего сервера на базе Proxmox. Последний раз разворачивал еще на 6 версии гипервизора, текущая уже 8.4. Помониторил актуальные туториалы, чтобы найти больше информации о появившихся за это время нововведениях, а также накопившихся практиках установки и настройки.

🌐 Аккумулирую в сборник авторских роликов / плейлистов на данную тему

🔹 Стандартный набор полезных скриптов

🔹 Построение инфраструктуры с помощью Proxmox на базе ALT Linux. Глубоко, подробно, в деталях.

🔹 Руководство по установке, поднятие и настройка полезных сервисов на Proxmox

🔹 Настройка proxmox после установки, примеры, шаблоны, best practices

🔹 Еще один плейлист по Proxmox на русском. Есть что полезного подчерпнуть.

🔹 Развернуть AI модели локально на Proxmox с установкой, настройкой и пробросом дисков и видеокарты

#proxmox #полезное

💥 Павел Дуров объявил об интеграции Telegram с Grok Илона Маска

Из основных фишек, планируемых к выпуску уже в ближайших обновлениях мессенджера:

▫️ Общение с Grok в поиске
▫️ Помощь в создании и проверке постов
▫️ Модерация групп, чатов, каналов
▫️ Факт-чекинг
▫️ Генерация аватаров и 3d-анимаций

Эх.. чуть-чуть не дождались вы расширенной версии DS Compost 😁

#news

⚠️ Сегодня обновил клиента Telegram desktop до версии 5.15 на Windows 10 x64 и обнаружил неприятный баг.

🔎 При попытке открыть контекстное меню (ПКМ) на собственном сообщении в приватной группе клиент экстренно завершает работу.

В личных сообщениях и в публичных группах на своих, а также на сообщениях других пользователей контекстное меню срабатывает корректно. Точно такое же повторилось и на desktop клиенте под Linux. Если есть кто на macOS, можно тоже попробовать.

В support закинул информацию. Ожидаем hotfix.

upd: А вот и hotfix подъехал. В 5.15.1 поправили 💪

#telegram