🚜 Linux по четвергам

🔒 Управление правами доступа

🔻 chmod - Изменение прав доступа файлов в восьмеричной или символьной записи

chmod 755 script.sh          # rwxr-xr-x
chmod u+x,g-w,o-r file.txt   # символьная запись

755: владелец полные, группа/остальные чтение+выполнение
u/g/o: пользователь/группа/остальные

🔻 chown - Изменение владельца файла и группы рекурсивно

chown -R user:group /path/to/directory

-R: рекурсивно
user:: изменить только пользователя
:group: изменить только группу

🔻 chgrp - Изменить группу-владельца для файла или каталога

chgrp -R my_group folder

-R: рекурсивно

🔻 umask - Установка прав доступа по умолчанию для создаваемых файлов

umask 022    # файлы: 644, каталоги: 755
umask -S     # отображение в символьной форме

🔻 sudo -l - Список разрешенных sudo команд для текущего пользователя

sudo -l -U username    # проверка для конкретного пользователя

-l: список прав
-U: для определенного пользователя

💡 Несколько твиков

▫️ chmod --reference=file1.txt file2.txt для быстрого назначения прав одного файла на другой.
▫️ chown --reference=file1.txt file2.txt для быстрого назначения владельца одного файла на другой.
▫️ find / -perm -u+s -type f для поиска всех файлов с установленным SUID битом (потенциальные угрозы безопасности), начиная с корня файловой системы.

#linuxthursday #linux #шпаргалка

‼️ Начудил немного с ботом для мониторинга под вечер. В базе было несколько пользователей, видимо кто-то попал под баг вместе со мной.

Настроил ежедневные проверки всех указанных адресов пользователей с уведомлением о результатах в виде отчета. В итоге, когда наступило время проверки, бот зациклился и давай спамить уведомлениями.

🛠 Экстренно отловил и внес корректировки.

#monitoring #проекты #fail

📝 Changelog бота для мониторинга веб-ресурсов

Третья версия бота. Уже куда более приятная к использованию (не считая неотработанного бага 🫤) за счет автоматизации основной функциональности.

✅ Автоматическая проверка списка адресов дважды в день.
✅ Отчет в закрепе чата.
✅ Вместо постоянной отправки новых сообщений бот редактирует закрепленный отчет, таким образом пользователь всегда видит актуальную информацию.
✅ Уведомление на важные изменения в результатах проверки (просроченный / недоступный сертификат, скоро истекающий сертификат, восстановление ресурса после найденных ранее проблем). Уведомления улетают отдельными сообщениями.
✅ Сбор внутренней статистики по базе на основе количества ресурсов, запросов, результатов проверок.

⚒️ Дальнейшие перспективы

✨ В комментариях предложили проводить проверку факта доступности сервиса с ip адресов разной географии, что может быть актуально в связи с различными блокировками.
✨ Переезд с файловой базы на PostgresSQL.
✨ Служебные команды для администратора.
✨ Мониторинг работы системы.

🌐 Исходники на gitverse
🔭 Бот @monid_bot

#monitoring #проекты

🙈 Собирать заметки под разные платформы - та еще рутинная работа. Хочется охватить как можно больше основных каналов, однако, как начинаешь тратить на это дополнительные часы - все желание пропадает.

🦾 Но в арсенале же теперь есть система n8n! Поэтому следующей задачей для автоматизации будет переформатирование и постинг из Telegram, например, в ВК. Дальше больше, начну с одной платформы, а там по нарастающей, если результат будет стоить того.

#ai #n8n #automation

🎉 Пару месяцев назад шумел ИИ-агент для разработки ChatGPT Codex - "убийца Claude Code" и все в этом духе. Codex и правда показывал результаты довольно внушительные, во многом опередив конкурента, судя по многочисленным разборам и тестам.

Отлично! Надо попробовать, может проект какой набросать с его помощью, думаю я. Как дошли руки - вижу новость - Anthropic выпустила Claude Code 2.0 - "убийцу убийц", всего 2-3 месяца и ответка прилетела🤷‍♂️. Изменения интересные и в vscode встроили полноценно (CHANGELOG).

А тут и Китай со своим DeepSeek старается не отставать. Поле битв так называемого ИИ не остывает ни на секунду. Глаза разбегаются. Когда-нибудь я обязательно соберу агентскую систему...

#ai #news

🚜 Linux по четвергам

📊 Мониторинг системы и производительности

🔻 iotop - Мониторинг использования дискового I/O по процессам в реальном времени

iotop -o -d 2

-o: показывать только процессы с I/O
-d: задержка между обновлениями

🔻 vmstat - Отображение системной статистики (CPU, память, I/O)

vmstat 2 5    # интервалы 2 секунды, 5 раз

Показывает: процессы, память, swap, I/O, систему, статистику CPU

🔻 iostat - Мониторинг загрузки устройств системного I/O

iostat -x 1   # расширенная статистика каждую секунду

-x: расширенная статистика
-c: только CPU
-d: только устройства

🔻 sar - Сбор и отчет об активности системы

sar -u 1 3    # использование CPU, интервалы 1 секунда, 3 раза
sar -r        # использование памяти

-u: CPU
-r: память
-n DEV: сетевая активность по интерфейсам
-f: чтение из файла
-S: файл подкачки

💡 Несколько твиков

watch -n 1 'free -h && echo && df -h && echo && uptime' для непрерывного мониторинга или dstat -cdngy для комплексной статистики системы в реальном времени.

#linuxthursday #linux #шпаргалка

Истек недавно срок регистрации одного домена. Ресурс был добавлен в бота для мониторинга. Смотрю актуальную проверку - срок истечения сертификата 65 дней. Причем тут сертификат? Он же автоматически перевыпускается раз в 3 месяца и не имеет никакого отношения к сроку регистрации домена...

Отсюда новая и куда более важная функциональность в боте - проверка срока истечения регистрации домена, чтобы не пропустить его продление и не потерять домен, т.к. выкупаются они моментально.

🌐 Исходники на gitverse
🔭 Бот @monid_bot

#monitoring #проекты

Для получения образов в Docker по умолчанию используется официальный реестр - Docker Hub, а сделав несколько правок в конфигурации, можно подключиться к любому другому публичному или частному реестру.

Для случая, когда необходимо опубликовать свой образ, собранный локально, и воспользоваться на других машинах, можно отправить его в публичный реестр, а значит открыть на всеобщее обозрение, что часто не является уместным.

Также подходит вариант организации собственного реестра. Однако, это довольно затратно, т.к. надо развернуть сервер с запасом ресурсов, обеспечить безопасность, доступ извне и так далее, что для разовых операций уж точно будет избыточным.

🎈 Для решения задачи трансфера локальных образов напрямую на целевую машину существует проект unregistry. Это плагин для Docker, который позволяет отправлять образы по слоям через ssh, т.е. синхронизировать их с удаленным хостом. Особенностью является отправка только тех слоев образа, которых еще нет на удаленной машине, что значительно повышает скорость синхронизации.

rsync для Docker образов

🔎 Как работает

▫️ Устанавливается ssh соединения с удаленным сервером.
▫️ На сервере запускается контейнер unregistry, который выступает в роли временного локального реестра (контейнер загружается из реестра github - ghcr.io, либо, в случае отсутствия доступа к интернет на целевой машине, его можно загрузить локально заранее и отправить на целевую машину через docker save image | ssh user@host 'docker load').
▫️ С локальной машины, откуда вызвали скрипт трансфера, пробрасывается случайный порт на порт unregistry удаленной машины, чтобы локальный Docker-клиент мог обратиться к удаленному unregistry контейнеру как к локальному.
▫️ Выполняется docker push через открытый туннель. unregistry на сервере проверяет существующие слои в хранилище и запрашивает только недостающие. Происходит передача слоев через ssh.
▫️ На удаленной машине останавливается и удаляется временный контейнер unregistry и закрывается ssh-туннель.

🔨 Установка

mkdir -p ~/.docker/cli-plugins
# скачиваем скрипт и сохраняем в каталог плагинов Docker
curl -sSL https://raw.githubusercontent.com/psviderski/unregistry/v0.3.1/docker-pussh -o ~/.docker/cli-plugins/docker-pussh
# делаем исполняемым
chmod +x ~/.docker/cli-plugins/docker-pussh

🚀 Примеры использования

# отправка на определенный ssh порт
docker pussh myapp:latest user@host:2222

# с использованием ключей
docker pussh myapp:latest user@host -i ~/.ssh/id_rsa

🌐 Больше примеров в описании репозитория.

📌 В итоге, представленный проект упростит деплой образов за счет исключения из цепочки необходимости использования реестра. Отлично подойдет для локального применения в homelab, встраивания в CI/CD и даже продакшена.

#docker #tools #deploy #cicd #homelab

📚 Cursor выпустили бесплатный интенсив для разработчиков, которые используют или планируют использовать ИИ для написания софта.

Этот курс поможет понять основы и покажет практические паттерны того, как создавать софт с помощью ИИ-моделей и инструментов. Мы приведём примеры на базе Cursor, но эти паттерны применимы к любым ИИ-моделям и продуктам.

🔸 Модели и их ограничения
🔸 Практика работы с ИИ. Как взаимодействовать с ИИ, чтобы получать рабочий код.
🔸 Вспомогательные инструменты
🔸 Агенты

🌐 Весь материал на русском языке. Проходим здесь.

#ai #полезное

🚜 Linux по четвергам

🖥 Системная информация и аппаратура

🔻 lscpu - Отображение подробной информации об архитектуре CPU

lscpu | grep -E "(Model|CPU\(s\)|Thread|Core)"

Показывает: модель CPU, ядра, потоки, архитектуру, размеры кэша

🔻 lsblk - Список блочных устройств в формате дерева

lsblk -f    # показать информацию о файловых системах
lsblk -o NAME,SIZE,TYPE,MOUNTPOINT,FSTYPE

-f: информация о FS
-o: пользовательские колонки
-a: все устройства

🔻 dmidecode - Отображение информации об оборудовании из DMI/SMBIOS

dmidecode -t memory | grep -i size        # информация о RAM
dmidecode -t system | grep -E "(Manufacturer|Product)"

-t: фильтр типа (bios, system, baseboard, chassis, processor, memory, cache, connector, slot)

🔻 inxi - Скрипт системной информации с исчерпывающим выводом

inxi -Fxz    # полная информация о системе, дополнительные детали, фильтр приватных данных
inxi -b      # базовая информация о системе

-F: полный вывод
-x: дополнительные детали
-z: фильтр приватных данных
-b: базовая информация

💡 Твик: bash-скрипт системной информации для быстрых обзоров системы.

#!/bin/bash
echo "=== Сводка системы ==="
uname -a
lscpu | head -5
free -h
df -h /
uptime

#linuxthursday #linux #шпаргалка

Proxmox сообщество не перестает расширяться, альтернативу такому комплексному решению в opensource среде подобрать довольно сложно. Широкое распространение, что логично, ведет к появлению все большего числа сопутствующих инструментов и сервисов, поэтому решил посвятить ряд подборок проектам proxmox тематики.

⚒️ Подборка скриптов и утилит для автоматизации установки и настройки Proxmox

🎈 Proxmox VE Helper-Scripts. Коллекция из сотен скриптов для автоматизации изменения конфигураций, установки контейнеров и виртуальных машин. Применяются через shell Proxmox.

▪️ Скрипты от ttech - последний раз сборник обновлялся в ноябре 2024, репу убрали в архив, так что для свежих версий Proxmox будет уже неактуально, однако коллекция до сих пор живет, можно перепутать и нарваться на ошибки при попытке использования.
▪️ Community сборник - актуальный на данный момент перечень из 300+ заготовленных скриптов по разным категориям.

🎈 CV4PVE Tools Suite от Corsinvest. Набор профессиональных утилит.

▪️ cv4pve-admin - веб-интерфейс администрирования
▪️ cv4pve-autosnap - автоматические снапшоты
▪️ cv4pve-cli - CLI-инструменты
▪️ cv4pve-diag - диагностика
▪️ cv4pve-metric - сбор метрик

#proxmox #полезное

Собрал небольшой workflow для автоматического преобразования Telegram постов под платформы vk, dzen и MAX с фиксацией результата в Google Sheet. Репостим публикацию в собственного бота и получаем заполненную строку в таблице с адаптированным форматированием.

✏️ Подготовка

☑️ Разворачиваем n8n на своем сервере за доменом. Без сертификата api некоторых сервисов блокируют работу, что не дает возможности использовать, например, Telegram триггер для перехвата сообщений.
Пошаговая процедура поднятия n8n за traefik в Docker подробно расписана в документации со всеми необходимыми конфигурациями.

☑️ Заводим Telegram бота для перехвата сообщений в n8n
▫️ @BotFather
▫️ /start -> /newbot
▫️ Выбираем название и получаем API Token.

🚀 Собираем простенький workflow (см. приложенный скриншот)

1️⃣ Telegram Trigger
▪️ В Credential to connect with указываем полученный ранее токен бота.
▪️ В Trigger On тип Message для перехвата сообщений.

2️⃣ Блок кода для преобразования сообщения
Натравил qwen на эту задачу, чтобы реализовать функции обработки текста с учетом обычных и вложенных ссылок, а также специфической разметки.
Получившийся код, который подставил в ноду Code in JavaScript

// Входящие данные
const items = $input.all();
return items.map(item => {
  const message = item.json.message;
  let text = message.text || message.caption || '';
  let entities = message.entities || message.caption_entities || [];
  // Сортируем с конца, чтобы не съезжали индексы при вставке
  entities = entities.sort((a, b) => b.offset - a.offset);
  // Вставляем скрытые ссылки в текст как "Текст (ссылка)"
  for (const entity of entities) {
    if (entity.type === 'text_link') {
      const before = text.substring(0, entity.offset);
      const linkText = text.substring(entity.offset, entity.offset + entity.length);
      const after = text.substring(entity.offset + entity.length);
      text = `${before}${linkText} (${entity.url})${after}`;
    }
  }
  // Функция для преобразования HTML-разметки Telegram в текст
  function telegramToPlain(text) {
    return text
      .replace(/<b>(.*?)<\/b>/g, '**$1**')        // жирный
      .replace(/<i>(.*?)<\/i>/g, '*$1*')          // курсив
      .replace(/<s>(.*?)<\/s>/g, '~~$1~~')        // зачёркнутый
      .replace(/<a href="([^"]*)">([^<]*)<\/a>/g, '[$2]($1)') // обычные ссылки
      .replace(/<.*?>/g, ''); // прочие теги
  }
  // Функция для VK: просто текст + скрытые/обычные ссылки
  function telegramToVk(text) {
    return text
      .replace(/<b>(.*?)<\/b>/g, '$1')           // просто убираем теги
      .replace(/<i>(.*?)<\/i>/g, '$1')
      .replace(/<s>(.*?)<\/s>/g, '$1')
      .replace(/<a href="([^"]*)">([^<]*)<\/a>/g, '$2 $1') // ссылки: текст + URL
      .replace(/<.*?>/g, '');
  }
  // Функция для Дзен и Max: Markdown
  function telegramToMarkdown(text) {
    return text
      .replace(/<b>(.*?)<\/b>/g, '**$1**')
      .replace(/<i>(.*?)<\/i>/g, '*$1*')
      .replace(/<s>(.*?)<\/s>/g, '~~$1~~')
      .replace(/<a href="([^"]*)">([^<]*)<\/a>/g, '[$2]($1)')
      .replace(/<.*?>/g, '');
  }
  const vkText = telegramToVk(text);
  const dzenText = telegramToMarkdown(text);
  const maxText = telegramToMarkdown(text);
  return {
    json: {
      vk: vkText,
      dzen: dzenText,
      max: maxText
    }
  };
});

3️⃣ Сохранение результата в таблицу
Нода Append row in sheet для добавления новых записей в существующую гугл таблицу. Здесь, в первую очередь, нужно подключить своего гугл клиента с разрешенным доступом к API Google Drive и Google Sheets. Пошаговая инструкция здесь.
После обработки пришедшего сообщения имеем json с 3 полями - vk, dzen и max. Согласно эти полям и заполняются ячейки новой записи в таблице.

📌 Что дальше?
▪️ Добавить обработку медиа контента из поста.
▪️ Расширить информацию в таблице о посте. Сопроводить служебными данными для удобства дальнейшего использования.
▪️ Настроить автоматическую публикацию на разные платформы.

P. S. Не забываем оставлять реакции. Много репостов вижу по статистике, а реакций в 2, а то и в 3 раза меньше.

#ai #n8n #automation