🥷 После выхода 141 версии Mozilla Firefox у пользователей обнаружились некоторые проблемы с перегрузом по CPU от фонового процесса Inference, который отвечает за работу с ИИ моделями локально (хотя на Windows версии не заметил). Представители Mozilla, после проведенного расследования, утверждают, что виной всему не ИИ функции, а некий эксперимент «Семантический поиск в истории», и это будет исправлено в 143 версии, но привязку к ИИ процессу опровергнуть сложно.

🧐 Новые функции для "интеллектуальной" группировки вкладок, конвертации валют и чего-то там еще - вещь конечно интересная, но, пожалуй, отключу. А сделать это можно через ручную корректировку параметров браузера в about:config.

🔹 Полная деактивация движка локального ИИ (Inference process)
Устанавливаем параметр browser.ml.enable в состояние false.

🔹 Отключение функции умной группировки вкладок
Устанавливаем параметр browser.tabs.groups.smart.enabled в состояние false.

🔹 Отключение встроенного ИИ-чата
Устанавливаем параметр browser.ml.chat.enabled в состояние false.

P. S. Если ищите альтернативу популярным браузерам.

#browser #firefox #ai #news

Раз уж речь зашла о Firefox, дополню рядом настроек, которые сделают использование браузера чуть более безопасным.

📌 Корректируем параметры вручную

🔹 Идем в about:config

🔹 Включаем базовую функцию защиты от идентификации по цифровому отпечатку
privacy.resistFingerprinting : true

🔹Включаем DNS-over-HTTPS
network.trr.mode : 2

🔹 Отключаем WebRTC (теряем возможность участия в созвонах и видеоконференциях, так что на личное усмотрение)
media.peerconnection.enabled : false

📌 Используем готовый профиль с настройками
Таких файлов немало существует, можно залезть внутрь и посмотреть что за параметры подкручиваются и почему. Один из наиболее популярных - от arkenfox.

▫️ Забираем user.js
▫️ Находим каталог с профилем в about:profiles
▫️ Закидываем файл и перезапускаем браузер

📌 Ставим полезные расширения

Блокировщики
🔸 uBlock Origin
🔸 NoScript

Антитрекеры
🔸 Privacy Badger
🔸 Disconnect

Блокировщик CDN трекеров
🔸 Decentraleyes

Очистка трекеров из url
🔸 ClearURLs

Cookie
🔸 I don't care about cookies
🔸 I still don't care about cookies
🔸 Cookie AutoDelete

#browser #firefox #security

📚 Несколько полезных современных утилит командной строки, чтобы упростить функции поиска, удаления и оценки занятого пространства файлами.

🔎 Ищем

▪️ fd (find)
▪️ sd (find + sed)
▪️ ripgrep (find + sed + grep)

📊 Анализируем дисковое пространства и чистим файлы с псевдографическим интерфейсом и интерактивным режимом работы

▪️ ncdu
Её более шустрый аналог на go
▪️ gdu
И альтернативы
▪️ duf
▪️ dust

🗑 Удаляем через корзину

▪️ rip2
▪️ trash-cli
▪️ trashy

#terminal #unix #linux #полезное

🤖 Начал решение задачи с определения алгоритма действий и проверки доступных инструментов.

1️⃣ Имеем видео на youtube.
2️⃣ Платформа генерирует субтитры к видео на языке оригинала автоматически, а по необходимости может и перевести на другой язык.
3️⃣ Выгружаем субтитры.
4️⃣ Готовим промпт для ИИ для генерации статьи на основе анализа текста субтитров.
5️⃣ Тестирование и отладка вручную.

P. S. Здесь удобно было бы подключить инструменты анализа самого видео, чтобы сохранять кадры для сопровождения основных разделов статьи, но про это расскажу отдельно, т.к. подходы не на сколько простые, как обычная работа с текстом.

📝 Алгоритм довольно банальный, поэтому поэкспериментировать можно без какой-либо подготовки.

🔹 Взял парочку роликов автора - про Vikunja и TubeArchivist.

🔹 Выгрузил сгенерированные субтитры в виде текстовых файлов через сервис Downsub (альтернативы: [1], [2]).

🔹 Подготовил самописный промпт и загрузил в ChatGPT.

Сделай краткий пересказ youtube видео по представленному тексту субтитров и оформи это все в виде статьи для сайта в формате markdown. При формировании текста не придумывай информацию, используй только материал из видео. Ссылка на видео: [ССЫЛКА НА ВИДЕО]. Субтитры: [ТЕКСТ СУБТИТРОВ].

✏️ ChatGPT выдал вполне неплохой результат, но можно лучше - пишем от имени автора, требуем определить разделы, оформить их соответствующим образом и не пропускать важные замечания и комментарии автора и т.д. Тогда я попросил другую ИИ (grok) сгенерировать промпт для ChatGPT для решения поставленной задачи.

Получился вот такой промпт:

Ты — эксперт по написанию статей на основе видеоконтента. У тебя есть транскрипция видео: 
[ТРАНСКРИПЦИЯ ВИДЕО]
Ссылка на оригинальное видео: [ССЫЛКА НА ВИДЕО]
На основе этой транскрипции составь статью для сайта от имени автора видео. Статья должна кратко излагать основные мысли, ключевые моменты, важные проблемы, замечания и описания, представленные в видео. Выдели и четко опиши все значимые аспекты, включая любые поднятые проблемы, сделанные замечания или подробные описания, чтобы ничего важного не было упущено. Не придумывай ничего лишнего: используй только информацию из транскрипции, не добавляя свои интерпретации, мнения или дополнительные факты. 
Организуй статью логически, с заголовками для разделов, соответствующих структуре видео или темам, которые в нем обсуждаются. Если в видео есть явные разделы, следуй им; если их нет, создай разделы на основе ключевых тем или идей. Подчеркни важные моменты (проблемы, замечания, описания) в тексте, используя жирный шрифт или списки, где это уместно.
В конце статьи добавь раздел "Источник" с активной ссылкой на оригинальное видео.
Отформатируй всю статью в Markdown для удобной публикации на сайте: используй заголовки (# для H1, ## для H2 и т.д.), списки, жирный текст для выделения ключевых моментов, но избегай избыточного форматирования. Убедись, что статья читаема и структурирована для веб-публикации.

✏️ Результат работы ChatGPT по новому промпту удовлетворил гораздо больше, причем промпт вышел вполне универсальным, и срабатывает адекватно на разных видео автора.

🌐 Материалы выложил в репу на gitverse.

Основные шаги проверены, информация подготовлена - далее, двигаюсь в сторону автоматизации процесса через n8n.

#ai #n8n #automation #tools

🥷🏻 Очередную виртуалку атакуют переборщики паролей десятками и сотнями итераций. Достаточно оставить публичную машину всего на ночь, и логи пополнятся большим списком попыток авторизации под разными стандартными и не только именами пользователей на разные порты.

Убедиться в этом можно, например, полистав логи

less /var/log/auth.log

🔨 Сразу настраиваю на любой Linux VPS минимальный набор ограничений, чтобы отправить таких в бан или просто проигнорировать.

📌 Идем в файл /etc/ssh/sshd_config. Меняем порт SSH, отключаем вход по паролю (ключи же есть!). Можно и root вход заблокировать.

Port 2202
PasswordAuthentication no
PermitEmptyPasswords no
PermitRootLogin no

📌 Настраиваем firewall с помощью ufw

# установка
apt update
apt install ufw -y

# базовые правила
ufw default deny incoming
ufw default allow outgoing

# открываем только нужные порты
ufw allow 2202/tcp # новый ssh порт
ufw allow http     # 80
ufw allow https    # 443

# отключаем ipv6
vi /etc/default/ufw
# IPV6=no

# перезапускаем
ufw disable && ufw enable

# проверяем
ufw status

📌 Настраиваем fail2ban для автоматической блокировки ip адресов после множественных неудачных попыток авторизации. Для этого создадим jail и пропишем параметры.

# устанавливаем утилиту
apt install python3-systemd fail2ban -y

# добавляем конфигурацию для мониторинга логов авторизации
vi /etc/fail2ban/jail.local

Указываем количество попыток, после которых наступает бан, промежуток времени, в пределах которого считаются попытки, и длительность бана.

[DEFAULT]
banaction = ufw

[sshd]
backend=systemd
enabled = true

maxretry = 4
findtime = 1h
bantime = 1d
ignoreip = 127.0.0.1
logpath  = /var/log/auth.log

# перезапускаем сервис
systemctl restart fail2ban

# проверяем результаты работы
fail2ban-client status sshd

Status for the jail: sshd
|- Filter
|  |- Currently failed: 0
|  |- Total failed:     887
|  `- Journal matches:  _SYSTEMD_UNIT=sshd.service + _COMM=sshd
`- Actions
   |- Currently banned: 0
   |- Total banned:     131
   `- Banned IP list:

#linux #vps #ufw #fail2ban

На основе проведенных экспериментов собрал workflow в n8n для реализации задуманного.

📌 В общем виде цепочка действий выглядит следующим образом

▪️ Отправляем в систему ссылку на YouTube видео.
▪️ Получаем транскрипцию видео.
▪️ Отправляем транскрипцию в ChatGPT для преобразования в статью.
▪️ Полученный результат преобразуем в текстовый файл.
▪️ Отправляем файл в Telegram чат.

📝 Теперь подробнее

1️⃣ Для старта workflow в n8n требуется некий триггер - в текущей ситуации это сообщение с ссылкой на видео для последующей обработки. Удобно связать это дело с Telegram ботом, т.к. все необходимые ноды в библиотеке n8n уже существуют, но есть нюанс - перехватить сообщение из чата с ботом, ровно как и из какого-либо канала, можно только через предоставленный webhook на открытом адресе через https. Если n8n хостится локально, как у меня, то Telegram API заблокирует подобные попытки. Поэтому я обошелся внутренним чатом n8n для имитации отправленной ссылки извне.

2️⃣ Для транскрипции воспользовался бесплатным доступом к сервису supadata (100 запросов). Регистрируем аккаунт - получаем API KEY.
Они же разработали и опубликовали собственную ноду для n8n для взаимодействия с supadata, которую можно установить через веб интерфейс платформы. Репа ноды и инструкция по установке на github.

3️⃣ Полученный текст транскрипции направляется в OpenAI через ноду Message model. Модель CHATGPT-4O-LATEST, промпт - итоговый из предыдущей заметки. Для доступа нужен OpenAI API KEY.

4️⃣ Результат обработки преобразовывается в обычный текстовый файл стандартной нодой Convert to File.

5️⃣ Далее снова Telegram нода, но уже для отправки сообщения в чат с ботом - sendDocument. Сформированный файл отправляется в виде документа в указанный в параметрах чат.

✔️ Создаем бота и получаем ключ
▫️ Идем в @BotFather.
▫️ Создаем бота, получаем ключ.
▫️ Используем ключ в Credentials Telegram ноды.

✔️ Находим свой Telegram идентификатор
Чат, куда нужно отправить документ, должен быть указан через ID, а значит надо получить собственный идентификатор, если мы хотим направить сообщение в личный чат между собой и ботом.
▫️ Идем в @userinfobot.
▫️ /start и сразу получаем свой ID.
▫️ Вставляем ID в настройках ноды в поле Chat ID.

🚀 Таким образом, получаем несложную цепочку манипуляций для получения транскрипции видео и преобразования её в статью.

🌐 Весь workflow выложил в репозиторий на gitverse в виде обычного json - можно легко импортировать (Import from file), прописать свои Credentials и попробовать самостоятельно. Не забываем, что нода от supadata - внешняя, поэтому ее нужно установить в библиотеку отдельно, чтобы импортированный workflow смог ее подхватить.

#ai #n8n #automation #tools

🏠 Для вновь прибывших и тех, кто пропустил некоторые интересные публикации, собрал ТОП статей с сайта desoft.ru по количеству просмотров. Статьи частично или полностью дублируются в канал, а на сайте, как правило, только полные версии ввиду формата.

🎈 Реализация бота MiniDe для канала

▪️ Telegram бот для проверки ссылок в сообщениях

🎈 Про PostgreSQL кластер на базе Autobase

▪️ Часть 1

▪️ Часть 2

🎈 Про бэкапы с помощью restic

▪️ Организация файловых бэкапов с удаленным хранилищем с помощью restic

▪️ Проверка, очистка и восстановление данных из бэкапов restic

🎈 Про агрегацию новостных лент

▪️ Собираем единую ленту новостей с сайтов и Telegram-каналов на своем сервере

▪️ Готовим агрегатор новостей с автоматической публикацией в своем Telegram-канале

🎈 Про инструменты организации рабочих VPN

▪️ Установка контроллера ZeroTier на свой сервер с помощью ZTNET

▪️ Построение защищенных виртуальных сетей с помощью Nebula

🎈 Цикл про работу с образами в Docker в трех частях

▪️ Часть 1

▪️ Часть 2

▪️ Часть 3

#топ #desoft

⚠️ Очередная беда настигла мою фоновую виртуалку в VirtualBox, которая крутится уже как родная в виндовой системе. Виртуальный диск приказал долго жить - толи grub поломался внезапно, толи случились повреждения памяти после очередного отключения электричества - глубоко копать не стал - надо восстанавливать!

😕 Последний снимок делался 2 месяца назад - не годится, базы там давно устаревшие, терять данные на ровном месте не хотелось. Но именно на этой машине у меня были настроены ежедневные автоматические бэкапы через restic, пример использования которого показывал здесь.

restic бэкапил только базы и конфигурации, т.е. единственную важную информацию. Тут два варианта - поднимаем новую виртуалку, организуем все приложения заново и восстанавливаемся, либо откатываемся к снапшоту двухмесячной давности и восстанавливаемся. Последний вариант конечно проще и быстрее, чем собственно я и воспользовался.

🎉 На этот раз все прошло успешно, однако, повезло, что с хранилищем restic было все в порядке, а также со снапшотом, который взлетел без каких-либо проблем. И в том и в другом случае я не был уверен прям совсем, потому что ни разу не проверял и не делал восстановление из бэкапов 😱.

‼️ К чему это все? Мало не забывать делать бэкапы автоматом или вручную - нужно проверять сами хранилища, куда вы складываете резервные копии (а их должно быть несколько), а также проводить тестовое восстановление, чтобы подобная ситуация уже не в домашних условиях, а вполне себе боевых, не застала врасплох.

#backup #restic #virtualbox #fail

Анатолий Карпенко собрал коллекцию трендовых ситуаций магического превращения ваших ресурсов в "не ваши" 😁 купил машину, а без подписки коробка в "D" не встанет и зеркало не развернется, зато своя 🤷‍♂️

И дело касается не только новой модной техники или планшетов на колесах, но и всего "облачного", куда стремительно перебираются сотни и тысячи компаний.
Да, это несомненно удобно, когда в 2 клика развернута целая инфраструктура, обслуживается 24/7 не твоими инженерами и не на твои средства (на твои), но что в итоге? Твоя ли теперь коммерческая тайна или персональные данные сотрудников, защищен ли ты от порчи, изменения, слива, или вовсе уничтожения по щелчку или очередному закону, согласно которому провайдер свернет свою деятельность за день и самоликвидируется...
Не вижу здесь призыва избегать облачные ресурсы, но полагаться на них на 100%, увольняя персонал и радуясь высвобожденным средствам - не есть стратегический подход, как мне кажется.

Пока экспериментирую с ботом для проверки доступности сервисов и сертификатов, открою новую рубрику "Linux по четвергам" для шпаргалок, твиков, утилит и прочей мелочи, поскольку так или иначе с серверами на базе Linux сталкиваться приходится постоянно.

На канале уже было несколько шпаргалок и подборок на эту тему. Например, Работа с дисками в Linux или Монтирование устройств с помощью fstab.

🔄 Управление процессами

▪️ htop - Интерактивный монитор процессов

htop -u username

-u: фильтр по пользователю
F4: фильтр
F6: сортировка
F9: убить процесс
Shift + z: поставить на паузу обновление списка процессов

▪️ pgrep/pkill - Поиск и завершение процессов по шаблону имени

pgrep -f "python script.py"
pkill -f "my_process"

-f: поиск по полному имени процесса
-u: по пользователю
-x: точное совпадение

▪️ nohup - Запуск команд в фоновом режиме

nohup python long_script.py > output.log 2>&1 &

>: перенаправление stdout
2>&1: stderr в stdout
&: в фоновом режиме

▪️nice/renice - Запуск процесса с приоритетом

nice -n 10 python priority.py &
renice -n -5 -p 1234

n: значение приоритета

▪️ jobs/bg/fg - Управление фоновыми и активными задачами

jobs -l    # список задач с PID
bg %1      # задача 1 в фоновый режим
fg %2      # задача 2 на передний план

💡 Несколько твиков:

▫️ ps aux --sort=-%cpu | head -10 - для быстрого поиска процессов, отсортированных по потреблению CPU.
▫️ watch -n 2 'ps aux --sort=-%mem | head -10' - зацикливаем исполнение команды отображения списка процессов, отсортированных по потреблению памяти, раз в 2 секунды.
▫️ strace -p2525462 -s9999 -e write - подключаемся к запущенному процессу по его PID и отслеживаем только события записи.

#linuxthursday #linux #шпаргалка

По словам авторов, попасть в систему удалось из-за того, что разработчики «забыли отключить регистрацию». Дальнейший анализ API и GraphQL открыл возможность обходить проверку e-mail, а пароли хранились в открытом виде. С помощью отдельного вызова createToken исследователи смогли назначить себе права администратора на всей платформе.

Ошибки встречались и в других сервисах RBI. В системе заказа оборудования пароль оказался жёстко прописан в коде HTML. На планшетах для обслуживания клиентов в «драйв-тру» использовался пароль admin. Вдобавок хакеры нашли незащищённые аудиозаписи заказов, которые используются для обучения систем анализа качества работы ресторанов. Иногда в них содержались персональные данные клиентов.


Burger King не отстает от своих коллег по цеху (совсем недавно, в июле, случился инцидент с McDonald's). Мало того, что пароль admin, так он еще и жестко прописан в HTML 💪 Отчет исследователей предусмотрительно подтерли даже из веб архива, но поглумиться в интернетах успели вдоволь над таким ответственным подходом.

🌐 Источник

#news #security #leaks