Продолжение темы с OpenCloud. Я рассказал, как его развернуть. Теперь поделюсь своими впечатлениями. Я в итоге установил:
▪️Веб интерфейс для работы в браузере
▪️Приложение под Windows
▪️Приложение под Android
📌 Возможности администратора
Администратор может сам создавать пользователей. Назначать им квоты на доступное место. Пользователей можно объединять в группы. Каких-то особых прав группам не назначить. Они используются для того, чтобы можно было дать группе права доступа к какому-то пространству.
Пространство - место для хранения файлов, которое не привязано к пользователю.
◽️Файлы пространства принадлежат только ему и даже при удалении пользователя, автора фала, сохраняются в пространстве.
◽️В пространстве ведётся логирование действий с файлами.
◽️Пространства можно по желанию подключать и отключать в приложениях.
Кроме управления пользователями, группами и пространствами в админке никаких настроек нет.
📌 Приложение под Windows
Оно простое как по интерфейсу и возможностям, так и по потребляемым ресурсам. Умеет работать через прокси и ограничивать трафик во время синхронизации.
Сетевое хранилище встраивается в проводник, наподобие того, как это реализовано в Яндекс.Диск. По умолчанию, отображаются все файлы, но сразу они не скачиваются. Если вы хотите, чтобы какой-то файл постоянно хранился локально, надо это явно указать.
Каких-то проблем или неудобств с синхронизацией я не заметил. Кладёшь на компьютере в директорию файлы, они автоматом улетают на сервер. В веб интерфейсе сразу их видишь.
📌 Веб интерфейс
Помимо доступа к файлам, с которыми можно работать (загружать, скачивать) в веб интерфейсе можно редактировать документы. Причём как одному, так и в режиме реального времени с другими пользователями. Они будут видеть ваши изменения практически мгновенно. Реализовано это всё на базе небезизвестной Collabora Online, так что добавить особо нечего. Про неё много информации в сети.
По сути кроме Collabora и Onlyoffice нет бесплатных движков для онлайн работы с документами. У них принципиальное отличие в том, что Collabora обрабатывает всё на сервере, а в Onlyoffice - на клиентах. Соответственно, первому нужно в разы больше серверных ресурсов для совместной работы, но зато клиентов не нагружает, поэтому и на смартфонах можно спокойно всё редактировать.
Как я уже упоминал, веб интерфейс очень простой и быстрый. С ним комфортно работать, особенно в сравнении с NextCloud, который лишний раз открывать не хочется. Помимо офисных форматов веб интерфейс поддерживает редактирование txt и markdown.
📌 Android приложение
Приложение умеет автоматически загружать фото и видео из галереи на сервер. Так же, как и десктопное приложение, по умолчанию ничего не хранит локально, если ты явно не укажешь, какие файлы и директории надо синхронизировать.
У меня было задвоение некоторых файлов в интерфейсе приложения. Загрузил через десктоп 2 файла, в вебе тоже увидел 2 файла, а в мобильном приложении их оказалось 4. После того, как я в мобильном приложении удалил копии, на самом деле удалились оригиналы. Они уехали в корзину, откуда я их восстановил. Приложение вышло совсем недавно, так что скорее всего найдутся и другие баги.
На смартфоне тоже можно редактировать файлы, зайдя в веб интерфейс. Можно collabora отдельно установить на смартфон, но не вижу большого смысла в этом. На смартфоне редактировать в любом случае неудобно, но если уж приспичит, можно и веб интерфейс открыть.
Продукт мне в целом понравился. Простой и лаконичный интерфейс. Минимум лишней функциональности. Реализована только работа с файлами и документами. Работает всё быстро, хороший отклик у веб интерфейса, пользоваться комфортно. Если взять мой опыт использования Яндекс.Диска, то OpenCloud закрыл бы все мои потребности. Отдельный вопрос с надёжностью и отсутствием багов. Но это без активного использования никак не проверить.
☝️Отдельно упомяну, что на сервере все файлы хранятся в открытом виде с оригинальными именами. Их легко бэкапить.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#fileserver
▪️Веб интерфейс для работы в браузере
▪️Приложение под Windows
▪️Приложение под Android
📌 Возможности администратора
Администратор может сам создавать пользователей. Назначать им квоты на доступное место. Пользователей можно объединять в группы. Каких-то особых прав группам не назначить. Они используются для того, чтобы можно было дать группе права доступа к какому-то пространству.
Пространство - место для хранения файлов, которое не привязано к пользователю.
◽️Файлы пространства принадлежат только ему и даже при удалении пользователя, автора фала, сохраняются в пространстве.
◽️В пространстве ведётся логирование действий с файлами.
◽️Пространства можно по желанию подключать и отключать в приложениях.
Кроме управления пользователями, группами и пространствами в админке никаких настроек нет.
📌 Приложение под Windows
Оно простое как по интерфейсу и возможностям, так и по потребляемым ресурсам. Умеет работать через прокси и ограничивать трафик во время синхронизации.
Сетевое хранилище встраивается в проводник, наподобие того, как это реализовано в Яндекс.Диск. По умолчанию, отображаются все файлы, но сразу они не скачиваются. Если вы хотите, чтобы какой-то файл постоянно хранился локально, надо это явно указать.
Каких-то проблем или неудобств с синхронизацией я не заметил. Кладёшь на компьютере в директорию файлы, они автоматом улетают на сервер. В веб интерфейсе сразу их видишь.
📌 Веб интерфейс
Помимо доступа к файлам, с которыми можно работать (загружать, скачивать) в веб интерфейсе можно редактировать документы. Причём как одному, так и в режиме реального времени с другими пользователями. Они будут видеть ваши изменения практически мгновенно. Реализовано это всё на базе небезизвестной Collabora Online, так что добавить особо нечего. Про неё много информации в сети.
По сути кроме Collabora и Onlyoffice нет бесплатных движков для онлайн работы с документами. У них принципиальное отличие в том, что Collabora обрабатывает всё на сервере, а в Onlyoffice - на клиентах. Соответственно, первому нужно в разы больше серверных ресурсов для совместной работы, но зато клиентов не нагружает, поэтому и на смартфонах можно спокойно всё редактировать.
Как я уже упоминал, веб интерфейс очень простой и быстрый. С ним комфортно работать, особенно в сравнении с NextCloud, который лишний раз открывать не хочется. Помимо офисных форматов веб интерфейс поддерживает редактирование txt и markdown.
📌 Android приложение
Приложение умеет автоматически загружать фото и видео из галереи на сервер. Так же, как и десктопное приложение, по умолчанию ничего не хранит локально, если ты явно не укажешь, какие файлы и директории надо синхронизировать.
У меня было задвоение некоторых файлов в интерфейсе приложения. Загрузил через десктоп 2 файла, в вебе тоже увидел 2 файла, а в мобильном приложении их оказалось 4. После того, как я в мобильном приложении удалил копии, на самом деле удалились оригиналы. Они уехали в корзину, откуда я их восстановил. Приложение вышло совсем недавно, так что скорее всего найдутся и другие баги.
На смартфоне тоже можно редактировать файлы, зайдя в веб интерфейс. Можно collabora отдельно установить на смартфон, но не вижу большого смысла в этом. На смартфоне редактировать в любом случае неудобно, но если уж приспичит, можно и веб интерфейс открыть.
Продукт мне в целом понравился. Простой и лаконичный интерфейс. Минимум лишней функциональности. Реализована только работа с файлами и документами. Работает всё быстро, хороший отклик у веб интерфейса, пользоваться комфортно. Если взять мой опыт использования Яндекс.Диска, то OpenCloud закрыл бы все мои потребности. Отдельный вопрос с надёжностью и отсутствием багов. Но это без активного использования никак не проверить.
☝️Отдельно упомяну, что на сервере все файлы хранятся в открытом виде с оригинальными именами. Их легко бэкапить.
———
ServerAdmin:
#fileserver
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍81👎1
Вчера был на конференции Deckhouseconf компании Флант. Пишу от себя, меня специально туда никто не звал. Сам просто увидел где-то анонс мероприятия и отправил заявку. Меня иногда спрашивают, как я попадаю на разные конференции. На некоторые приглашают, но чаще всего - нет. Сам отправляю заявку да и всё. Пишу, что я DevOps инженер. Ни разу отказ не получал. Может как-то идентифицируют меня, может так совпадает. Приезжаю как обычный участник и не отсвечиваю. Я и пишу о поездках редко, только если что-то полезное увижу.
Расскажу о том, что мне показалось интересным и полезным. Эта конференция в основном посвящена продукту Deckhouse. Это большая коммерческая платформа, которая объединяет в себе управление контейнерами и виртуальными машинами на базе Kubernetes. И приправлено всё это различными вспомогательными сервисами, некоторые из которых полностью или частично переписаны самостоятельно - мониторинг, управление секретами, управление кодом, хранилище контейнеров и т.д.
Я впервые узнал про эту платформу на прошлой конференции. Выглядит всё круто и интересно, но в основном для большого и очень большого бизнеса. Я даже примерно не знаю, сколько всё это стоит, не интересовался. В прошлом году было упомянуто, что есть бесплатная community версия. Я мельком глянул на неё - там всё управление только через CLI, вообще никакого интерфейса нет. Практического применения в таком виде не увидел, даже пробовать не стал.
А в этом году рассказали и показали простой и удобный установщик и панель управления платформой, которая частично поддерживает community версию в режиме только просмотра, не управления. Установщик позволяет развернуть бесплатную версию на железо, виртуалки или в Yandex Cloud. Можно поставить как на одну ноду, так и на 2-3. То есть это нормальное решение для небольшого отказоустойчивого кластера.
На выходе вы получаете платформу высокой доступности для запуска контейнеров и виртуальных машин, которая управляется манифестами кубернетиса с поддержкой иностранный и отечественных ОС как основы кластера, так и машин, которые в нём могут быть запущены (винду тоже можно). Соответственно, все возможности Kubernetes реализованы и для виртуальных машин. Они запускаются в подах, автоматически переезжают, к ним прокидывается доступ через ингресс контроллер, нарезаются диски и т.д.
Полное сравнение редакций и обзор функциональных возможностей каждой из них можно посмотреть в табличке. Конечно, в бесплатной версии много всего урезано. Хотелось хотя бы на 3 ноды полнофункциональный кластерок 🙄 Может быть с ограничением по виртуалкам, чтобы вкусить все прелести на небольшой масштабе, но увы. Придётся довольствоваться тем, что есть. В принципе, и так немало. Можно попробовать. Думаю, разверну у себя и напишу, что получилось. Интересно самому посмотреть.
Также напомню тем, кто не знает, что команда Deckhouse полностью переписала Prometheus на C++ 😎, назвав его Prom++. Он тратит на работу в разы меньше ресурсов, чем оригинальный Prom, и меньше, чем VictoriaMetrics, которая тоже отличается легковесностью. Prom++ полностью совместим с оригинальным Prometheus и внедряется простой заменой оригинала. Вообще ничего больше делать не надо. Если вы используете Prometheus или VictoriaMetrics, можете без каких-либо усилий снизить потребляемые мониторингом ресурсы. Не вижу никаких причин не делать это прямо сейчас.
Остальные выступления послушал, но поделиться в формате заметки больше нечем. Там в основном про внутреннее устройство Deckhouse было. Из приятного - выиграл на стенде Selectel очередного Тирекса - мягкую игрушку. У меня дети любят их. Дома несколько штук есть, некоторые совсем поистрепались.
#devops #kuber #prometheus
Расскажу о том, что мне показалось интересным и полезным. Эта конференция в основном посвящена продукту Deckhouse. Это большая коммерческая платформа, которая объединяет в себе управление контейнерами и виртуальными машинами на базе Kubernetes. И приправлено всё это различными вспомогательными сервисами, некоторые из которых полностью или частично переписаны самостоятельно - мониторинг, управление секретами, управление кодом, хранилище контейнеров и т.д.
Я впервые узнал про эту платформу на прошлой конференции. Выглядит всё круто и интересно, но в основном для большого и очень большого бизнеса. Я даже примерно не знаю, сколько всё это стоит, не интересовался. В прошлом году было упомянуто, что есть бесплатная community версия. Я мельком глянул на неё - там всё управление только через CLI, вообще никакого интерфейса нет. Практического применения в таком виде не увидел, даже пробовать не стал.
А в этом году рассказали и показали простой и удобный установщик и панель управления платформой, которая частично поддерживает community версию в режиме только просмотра, не управления. Установщик позволяет развернуть бесплатную версию на железо, виртуалки или в Yandex Cloud. Можно поставить как на одну ноду, так и на 2-3. То есть это нормальное решение для небольшого отказоустойчивого кластера.
На выходе вы получаете платформу высокой доступности для запуска контейнеров и виртуальных машин, которая управляется манифестами кубернетиса с поддержкой иностранный и отечественных ОС как основы кластера, так и машин, которые в нём могут быть запущены (винду тоже можно). Соответственно, все возможности Kubernetes реализованы и для виртуальных машин. Они запускаются в подах, автоматически переезжают, к ним прокидывается доступ через ингресс контроллер, нарезаются диски и т.д.
Полное сравнение редакций и обзор функциональных возможностей каждой из них можно посмотреть в табличке. Конечно, в бесплатной версии много всего урезано. Хотелось хотя бы на 3 ноды полнофункциональный кластерок 🙄 Может быть с ограничением по виртуалкам, чтобы вкусить все прелести на небольшой масштабе, но увы. Придётся довольствоваться тем, что есть. В принципе, и так немало. Можно попробовать. Думаю, разверну у себя и напишу, что получилось. Интересно самому посмотреть.
Также напомню тем, кто не знает, что команда Deckhouse полностью переписала Prometheus на C++ 😎, назвав его Prom++. Он тратит на работу в разы меньше ресурсов, чем оригинальный Prom, и меньше, чем VictoriaMetrics, которая тоже отличается легковесностью. Prom++ полностью совместим с оригинальным Prometheus и внедряется простой заменой оригинала. Вообще ничего больше делать не надо. Если вы используете Prometheus или VictoriaMetrics, можете без каких-либо усилий снизить потребляемые мониторингом ресурсы. Не вижу никаких причин не делать это прямо сейчас.
Остальные выступления послушал, но поделиться в формате заметки больше нечем. Там в основном про внутреннее устройство Deckhouse было. Из приятного - выиграл на стенде Selectel очередного Тирекса - мягкую игрушку. У меня дети любят их. Дома несколько штук есть, некоторые совсем поистрепались.
#devops #kuber #prometheus
1👍87👎4
Реалии мониторинга в 2026 году. Вчера полдня, пока сидел на конференции, спамил внешний мониторинг, который доступность внешних узлов проверяет. Поначалу напрягся и расстроился, потом, когда увидел, что мигать начали все узлы, понял, что это что-то на хостинге с самим мониторингом происходит.
Для последнего месяца-двух это обычная история. Уже даже внимания не обращаю. Про один такой случай писал отдельно не так давно.
С уведомлениями в Telegram, кстати, надо будет, судя по всему, прощаться. У меня они хоть и ходят пока ещё, но уже как-то доверия к ним нет. Из-за всей этой катавасии, самым надёжным каналом доставки уведомлений остаётся email. У меня он, кстати, основной.
Если кому интересно, для внешнего мониторинга использую Gatus в том числе для мониторинга за самими мониторингами. Уже почти 2 года трудится. Мне нравится.
Для последнего месяца-двух это обычная история. Уже даже внимания не обращаю. Про один такой случай писал отдельно не так давно.
С уведомлениями в Telegram, кстати, надо будет, судя по всему, прощаться. У меня они хоть и ходят пока ещё, но уже как-то доверия к ним нет. Из-за всей этой катавасии, самым надёжным каналом доставки уведомлений остаётся email. У меня он, кстати, основной.
Если кому интересно, для внешнего мониторинга использую Gatus в том числе для мониторинга за самими мониторингами. Уже почти 2 года трудится. Мне нравится.
👍72👎2
Telegram стал одним из основных каналов получения уведомлений от мониторинга. Я сам его использую в этом качестве, но только для самых критичных событий. Основной канал у меня - email. В рабочее время я регулярно проверяю почту.
Буквально в эту пятницу вечером у меня перестают отправляться уведомления в Telegram от Gatus и от Zabbix. При этом уведомления отправляются через разные VPS, расположенные у разных хостеров. Честно говоря, вообще нет желания со всем этим разбираться. Нормальной работы с Telegram в ближайшее время не предвидится, так что лично я считаю, что уведомления от мониторинга лучше перенести на другие каналы доставки.
У меня в последнее время часто спрашивали и тут в личке, и в комментариях на сайте, и в комментариях к заметкам, как починить доставку через Telegram, на что заменить, как настроить уведомления в MAX и т.д. Решил сделать небольшую подборку альтернатив. Сам пока ещё думаю, куда перевести критичные уведомления.
1️⃣ Самый простой вариант, которым я пользовался очень давно, когда Zabbix ещё толком не поддерживал без костылей отправку в Telegram. Существуют боты - imap клиенты. Они проверяют ящики и шлют уведомления в Telegram о новых письмах. Конкретно я использовал бота от Gmail (@gmailbot) и отдельный ящик, куда отправлялись только сообщения от мониторингов. Писал об этом заметку на сайте.
Таких ботов много, я не проверял, какие из них сейчас работают. Сразу предупрежу, что подобные боты получают полный доступ к ящику, так как вы им передаёте логин с паролем. Используйте отдельные ящики, пересылая туда нужные уведомления.
Это самый простой и быстрый способ настроить уведомления в Telegram, если вы решительно настроены использовать именно его.
2️⃣ Сервис ntfy.sh. Про него многие упоминали в последнее время. Я про него писал и тестировал. Настраивается он очень просто и быстро. В заметке есть примеры. Можно установить на смартфон родное приложение и получать туда пуши. Код серверной части открыт, можно развернуть у себя и заменить в скриптах отправку с telegram на ntfy. Там принцип отправки такой же - через curl.
3️⃣ Сервис Gotify. Это практически полный аналог предыдущего сервиса. Я тоже про него писал. Не знаю, кто из них лучше и популярнее. Например, Proxmox поддерживает gotify из коробки в своих настройках уведомлений. Я в равной степени в различных приложениях видел поддержку как ntfy, так и gotify.
4️⃣ Сервис Apprise. Он отличается от предыдущих двух, так как является сам по себе шлюзом для отправки в другие каналы доставки, в качестве которых могут выступать тот же ntfy, gotify, telegram, whatsapp, rocket.chat, irc и многие другие. О нём тоже писал заметку. Это тоже self-hosted сервис с открытым кодом.
Внедрив себе такой сервис, можно раз и навсегда решить вопрос с каналами доставки уведомлений. И если один из них будет недоступен, то можно быстро без перенастройки систем мониторинга, поменять его на другой.
Иронично, что в комментариях ко всем трём представленным сервисам люди писали, что они не нужны, потому что есть Telegram. И только изредка некоторые люди напоминали, что Telegram - внешний сервис, который может быть недоступен или заблокирован. Так в итоге и произошло.
5️⃣ Настроить уведомления в VK Workspace или MAX. Для обоих мессенджеров на прошлой неделе мне добрые люди предлагали готовое решение, так как они уже успели его реализовать. Мне лично без надобности пока, так что я не вникал, но задача не особо сложная и при желании решаемая.
Лично я пока склоняюсь к внедрению у себя ntfy или gotify. Мне видится это наиболее простым и удобным способом. Главное, чтобы пуши в смартфоне работали. Без них особого смысла во всём этом не вижу, так как традиционный email и так неплохо решает поставленную задачу. При желании, можно установить обычный клиент или Delta Chat и настроить уведомления в нём. Но на смартфоне не хочется постоянно держать в фоне запущенный клиент с регулярными проверками ящиков.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#мониторинг
Буквально в эту пятницу вечером у меня перестают отправляться уведомления в Telegram от Gatus и от Zabbix. При этом уведомления отправляются через разные VPS, расположенные у разных хостеров. Честно говоря, вообще нет желания со всем этим разбираться. Нормальной работы с Telegram в ближайшее время не предвидится, так что лично я считаю, что уведомления от мониторинга лучше перенести на другие каналы доставки.
У меня в последнее время часто спрашивали и тут в личке, и в комментариях на сайте, и в комментариях к заметкам, как починить доставку через Telegram, на что заменить, как настроить уведомления в MAX и т.д. Решил сделать небольшую подборку альтернатив. Сам пока ещё думаю, куда перевести критичные уведомления.
Таких ботов много, я не проверял, какие из них сейчас работают. Сразу предупрежу, что подобные боты получают полный доступ к ящику, так как вы им передаёте логин с паролем. Используйте отдельные ящики, пересылая туда нужные уведомления.
Это самый простой и быстрый способ настроить уведомления в Telegram, если вы решительно настроены использовать именно его.
Внедрив себе такой сервис, можно раз и навсегда решить вопрос с каналами доставки уведомлений. И если один из них будет недоступен, то можно быстро без перенастройки систем мониторинга, поменять его на другой.
Иронично, что в комментариях ко всем трём представленным сервисам люди писали, что они не нужны, потому что есть Telegram. И только изредка некоторые люди напоминали, что Telegram - внешний сервис, который может быть недоступен или заблокирован. Так в итоге и произошло.
Лично я пока склоняюсь к внедрению у себя ntfy или gotify. Мне видится это наиболее простым и удобным способом. Главное, чтобы пуши в смартфоне работали. Без них особого смысла во всём этом не вижу, так как традиционный email и так неплохо решает поставленную задачу. При желании, можно установить обычный клиент или Delta Chat и настроить уведомления в нём. Но на смартфоне не хочется постоянно держать в фоне запущенный клиент с регулярными проверками ящиков.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#мониторинг
Please open Telegram to view this post
VIEW IN TELEGRAM
👍111👎17
Я наконец-то дописал статью про сбор и хранение логов в Loki:
⇨ Настройка Grafana Loki для сбора логов
Написал в формате, как делал раньше - достаточно бездумного копипаста, чтобы всё получилось. То есть если вам не хочется вникать, то можно этого не делать. Просто копируете то, что я предлагаю, и всё получится. Я постарался зафиксировать все нюансы, ничего не пропуская.
В статье рассказано, как развернуть Loki и отправить туда:
◽️Системные логи Linux и Windows
◽️Логи Docker контейнеров
◽️Логи веб сервера Nginx или Angie
◽️Логи сетевых устройств
То есть дана база для внедрения системы в разнородной инфраструктуре, чтобы собрать вообще все логи в одном месте. База не в плане внедрения, а в плане обзора возможностей и технических нюансов работы непосредственно с Loki. Автоматизацию этого процесса нужно будет делать самостоятельно по месту.
Помимо сбора логов я показал на примере веб сервера, как делать свои дашборды, и как выборочно удалять данные из хранилища.
Весь текст написан и проверен полностью мной. ИИ привлекал только для изучения и подготовки своих конфигураций. Я сам изучал продукт с нуля, поэтому старался разобраться с основными моментами. Вообще все материалы, которые я пишу, я делаю сам от и до. После ИИ всё перепроверяю и дополняю.
В целом, система мне понравилась. Много лет я собираю логи в ELK Stack. Он более функциональный, порог входа у него выше, и потребление ресурсов тоже заметно выше, чем у Loki. У них разный формат хранения и обработки данных, из-за этого сильно отличаются возможности по визуализации. Некоторые вещи по выборке и подготовке данных, которые сразу работают в ELK, в Loki в лоб не работают.
Например, нельзя просто взять и сформировать топ 10 IP адресов клиентов сайта, которые сделали больше всего запросов за сутки или неделю. Если в ELK я просто брал и делал это на дашборде, то Loki выдаёт ошибки на слишком большой объём данных, который нужно обработать для выполнения запросов. Там нужно это реализовывать по другому. Ну и других различий много: аутентификация, очистка данных, отказоустойчивость и многое другое в ELK более развито.
Если нужно что-то проще и легковеснее, чем Loki, то можно взять VictoriaLogs. Там всё проще и быстрее, чем в Loki. По крайней мере год назад так было, когда я тестировал этот продукт. Он активно развивается, так что в планах ещё раз его попробовать в таком же формате, как Loki, собрав туда разнородные логи со всех систем. Это если время найду на это. Особой нужды лично у меня в этом нет.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#loki #logs #статья
⇨ Настройка Grafana Loki для сбора логов
Написал в формате, как делал раньше - достаточно бездумного копипаста, чтобы всё получилось. То есть если вам не хочется вникать, то можно этого не делать. Просто копируете то, что я предлагаю, и всё получится. Я постарался зафиксировать все нюансы, ничего не пропуская.
В статье рассказано, как развернуть Loki и отправить туда:
◽️Системные логи Linux и Windows
◽️Логи Docker контейнеров
◽️Логи веб сервера Nginx или Angie
◽️Логи сетевых устройств
То есть дана база для внедрения системы в разнородной инфраструктуре, чтобы собрать вообще все логи в одном месте. База не в плане внедрения, а в плане обзора возможностей и технических нюансов работы непосредственно с Loki. Автоматизацию этого процесса нужно будет делать самостоятельно по месту.
Помимо сбора логов я показал на примере веб сервера, как делать свои дашборды, и как выборочно удалять данные из хранилища.
Весь текст написан и проверен полностью мной. ИИ привлекал только для изучения и подготовки своих конфигураций. Я сам изучал продукт с нуля, поэтому старался разобраться с основными моментами. Вообще все материалы, которые я пишу, я делаю сам от и до. После ИИ всё перепроверяю и дополняю.
В целом, система мне понравилась. Много лет я собираю логи в ELK Stack. Он более функциональный, порог входа у него выше, и потребление ресурсов тоже заметно выше, чем у Loki. У них разный формат хранения и обработки данных, из-за этого сильно отличаются возможности по визуализации. Некоторые вещи по выборке и подготовке данных, которые сразу работают в ELK, в Loki в лоб не работают.
Например, нельзя просто взять и сформировать топ 10 IP адресов клиентов сайта, которые сделали больше всего запросов за сутки или неделю. Если в ELK я просто брал и делал это на дашборде, то Loki выдаёт ошибки на слишком большой объём данных, который нужно обработать для выполнения запросов. Там нужно это реализовывать по другому. Ну и других различий много: аутентификация, очистка данных, отказоустойчивость и многое другое в ELK более развито.
Если нужно что-то проще и легковеснее, чем Loki, то можно взять VictoriaLogs. Там всё проще и быстрее, чем в Loki. По крайней мере год назад так было, когда я тестировал этот продукт. Он активно развивается, так что в планах ещё раз его попробовать в таком же формате, как Loki, собрав туда разнородные логи со всех систем. Это если время найду на это. Особой нужды лично у меня в этом нет.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#loki #logs #статья
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍154👎1
Сколько лет настраиваю веб сервера Nginx и только недавно случайно узнал, когда настраивал отправку логов в Loki, что веб сервер может одновременно писать логи в разных форматах. Просто в голову не приходило попробовать, что так можно.
Речь вот про что. Допустим, вы отправляете логи в какое-то хранилище. Туда удобнее отправлять формат json. Он удобен для машины, но не для восприятия человеком. Да, можно взять jq или что-то подобное для удобства, но это всё равно не то. Глазами удобнее всего смотреть на обычные текстовые логи.
Если хотите оставить себе возможность смотреть на логи глазами и грепать их, то можно сделать вот так. Показываю сразу пример конфигурации Angie/Nginx.
Разумеется, без особого основания так делать не надо, потому что нагрузка на запись от логирования возрастёт в 2 раза. Но если очень хочется, то можно. Будут писаться одновременно оба лога в разных форматах.
У меня, к примеру, куча башевских костылей написана под обычный формат логов. Иногда бывает нужно прямо на хосте что-то быстро сделать. Если нет обычных логов, мне неудобно. Конечно, тут можно возразить, что от этого надо избавляться и использовать другие подходы. Ну уж какие есть. Я не работаю с большими нагрузками. Для меня всё это некритично. Можно ручками сходить на сервер и что-то там проверить, сделать.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#logs #angie #nginx
Речь вот про что. Допустим, вы отправляете логи в какое-то хранилище. Туда удобнее отправлять формат json. Он удобен для машины, но не для восприятия человеком. Да, можно взять jq или что-то подобное для удобства, но это всё равно не то. Глазами удобнее всего смотреть на обычные текстовые логи.
Если хотите оставить себе возможность смотреть на логи глазами и грепать их, то можно сделать вот так. Показываю сразу пример конфигурации Angie/Nginx.
http {
...................
log_format main
'$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format json escape=json
'{'
'"time_local":"$time_local",'
'"remote_addr":"$remote_addr",'
'"remote_user":"$remote_user",'
'"request":"$request",'
'"status": "$status",'
'"body_bytes_sent":"$body_bytes_sent",'
'"request_time":"$request_time",'
'"http_referrer":"$http_referer",'
'"http_user_agent":"$http_user_agent"'
'}';
...................
access_log /var/log/angie/access.log main;
access_log /var/log/angie/access.json.log json;
...................
}Разумеется, без особого основания так делать не надо, потому что нагрузка на запись от логирования возрастёт в 2 раза. Но если очень хочется, то можно. Будут писаться одновременно оба лога в разных форматах.
У меня, к примеру, куча башевских костылей написана под обычный формат логов. Иногда бывает нужно прямо на хосте что-то быстро сделать. Если нет обычных логов, мне неудобно. Конечно, тут можно возразить, что от этого надо избавляться и использовать другие подходы. Ну уж какие есть. Я не работаю с большими нагрузками. Для меня всё это некритично. Можно ручками сходить на сервер и что-то там проверить, сделать.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#logs #angie #nginx
Please open Telegram to view this post
VIEW IN TELEGRAM
👍112👎4
К одной из заметок про Loki в комментариях поделились ссылкой на любопытный проект - MKTXP-Stack. Это готовое решение для мониторинга и сбора логов с устройств Mikrotik. Состоит из:
◽️Prometheus для хранения метрик
◽️Grafana для визуализации
◽️MKTXP - exporter для сбора метрик с Микротиков по API
◽️Loki для хранения логов
◽️Promtail и Syslog-NG для сбора логов
Всё это упаковано в docker compose и запускается за 5 минут. Всё, что нужно - заполнить конфигурационный файл с доступом к микротикам. Весь стек полностью настроен. Я его запустил и попробовал. Экспортер и визуализация к нему очень понравились. Сбор логов не особо, потому что, во-первых, используется Promtail, а он не очень хорошо парсит syslog от микротов. Какие там есть проблемы, писал в отдельной заметке про Alloy. У него такие же проблемы, как у Promtail. Для этой задачи лучше подходит Vector. Во-вторых, у меня в контейнере с Promtail периодически вылезали ошибки, и он переставал собирать логи. Помогал перезапуск. С ошибками разбираться не стал, Promtail всё равно уже deprecated, его надо менять.
А вот сам экспортер и дашборд к нему очень хороши. Если у вас уже есть свой стэк Prometheus + Grafana, можете взять отдельно экспортер и дашборд. В репозитории есть инструкция, там всё просто для тех, кто работает с Prometheus и знает его. Для тех, кто не знает, покажу, как всё это дело запустить и наслаждаться мониторингом микротиков без погружения в тему prometheus и grafana.
Берём любую машину с установленным Docker. Клонируем себе репозиторий и переходим в него:
Открываем файл конфигурации mktxp.conf в директории mktxp и добавляем свои устройства в файл:
И так далее. На всех устройствах добавляем отдельного пользователя для доступа mktxp. Ему достаточно прав read и api. Можете сделать через winbox или в консоли:
Используем эту учётку в mktxp.conf
Остальные параметры включайте на своё усмотрение. Там по названию понятен смысл, плюс, есть комментарии. Если на устройствах будут разные учётки, то пропишите их в разделе с устройством.
Больше ничего делать не надо. Можно запускать весь стек. Для этого переходим в директорию mktxp-stack и запускаем:
Переходим в веб интерфейс по IP адресу сервера на порт 3000, например http://192.168.137.29:3000. Попадёте сразу в веб интерфейс Grafana. Там уже всё настроено, аутентификация отключена. Вы сразу же увидите метрики со своих настроенных устройств. По крайней мере у меня сразу всё заработало. Ничего больше не делал.
Дашборд продуман и информативен. Я себе оставлю его. Не скажу, что сильно надо. Самому лень было настраивать. Но готовый можно взять. Там те же лизы от DHCP можно смотреть. Я иногда захожу через winbox поискать потерявшиеся хосты. Ну и просто статистику, загрузку интерфейсов, открытые соединения и топ хостов по ним посмотреть. На дашборде всё это нагляднее, чем в Winbox.
Как я уже сказал, аутентификация в Grafana отключена, по умолчанию почему-то установлена светлая тема. Мне привычнее тёмная. Поменять настройки grafana можно в основном compose файле - docker-compose-mktxp-stack.yml. Я вернул чёрный цвет:
Хорошее, добротное решение. Мне понравилось. Ниже много интересных картинок.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#mikrotik #prometheus
◽️Prometheus для хранения метрик
◽️Grafana для визуализации
◽️MKTXP - exporter для сбора метрик с Микротиков по API
◽️Loki для хранения логов
◽️Promtail и Syslog-NG для сбора логов
Всё это упаковано в docker compose и запускается за 5 минут. Всё, что нужно - заполнить конфигурационный файл с доступом к микротикам. Весь стек полностью настроен. Я его запустил и попробовал. Экспортер и визуализация к нему очень понравились. Сбор логов не особо, потому что, во-первых, используется Promtail, а он не очень хорошо парсит syslog от микротов. Какие там есть проблемы, писал в отдельной заметке про Alloy. У него такие же проблемы, как у Promtail. Для этой задачи лучше подходит Vector. Во-вторых, у меня в контейнере с Promtail периодически вылезали ошибки, и он переставал собирать логи. Помогал перезапуск. С ошибками разбираться не стал, Promtail всё равно уже deprecated, его надо менять.
А вот сам экспортер и дашборд к нему очень хороши. Если у вас уже есть свой стэк Prometheus + Grafana, можете взять отдельно экспортер и дашборд. В репозитории есть инструкция, там всё просто для тех, кто работает с Prometheus и знает его. Для тех, кто не знает, покажу, как всё это дело запустить и наслаждаться мониторингом микротиков без погружения в тему prometheus и grafana.
Берём любую машину с установленным Docker. Клонируем себе репозиторий и переходим в него:
# git clone https://github.com/akpw/mktxp-stack.git# cd mktxp-stackОткрываем файл конфигурации mktxp.conf в директории mktxp и добавляем свои устройства в файл:
[hAPax3-01] hostname = 192.168.137.1[hAPax3-02] hostname = 192.168.137.2[hAPax3-03] hostname = 192.168.137.3И так далее. На всех устройствах добавляем отдельного пользователя для доступа mktxp. Ему достаточно прав read и api. Можете сделать через winbox или в консоли:
/user group add name=mktxp_group policy=api,read/user add name=mktxp_user group=mktxp_group password=mktxp_user_passwordИспользуем эту учётку в mktxp.conf
[default]................. username = mktxp_user password = mktxp_user_password...................Остальные параметры включайте на своё усмотрение. Там по названию понятен смысл, плюс, есть комментарии. Если на устройствах будут разные учётки, то пропишите их в разделе с устройством.
Больше ничего делать не надо. Можно запускать весь стек. Для этого переходим в директорию mktxp-stack и запускаем:
# docker compose -f ./docker-compose-mktxp-stack.yml up -dПереходим в веб интерфейс по IP адресу сервера на порт 3000, например http://192.168.137.29:3000. Попадёте сразу в веб интерфейс Grafana. Там уже всё настроено, аутентификация отключена. Вы сразу же увидите метрики со своих настроенных устройств. По крайней мере у меня сразу всё заработало. Ничего больше не делал.
Дашборд продуман и информативен. Я себе оставлю его. Не скажу, что сильно надо. Самому лень было настраивать. Но готовый можно взять. Там те же лизы от DHCP можно смотреть. Я иногда захожу через winbox поискать потерявшиеся хосты. Ну и просто статистику, загрузку интерфейсов, открытые соединения и топ хостов по ним посмотреть. На дашборде всё это нагляднее, чем в Winbox.
Как я уже сказал, аутентификация в Grafana отключена, по умолчанию почему-то установлена светлая тема. Мне привычнее тёмная. Поменять настройки grafana можно в основном compose файле - docker-compose-mktxp-stack.yml. Я вернул чёрный цвет:
GF_USERS_DEFAULT_THEME: "dark"Хорошее, добротное решение. Мне понравилось. Ниже много интересных картинок.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#mikrotik #prometheus
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍101👎2
Я регулярно пользуюсь сервисом Virustotal. Все незнакомые файлы обязательно проверяю там. Обычно через веб интерфейс. Случайно узнал, что у этого сервиса есть бесплатный консольный клиент - VirusTotal CLI.
Для того, чтобы им пользоваться, нужно получить API ключ, а для этого пройти регистрацию. Особых проблем с этим нет, сервис поддерживает аутентификацию через тот же github. Зашёл через свою учётку там и сразу забрал API ключ из отдельного раздела API Key. Ограничение бесплатной версии - 500 проверок в день. Для единоличного использования хватит за глаза.
Дальше забираем бинарник под свою систему: Windows, Lunux, MacOS или FreeBSD. Я взял линуксовую версию, несмотря на то, что моя основная рабочая система - Windows. Использовать его буду в WSL. Разработчики советуют запускать vt-cli под виндой не в стандартном терминале, а хотя бы в cygwin из-за того, что в стандартном окружении Windows утилита будет подтупливать при выводе портянок текста. Если вам это некритично, то можно сразу в винду поставить:
Я в итоге поставил так:
Дальше хотел добавить встроенное автозаполнение для bash, но у меня ничего не получилось:
Кто догадается, почему эта команда не сработала с sudo? Я когда набирал, не подумал об этом, но как получил ошибку, сразу понял в чём дело. Тут есть один важный нюанс, из-за которого такая конструкция не работает. Пришлось сделать, как обычно 😁:
После этого регистрируем свой API Key:
Теперь можно в консоли делать различные проверки:
Файл загрузился и ему назначен ID. Нужно некоторое время, чтобы завершилась проверка. Обычно минута-две. Смотрим результат проверки по этому ID:
Вываливается портянка проверок. Большого смысла читать всё нет. Нас интересует только результат:
Таким же образом можно сайты и их IP адреса проверять:
Можно ограничить вывод, чтобы не читать всё:
Я погонял разные проверки. Сначала вроде воодушевился, что можно использовать CLI. Но на деле анализировать вывод глазами не очень удобно. В браузере привычнее. Возможно вам где-то это пригодится больше, чем мне. У кого какие привычки.
Это решение скорее для каких-то небольших своих проектов типа телеграм бота или скриптов автоматизации с проверками доменов или IP адресов, если их не очень много. Например, с помощью этой утилиты можно автоматически проверять свои IP адреса на предмет попадания в списки нежелательных адресов.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#security
Для того, чтобы им пользоваться, нужно получить API ключ, а для этого пройти регистрацию. Особых проблем с этим нет, сервис поддерживает аутентификацию через тот же github. Зашёл через свою учётку там и сразу забрал API ключ из отдельного раздела API Key. Ограничение бесплатной версии - 500 проверок в день. Для единоличного использования хватит за глаза.
Дальше забираем бинарник под свою систему: Windows, Lunux, MacOS или FreeBSD. Я взял линуксовую версию, несмотря на то, что моя основная рабочая система - Windows. Использовать его буду в WSL. Разработчики советуют запускать vt-cli под виндой не в стандартном терминале, а хотя бы в cygwin из-за того, что в стандартном окружении Windows утилита будет подтупливать при выводе портянок текста. Если вам это некритично, то можно сразу в винду поставить:
# winget install VirusTotal.vt-cliЯ в итоге поставил так:
$ wget https://github.com/VirusTotal/vt-cli/releases/download/1.3.0/Linux64.zip$ unzip Linux64.zip$ sudo mv vt /usr/local/binДальше хотел добавить встроенное автозаполнение для bash, но у меня ничего не получилось:
$ sudo vt completion bash > /etc/bash_completion.d/vtbash: /etc/bash_completion.d/vt: Permission deniedКто догадается, почему эта команда не сработала с sudo? Я когда набирал, не подумал об этом, но как получил ошибку, сразу понял в чём дело. Тут есть один важный нюанс, из-за которого такая конструкция не работает. Пришлось сделать, как обычно 😁:
$ sudo su# vt completion bash > /etc/bash_completion.d/vt# exitПосле этого регистрируем свой API Key:
$ vt initТеперь можно в консоли делать различные проверки:
$ vt scan file awscliv2.zipawscliv2.zip M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==Файл загрузился и ему назначен ID. Нужно некоторое время, чтобы завершилась проверка. Обычно минута-две. Смотрим результат проверки по этому ID:
$ vt analysis M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==Вываливается портянка проверок. Большого смысла читать всё нет. Нас интересует только результат:
$ vt analysis -i=stats M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==- stats: confirmed-timeout: 0 failure: 1 harmless: 0 malicious: 0 suspicious: 0 timeout: 11 type-unsupported: 8 undetected: 56Таким же образом можно сайты и их IP адреса проверять:
$ vt url https://serveradmin.ru$ vt url last_serving_ip_address https://serveradmin.ruМожно ограничить вывод, чтобы не читать всё:
$ vt -i=**.result url https://serveradmin.ru$ vt -i=**.result url last_serving_ip_address https://serveradmin.ruЯ погонял разные проверки. Сначала вроде воодушевился, что можно использовать CLI. Но на деле анализировать вывод глазами не очень удобно. В браузере привычнее. Возможно вам где-то это пригодится больше, чем мне. У кого какие привычки.
Это решение скорее для каких-то небольших своих проектов типа телеграм бота или скриптов автоматизации с проверками доменов или IP адресов, если их не очень много. Например, с помощью этой утилиты можно автоматически проверять свои IP адреса на предмет попадания в списки нежелательных адресов.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#security
Please open Telegram to view this post
VIEW IN TELEGRAM
👍111👎1
⇨ I Was Wrong About OpenClaw
Небольшое предостережение для тех, кто использует ИИ-агента OpenClaw. Компании Anthropic и Google начали банить тех, кто использует свои учётки с оплаченными месячными тарифами в OpenClaw. Подразумевается, что вы должны работать с ИИ через веб интерфейс в ручном режиме, а не круглосуточно через агентов.
⇨ OpenClaw | УСТАНОВКА и НАСТРОЙКА | ЛОКАЛЬНО НА НОУТБУКЕ | ШАГ за ШАГОМ
Установка и настройка ИИ OpenClaw на компьютер с Windows. Сам агент установлен в виртуалку с Ubuntu, но работа с ним ведётся на винде через Ollama и локальную модель. Автор показал пример с написанием простенькой игры через агента.
⇨ Как запустить Claude Code в России: GLM-5.1 без VPN и карты
Пошаговая инструкция настройки окружения для работы с Claude Code в России через посредника, который принимает оплату в рублях. Помимо подключения к ИИ, автор показывает поэтапно создание и работу с проектом на примере небольшой странички на python. Кстати, сам сервис из видео им же полностью написан с нуля клодом. Сразу поясню, кто не знает - работа по API с ИИ очень дорогая, тем более через посредника. Подходит только для тестов. Для постоянной работы нужен месячный тариф. Там токенов в разы больше за те же деньги, что съест API.
⇨ Учим OLLAM'у ВЕБ ПОИСКУ! Openwebui ollama web search
Интеграция веб поиска в олламу для работы локальных моделей. Это если у вас нет отдельного агента. Обычно поиск подключают к агентам.
⇨ SearXNG - Ваш Личный Анонимный Поисковик
Настройка своего локального поисковика на базе открытого SearXNG. Мне знаком этот движок. Я его в своё время тестировал и писал о нём. Его в то время банил Yandex, не было с ним интеграции, поэтому пользоваться им так и не стал. Сейчас автор показал, что Яндекс поддерживается.
⇨ Loki 3 + Vector + Grafana - тестовый стенд и рабочий helm-чарт
Настройка кластера Loki с хранением S3. Вариант для нагруженного продакшена.
⇨ Полезные советы по Zabbix: Запуск зависимостей
Наглядная демонстрация работы зависимостей триггеров в Zabbix. Это помогает избежать лишних уведомлений. Иногда это спасает от шквала сообщений, когда отвалится какой-то удалённый филиал. В идеале их надо бы всегда настраивать, но и я иногда ленюсь и получаю этот спам.
⇨ I Built a Real 3-2-1 Backup System
Автор рассказал, как он бэкапит свои 30TB данных: TrueNas, ZFS, б.у. диски и так далее. Его, кстати, тоже удивляют цены на диски. Так что это не только у нас они заоблачные. Год назад покупал себе диск на 3ТБ, сейчас он в 2 раза дороже.
⇨ Программное обеспечение с открытым исходным кодом, которое я буду использовать и в 2026 году — Часть 2
Первая часть была в прошлой подборке, в этой - вторая. Автор рассказывает про открытое ПО, которое использует: OpenWRT, Technitium, RustDesk и другие.
⇨ Виртуалки, Docker или LXC - что выбрать для твоей HOMELAB?
Автор подробно и наглядно разобрал тему с хорошей визуализацией. Интересно будет тем, кто до конца не понимает разницу.
#видео
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
OpenClaw Установка и Настройка | Запуск AI Локально на Ноутбуке за 15 минут
🎮 AI создаст игру и задеплоит её сам — смотри как!
В этом видео: установка OpenClaw локально, настройка с Ollama, локальные LLM модели, создание web-игры и автоматический деплой на сервер. Полный гайд шаг за шагом.
00:00 - Начало
00:11 - Как Установить…
В этом видео: установка OpenClaw локально, настройка с Ollama, локальные LLM модели, создание web-игры и автоматический деплой на сервер. Полный гайд шаг за шагом.
00:00 - Начало
00:11 - Как Установить…
👍58👎1
Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уровне вопросов в окно чата, а чуть поглубже. Начать решил с локальных моделей, так как они всегда под рукой, бесплатны, нет ограничений доступа, а технически взаимодействие с ними такое же, как и с большими платными моделями. Разница лишь в качестве ответов. Для обучения это некритично.
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍205👎3
В продолжение утренней темы, так как по длине туда всё не влезло. Хочу кратенько ещё одну тему затронуть, которая сейчас только набирает популярность - безопасная работа с ИИ. Пока не погружаешься в эту тему, до конца не понимаешь, какие конкретно есть опасности.
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
1👍77👎2