Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уровне вопросов в окно чата, а чуть поглубже. Начать решил с локальных моделей, так как они всегда под рукой, бесплатны, нет ограничений доступа, а технически взаимодействие с ними такое же, как и с большими платными моделями. Разница лишь в качестве ответов. Для обучения это некритично.
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст:
▪️AMD Ryzen 5 5600
▪️32 ГБ Памяти
▪️RTX 5060 8 ГБ
Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал.
Работал с Ollama и LM Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. LM Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а LM Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные.
У LM Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. LM Studio делает примерно то же самое у себя.
У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например:
- Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду;
- Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15;
- Gemma-4-31B-it-Q4_K_M только 1.
Для первоначального знакомства ориентироваться стоит на популярные модели:
◽️Qwen
◽️Llama
◽️Gemma
◽️GigaChat
◽️Mistral
Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно.
Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей:
🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач.
🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно.
🔹Работа с моими текущими задачами, документами, календарём.
🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д.
Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними:
- Google MCP Servers
- NeuralDeep MCP (много российских интеграций)
- Official MCP Registry
- MCPmarket
Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно.
Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍205👎3
В продолжение утренней темы, так как по длине туда всё не влезло. Хочу кратенько ещё одну тему затронуть, которая сейчас только набирает популярность - безопасная работа с ИИ. Пока не погружаешься в эту тему, до конца не понимаешь, какие конкретно есть опасности.
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
Например, в LM Studio появились плагины. Я когда про них читал, погрузился в эту тему. Они пишутся на JavaScript, в перспективе будет Python, и закодить там можно всё, что угодно. Помимо того, что в коде самих плагинов может что-то быть, но это проверяется относительно просто, они могут ходить по сайтам и собирать информацию. В этих сайтах могут быть запрятаны инструкции что-то сделать, что вам не понравится. Например, проверить какие-то локальные файлы, к которым есть доступ, найти там какие-нибудь токены от платных сервисов и отправить их куда-то во вне веб запросом. Или что-то более простое - гонять модельку по редиректам, устраивая кому-то ддос, или просто отправить её сканировать localhost или твою локальную сеть.
Ещё один вполне реальный пример. Вам присылают документ, который вы автоматом отправляете в ИИ на анализ. В документе есть инструкция - добавить ссылку на вредоносный сайт или заменить существующую. Может быть и посложнее - проверить локальный RAG на предмет каких-то паролей, токенов или другой приватной информации, и перейти по адресу aiserver.com/?info=password. Обычным GET запросом агент выдаст найденный пароль. А серия таких запросов может вообще какую угодно текстовую информацию выдать.
Чем плотнее ИИ-агенты будут интегрироваться в наши процессы, а мне видится это неизбежным уже в самом ближайшем будущем, тем больше у них будет доступов и возможностей. И тут впору появиться какому-то специализированному ИИ-антивирусу, который будет защищать от таких проблем. А пока их нет, вся защита на пользователях.
Публичные сервисы от всего этого защищены, а вот локальная защита - ваша ответственность. Самое очевидно - использовать самодельные песочницы. В простом случае - отдельные виртуалки и гонять информацию между ними без участия ИИ-агентов. И уж точно не запускать агентов с доступом ко всей информации или всему компьютеру. Сколько уже историй видел в инете, когда агенты грохали пользовательские файлы или всю систему.
#ai #security
1👍77👎2
Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами. Есть открытый проект Vane, в прошлом назывался Perplexica. Как можно понять из названия, это копия функциональности Perplexity. Автор переименовался, потому что хочет развивать продукт в другом ключе, а не делать клон популярного сервиса.
Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.
1️⃣ Вы управляете через настройки SearxNG поисковой выдачей. Можете выбирать поисковую систему, или несколько систем, с которых будет браться выдача.
2️⃣ Вы сами выбираете модель, которая будет формировать выдачу. Это могут быть как платные внешние модели, типа OpenAI, Gemini, Groq, Anthropic, так и локальные, запущенные через Ollama или LM Studio.
3️⃣ Все результаты хранятся у вас локально. Нет риска быть забаненными и потерять все диалоги.
Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.
Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.
Vane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.
Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.
Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.
Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.
Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.
На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.
Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.
Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.
Получается вполне себе функциональное и прикладное решение.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.
Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.
Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.
# docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latestVane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.
Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.
Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.
Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.
Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.
На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.
Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.
Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.
Получается вполне себе функциональное и прикладное решение.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍117👎1
В Proxmox уже больше года, начиная с версии 8.4, существует полезная функциональность в виде VirtioFS. Про эту платформу виртуализации последнее время много пишут и снимают роликов, но ни у кого не видел упоминания этой возможности. А она удобная и часто упрощает некоторые задачи.
С помощью VirtioFS можно в рамках одного гипервизора всем виртуальным машинам подключать общую папку для совместной работы, которая располагается на гипервизоре. Основное удобство тут в том, что всё это работает только локально в пределах гипервизора, вообще не использует сетевой стек, и не требует особой настройки. Просто добавляешь эту общую папку в виртуальные машины и там подключаешь. Не нужно следить за доступом по сети, за аутентификацией и т.д. Права доступа поддерживаются только линуксовые, в том числе расширенные атрибуты ACL.
VirtioFS поддерживается и в Linux, и в Windows. В линуксе есть поддержка на уровне ядра, так что вообще ничего дополнительно устанавливать и настраивать не надо. В винде драйвер входит в состав драйверов из набора virtio-win.iso, так что в любом случае будет установлен вместе с остальными. Дополнительно нужно будет установить небольшую службу winfsp, упакованную в .msi пакет. Настраивать её тоже не надо. Просто устанавливаешь, запускаешь и она автоматом монтирует диск, который подключен к VM как устройство virtiofs.
Покажу пару примеров, где это может быть полезно. Я не раз настраивал в рамках одного гипервизора сервер 1С на Linux и виндовый терминал, как для пользователей, так и служебные машины с виндой для администраторов 1С. Меня иногда просят сделать общую сетевую папку для винды и линукса, чтобы настраивать какие-то обмены. Не знаю, насколько это реально нужно именно в таком виде, но настраивал не раз, обычно на samba или ksmbd. Эту задачу проще всего решает как раз VirtioFS - одна общая папка для всех систем.
Общую папку можно монтировать всем виртуалкам для того, чтобы они туда складывали какие-то бэкапы или нужные общие данные (например, логи или санкционные пакеты). Они в итоге оказываются на гипервизоре, а уже оттуда их забирает какое-то внешнее хранилище. Удобно держать под рукой локальные бэкапы для быстрого восстановления в случае проблем. Общая директория упрощает настройку и управление. У всех вируталок она будет одинаково смонтирована с одинаковым же именем и путём. Опять же вообще не задействуется сетевой стек для перемещения данных внутри этого общего хранилища.
Настраивается всё это дело в разделе Datacenter ⇨ Directory Mappings. В качестве общей директории выбирается любая папка на гипервизоре. Можно отдельный диск под это выделить.
В Linux монтируеутся, как обычно:
В Windows, как я сказал, достаточно установить winfsp и запустить службу, которую она добавит. Служба автоматом создаст отдельный диск, подключенный как virtiofs, использовав его имя.
☝️ С подключенным устройством VirtioFS виртуальная машина не сможет автоматически мигрировать в кластере. Так что для кластеров с автобалансировкой это решение не подходит.
#proxmox
С помощью VirtioFS можно в рамках одного гипервизора всем виртуальным машинам подключать общую папку для совместной работы, которая располагается на гипервизоре. Основное удобство тут в том, что всё это работает только локально в пределах гипервизора, вообще не использует сетевой стек, и не требует особой настройки. Просто добавляешь эту общую папку в виртуальные машины и там подключаешь. Не нужно следить за доступом по сети, за аутентификацией и т.д. Права доступа поддерживаются только линуксовые, в том числе расширенные атрибуты ACL.
VirtioFS поддерживается и в Linux, и в Windows. В линуксе есть поддержка на уровне ядра, так что вообще ничего дополнительно устанавливать и настраивать не надо. В винде драйвер входит в состав драйверов из набора virtio-win.iso, так что в любом случае будет установлен вместе с остальными. Дополнительно нужно будет установить небольшую службу winfsp, упакованную в .msi пакет. Настраивать её тоже не надо. Просто устанавливаешь, запускаешь и она автоматом монтирует диск, который подключен к VM как устройство virtiofs.
Покажу пару примеров, где это может быть полезно. Я не раз настраивал в рамках одного гипервизора сервер 1С на Linux и виндовый терминал, как для пользователей, так и служебные машины с виндой для администраторов 1С. Меня иногда просят сделать общую сетевую папку для винды и линукса, чтобы настраивать какие-то обмены. Не знаю, насколько это реально нужно именно в таком виде, но настраивал не раз, обычно на samba или ksmbd. Эту задачу проще всего решает как раз VirtioFS - одна общая папка для всех систем.
Общую папку можно монтировать всем виртуалкам для того, чтобы они туда складывали какие-то бэкапы или нужные общие данные (например, логи или санкционные пакеты). Они в итоге оказываются на гипервизоре, а уже оттуда их забирает какое-то внешнее хранилище. Удобно держать под рукой локальные бэкапы для быстрого восстановления в случае проблем. Общая директория упрощает настройку и управление. У всех вируталок она будет одинаково смонтирована с одинаковым же именем и путём. Опять же вообще не задействуется сетевой стек для перемещения данных внутри этого общего хранилища.
Настраивается всё это дело в разделе Datacenter ⇨ Directory Mappings. В качестве общей директории выбирается любая папка на гипервизоре. Можно отдельный диск под это выделить.
В Linux монтируеутся, как обычно:
# mount -t virtiofs VM_Share /mnt/VM_ShareВ Windows, как я сказал, достаточно установить winfsp и запустить службу, которую она добавит. Служба автоматом создаст отдельный диск, подключенный как virtiofs, использовав его имя.
☝️ С подключенным устройством VirtioFS виртуальная машина не сможет автоматически мигрировать в кластере. Так что для кластеров с автобалансировкой это решение не подходит.
#proxmox
2👍181👎1
Правильное Питание для электрооборудования
Многие сталкивались с нестабильным электричеством, и все понимают, что это не шутки, а серьезная проблема. Случаются ситуации, когда при отсутствии нормального резервного питания происходит сбой в критически важных системах: от серверов до медаппаратов. Более того, сбой и отказ возможны, даже если свет не отключался — из-за скачков напряжения и помех. Именно поэтому так важно выбирать правильные источники бесперебойного питания.
Systeme Electric как раз для таких случаев выкатили первые в мире ПП-ИБП — бесперебойники, которые обеспечивают технику не просто надежным, но Правильным Питанием (ПэПэ). Электро-ЗОЖ как он есть.
Systeme Electric — это бывшее российское подразделение Schneider, производителя легендарных бесперебойников APC. «Шнайдер» ушел, но технологии, производство и команда лучших инженеров остались — под новым российским брендом.
Чем же примечательны ПП-ИБП с онлайн-топологией от Systeme Electric?
👉🏼 Тотальный онлайн-ЗОЖ — онлайн Защита от Отключений Железа.
👉🏼 Повышенная БЖУ — Бесперебойность Жизненно-важных Устройств. Тянут нагрузку в 150% от номинальной.
👉🏼 Настоящий суперфуд для оборудования — высочайший КПД 95%.
👉🏼 Самое полное ПП-меню — поддерживают все возможные интерфейсы и протоколы (EPO, SNMP, RS-485, RS-232, USB, RJ45/RJ11, EMBS).
И официальная гарантия от производителя — 3 года, это прямо рекорд. У тех же APC by Schneider было 2 года, у китайских аналогов в лучшем случае год, а на «серозавоз» гарантии вообще нет, оно и понятно.
Техподдержка у ПП-ИБП круглосуточная: днем — телефон, 24/7 — мессенджеры и чаты. Никаких ограничений и запретов — после 6 можно!
И заметим, никакого дешманского китайского электро-фастфуда, от которого техника «болеет».
Так что если готов подсадить свои устройства на ПэПэ — нужно делать. На здоровье оборудования не экономят!
Все подробности и технические характеристики — здесь.
Многие сталкивались с нестабильным электричеством, и все понимают, что это не шутки, а серьезная проблема. Случаются ситуации, когда при отсутствии нормального резервного питания происходит сбой в критически важных системах: от серверов до медаппаратов. Более того, сбой и отказ возможны, даже если свет не отключался — из-за скачков напряжения и помех. Именно поэтому так важно выбирать правильные источники бесперебойного питания.
Systeme Electric как раз для таких случаев выкатили первые в мире ПП-ИБП — бесперебойники, которые обеспечивают технику не просто надежным, но Правильным Питанием (ПэПэ). Электро-ЗОЖ как он есть.
Systeme Electric — это бывшее российское подразделение Schneider, производителя легендарных бесперебойников APC. «Шнайдер» ушел, но технологии, производство и команда лучших инженеров остались — под новым российским брендом.
Чем же примечательны ПП-ИБП с онлайн-топологией от Systeme Electric?
👉🏼 Тотальный онлайн-ЗОЖ — онлайн Защита от Отключений Железа.
👉🏼 Повышенная БЖУ — Бесперебойность Жизненно-важных Устройств. Тянут нагрузку в 150% от номинальной.
👉🏼 Настоящий суперфуд для оборудования — высочайший КПД 95%.
👉🏼 Самое полное ПП-меню — поддерживают все возможные интерфейсы и протоколы (EPO, SNMP, RS-485, RS-232, USB, RJ45/RJ11, EMBS).
И официальная гарантия от производителя — 3 года, это прямо рекорд. У тех же APC by Schneider было 2 года, у китайских аналогов в лучшем случае год, а на «серозавоз» гарантии вообще нет, оно и понятно.
Техподдержка у ПП-ИБП круглосуточная: днем — телефон, 24/7 — мессенджеры и чаты. Никаких ограничений и запретов — после 6 можно!
И заметим, никакого дешманского китайского электро-фастфуда, от которого техника «болеет».
Так что если готов подсадить свои устройства на ПэПэ — нужно делать. На здоровье оборудования не экономят!
Все подробности и технические характеристики — здесь.
👍34👎34
Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел. Пока свежи воспоминания, поделюсь некоторыми мыслями на эту тему. Конфа была больше для руководителей и людей, принимающих решения. Было мало технических подробностей и много примеров внедрения в бизнесе для решения различных задач.
🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.
💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.
ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.
🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.
🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.
Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.
🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#ai
🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.
💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.
ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.
🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.
🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.
Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.
🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.
———
ServerAdmin:
#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70👎8
Сейчас существует масса сервисов для видеозвонков, как платных, так и бесплатных. Такое разнообразие стало возможно с приходом технологии WebRTC. Практически каждый желающий может собрать себе свой сервис для онлайн бесед. Про один из таких я и расскажу. Много видел про него упоминаний, но сам не тестировал. Речь пойдёт про MiroTalk SFU. По возможностям, да и внешнему виду он очень похож на Яндекс Телемост
MiroTalk SFU полностью бесплатен, код открыт, можно развернуть у себя. Уже после того, как всё протестировал, заметил, что название как-будто знакомо, но сам продукт увидел впервые. Интерфейс знаком не был. Навёл справки и понял, что 3 года назад я писал про MiroTalk P2P. Это схожий продукт от того же автора, но совершенно другой архитектурно.
🔹MiroTalk P2P - mesh-архитектура, каждый участник подключается напрямую к другому участнику, для связи между участниками используются STUN или TURN сервер, который только устанавливает соединение, но не пропускает через себя медиапотоки. Для больших онлайн встреч такой формат не подходит, так как число видеопотоков от каждого клиента будет равно числу участников, минус ты сам. А вот двум людям поговорить с минимальной задержкой будет самое то.
🔹MiroTalk SFU - централизованная архитектура, все участники отправляют свой поток на сервер, который перенаправляет их остальным. Соответственно, на сервере можно выполнять обработку потоков, выравнивать битрейт.
Автор свои продукты продаёт за очень скромные деньги в интернете. По сути просто упаковывает в один архив сам продукт, документацию и даёт на какое-то время свою техподдержку. Я внимательно посмотрел, но так и не понял, чем отличается платная версия за 100$ от бесплатной, кроме техподдержки.
Я развернул у себя MiroTalk SFU и потестировал его. Работает нормально, завелось сразу. Те, кто пользовался Яндекс Телемостом представляют, как это выглядит.
Установка:
Из важных настроек в .env - имя домена в SERVER_HOST_URL. И очень желательно заранее получить для него валидные TLS сертификаты. Современные браузеры очень не любят работать по HTTP или HTTPS без доверенного сертификата, особенно с доступом к камере и микрофону.
Интерфейс MiroTalk полностью адаптивный. На смартфон не надо ставить никаких приложений. Заходим сразу браузером в комнату по ссылке и всё работает.
Каждый участник конференции может её записывать. Это отключается в настройках. Можно разрешить записывать конференцию только организатору. Сам интерфейс сервера по умолчанию полностью открыт, аутентификации нет, каждый желающий может создать конференцию. А вот саму конференцию можно закрыть паролем. Можно ограничить доступ к серверу списками IP, включить аутентификацию по OpenID Connect или насоздавать пользователей вручную в формате
В MiroTalk SFU есть API для управления комнатами и готовая интеграция для этого с Slack, Mattermost и Discord. Также есть интеграция с ChatGPT, DeepSeek и сервисом Video AI. Указано, что возможно преобразование голоса в текст. Как на практике это работает, не знаю, не проверял. В конференции ИИшки выглядят как обычные участники, с которыми можно общаться.
Всю работу можно проверить на сайте - sfu.mirotalk.com. Мне в целом понравился продукт. Простой, добротный, сразу всё заработало. Каких-то особых возможностей нет, разве что встроенная интеграция с ИИ. На картинках ниже я зашёл в комнату с двух устройств - смартфон и компьютер, и расшарил с компьютера экран. Хорошее решение для простых видеоконференций, завязанных полностью на свою инфраструктуру с возможностью автоматической записи всех встреч.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:📱 Telegram | 🌐 Сайт | 📲 MAX 😩
#видеоконференции
MiroTalk SFU полностью бесплатен, код открыт, можно развернуть у себя. Уже после того, как всё протестировал, заметил, что название как-будто знакомо, но сам продукт увидел впервые. Интерфейс знаком не был. Навёл справки и понял, что 3 года назад я писал про MiroTalk P2P. Это схожий продукт от того же автора, но совершенно другой архитектурно.
🔹MiroTalk P2P - mesh-архитектура, каждый участник подключается напрямую к другому участнику, для связи между участниками используются STUN или TURN сервер, который только устанавливает соединение, но не пропускает через себя медиапотоки. Для больших онлайн встреч такой формат не подходит, так как число видеопотоков от каждого клиента будет равно числу участников, минус ты сам. А вот двум людям поговорить с минимальной задержкой будет самое то.
🔹MiroTalk SFU - централизованная архитектура, все участники отправляют свой поток на сервер, который перенаправляет их остальным. Соответственно, на сервере можно выполнять обработку потоков, выравнивать битрейт.
Автор свои продукты продаёт за очень скромные деньги в интернете. По сути просто упаковывает в один архив сам продукт, документацию и даёт на какое-то время свою техподдержку. Я внимательно посмотрел, но так и не понял, чем отличается платная версия за 100$ от бесплатной, кроме техподдержки.
Я развернул у себя MiroTalk SFU и потестировал его. Работает нормально, завелось сразу. Те, кто пользовался Яндекс Телемостом представляют, как это выглядит.
Установка:
# git clone https://github.com/miroslavpejic85/mirotalksfu.git# cd mirotalksfu# cp app/src/config.template.js app/src/config.js# cp .env.template .env# cp docker-compose.template.yml docker-compose.yml# docker-compose up -dИз важных настроек в .env - имя домена в SERVER_HOST_URL. И очень желательно заранее получить для него валидные TLS сертификаты. Современные браузеры очень не любят работать по HTTP или HTTPS без доверенного сертификата, особенно с доступом к камере и микрофону.
Интерфейс MiroTalk полностью адаптивный. На смартфон не надо ставить никаких приложений. Заходим сразу браузером в комнату по ссылке и всё работает.
Каждый участник конференции может её записывать. Это отключается в настройках. Можно разрешить записывать конференцию только организатору. Сам интерфейс сервера по умолчанию полностью открыт, аутентификации нет, каждый желающий может создать конференцию. А вот саму конференцию можно закрыть паролем. Можно ограничить доступ к серверу списками IP, включить аутентификацию по OpenID Connect или насоздавать пользователей вручную в формате
username:password:displayName:allowedRooms.В MiroTalk SFU есть API для управления комнатами и готовая интеграция для этого с Slack, Mattermost и Discord. Также есть интеграция с ChatGPT, DeepSeek и сервисом Video AI. Указано, что возможно преобразование голоса в текст. Как на практике это работает, не знаю, не проверял. В конференции ИИшки выглядят как обычные участники, с которыми можно общаться.
Всю работу можно проверить на сайте - sfu.mirotalk.com. Мне в целом понравился продукт. Простой, добротный, сразу всё заработало. Каких-то особых возможностей нет, разве что встроенная интеграция с ИИ. На картинках ниже я зашёл в комнату с двух устройств - смартфон и компьютер, и расшарил с компьютера экран. Хорошее решение для простых видеоконференций, завязанных полностью на свою инфраструктуру с возможностью автоматической записи всех встреч.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
———
ServerAdmin:
#видеоконференции
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍134👎3