ServerAdmin.ru
32.2K subscribers
1.11K photos
63 videos
29 files
3.14K links
Авторская информация о системном администрировании.

Информация о рекламе: @srv_admin_reklama_bot
Автор: @zeroxzed

Второй канал: @srv_admin_live
Сайт: serveradmin.ru

Ресурс включён в перечень Роскомнадзора
Download Telegram
Покажу один из примеров, где локальные модели вполне могут справляться с поставленными задачами. Есть открытый проект Vane, в прошлом назывался Perplexica. Как можно понять из названия, это копия функциональности Perplexity. Автор переименовался, потому что хочет развивать продукт в другом ключе, а не делать клон популярного сервиса.

Vane работает на базе открытого поисковика SearxNG. Он собирает поисковую выдачу, передаёт результат в ИИ, который формирует ответ. Всё это работает локально и управляется вами. В чём преимущество и удобство Vane? Тут три основных момента.

1️⃣ Вы управляете через настройки SearxNG поисковой выдачей. Можете выбирать поисковую систему, или несколько систем, с которых будет браться выдача.

2️⃣ Вы сами выбираете модель, которая будет формировать выдачу. Это могут быть как платные внешние модели, типа OpenAI, Gemini, Groq, Anthropic, так и локальные, запущенные через Ollama или LM Studio.

3️⃣ Все результаты хранятся у вас локально. Нет риска быть забаненными и потерять все диалоги.

Я погонял этот движок на базе локальных моделей через LM Studio. Настройка очень простая. У меня всё сразу получилось. При использовании моделей Openai/gpt-oss-20B, Qwen3.6-35B-A3B, Qwen3-Coder-30B-A3B ответ готовится 1-3 минуты, что вполне терпимо. И при этом он нормального качества. Если брать модели попроще, то качество ответов мне не понравилось.

Рассказываю, как всё это настроить у себя. Запускаем Vane на любой виртуальной машине. Много ресурсов не надо, 4vCPU и 4GB памяти хватает за глаза. Может и меньше - это стандартный размер моей тестовой виртуалки.

# docker run -d -p 3000:3000 -v vane-data:/home/vane/data --name vane itzcrazykns1337/vane:latest

Vane запустится сразу с настроенным SearxNG, где по умолчанию настроен поисковик Google. Для постоянного использования SearxNG лучше установить и настроить отдельно, чтобы можно было управлять выдачей. Это нетрудно сделать. Для тестов хватит и гугла.

Качаем и устанавливаем LM Studio. Там простой установщик, сложностей никаких нет. Запускаем LM Studio, идём в раздел Model Search, там где робот с лупой нарисован. Ставим максимально возможную для вас модель. Проще всего начать с Qwen или GPT-OSS. Они для этих задач хорошо подходят.

Идём в раздел Local Server, загружаем скачанную модель. Контекст выставляем примерно 20 000. Мне его всегда хватало. Если меньше, то иногда поисковик ругался, что не хватает контекста. После загрузки модели включаем ползунок Status: Stopped, чтобы он стал Status: Running. В свойствах сервера активируйте параметр Serve on Local Network, чтобы он стал доступен по сети, а не только локально.

Открываем в браузере виртуалку с Vane на порту 3000. Он запущен без аутентификации, сразу можно работать. Идём в настройки, нажимаем Add Connection, выбираем Connection Type - LM Studio и указываем адрес машины с запущенной ИИ, порт по умолчанию 1234. У меня адрес LM Studio - http://192.168.137.200:1234/.

Заходим в добавленное подключение, выбираем Chat Model - openai/gpt-oss-20b, Embedding Model - all-MiniLM-L6-v2. Я не знаю, чем они принципиально отличаются. С этой мне больше всего понравилась скорость и результаты.

На этом всё. Открываем новый чат и вводим запрос. Работает примерно так же, как бесплатная Perplexity, только тут вы управляете и поисковиком, и моделью. Можете подключить нормальную коммерческую, результат будет отличный, и при этом всё хранится и управляется вами.

Понравилось, что он умеет ходить на заданные сайты и готовить выжимку из новостей, или конкретной статьи. Не пишет, как Qwen, что я не умею ходить по ссылкам. Важно, чтобы сайт его не распознал, как работа и не заблокировал парсинг. Какие-то блокируют, какие-то нет.

Из багов заметил, что иногда падал контейнер с Vane, когда использовал разные embedding модели, в том числе запущенные в LM Studio. Со стандартной all-MiniLM-L6-v2 проблем не было.

Получается вполне себе функциональное и прикладное решение.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍117👎1
В Proxmox уже больше года, начиная с версии 8.4, существует полезная функциональность в виде VirtioFS. Про эту платформу виртуализации последнее время много пишут и снимают роликов, но ни у кого не видел упоминания этой возможности. А она удобная и часто упрощает некоторые задачи.

С помощью VirtioFS можно в рамках одного гипервизора всем виртуальным машинам подключать общую папку для совместной работы, которая располагается на гипервизоре. Основное удобство тут в том, что всё это работает только локально в пределах гипервизора, вообще не использует сетевой стек, и не требует особой настройки. Просто добавляешь эту общую папку в виртуальные машины и там подключаешь. Не нужно следить за доступом по сети, за аутентификацией и т.д. Права доступа поддерживаются только линуксовые, в том числе расширенные атрибуты ACL.

VirtioFS поддерживается и в Linux, и в Windows. В линуксе есть поддержка на уровне ядра, так что вообще ничего дополнительно устанавливать и настраивать не надо. В винде драйвер входит в состав драйверов из набора virtio-win.iso, так что в любом случае будет установлен вместе с остальными. Дополнительно нужно будет установить небольшую службу winfsp, упакованную в .msi пакет. Настраивать её тоже не надо. Просто устанавливаешь, запускаешь и она автоматом монтирует диск, который подключен к VM как устройство virtiofs.

Покажу пару примеров, где это может быть полезно. Я не раз настраивал в рамках одного гипервизора сервер 1С на Linux и виндовый терминал, как для пользователей, так и служебные машины с виндой для администраторов 1С. Меня иногда просят сделать общую сетевую папку для винды и линукса, чтобы настраивать какие-то обмены. Не знаю, насколько это реально нужно именно в таком виде, но настраивал не раз, обычно на samba или ksmbd. Эту задачу проще всего решает как раз VirtioFS - одна общая папка для всех систем.

Общую папку можно монтировать всем виртуалкам для того, чтобы они туда складывали какие-то бэкапы или нужные общие данные (например, логи или санкционные пакеты). Они в итоге оказываются на гипервизоре, а уже оттуда их забирает какое-то внешнее хранилище. Удобно держать под рукой локальные бэкапы для быстрого восстановления в случае проблем. Общая директория упрощает настройку и управление. У всех вируталок она будет одинаково смонтирована с одинаковым же именем и путём. Опять же вообще не задействуется сетевой стек для перемещения данных внутри этого общего хранилища.

Настраивается всё это дело в разделе Datacenter ⇨ Directory Mappings. В качестве общей директории выбирается любая папка на гипервизоре. Можно отдельный диск под это выделить.

В Linux монтируеутся, как обычно:

# mount -t virtiofs VM_Share /mnt/VM_Share

В Windows, как я сказал, достаточно установить winfsp и запустить службу, которую она добавит. Служба автоматом создаст отдельный диск, подключенный как virtiofs, использовав его имя.

☝️ С подключенным устройством VirtioFS виртуальная машина не сможет автоматически мигрировать в кластере. Так что для кластеров с автобалансировкой это решение не подходит.

#proxmox
2👍181👎1
Правильное Питание для электрооборудования

Многие сталкивались с нестабильным электричеством, и все понимают, что это не шутки, а серьезная проблема. Случаются ситуации, когда при отсутствии нормального резервного питания происходит сбой в критически важных системах: от серверов до медаппаратов. Более того, сбой и отказ возможны, даже если свет не отключался — из-за скачков напряжения и помех. Именно поэтому так важно выбирать правильные источники бесперебойного питания.

Systeme Electric как раз для таких случаев выкатили первые в мире ПП-ИБП — бесперебойники, которые обеспечивают технику не просто надежным, но Правильным Питанием (ПэПэ). Электро-ЗОЖ как он есть.

Systeme Electric — это бывшее российское подразделение Schneider, производителя легендарных бесперебойников APC. «Шнайдер» ушел, но технологии, производство и команда лучших инженеров остались — под новым российским брендом.

Чем же примечательны ПП-ИБП с онлайн-топологией от Systeme Electric?

👉🏼 Тотальный онлайн-ЗОЖ — онлайн Защита от Отключений Железа.
👉🏼 Повышенная БЖУ — Бесперебойность Жизненно-важных Устройств. Тянут нагрузку в 150% от номинальной.
👉🏼 Настоящий суперфуд для оборудования — высочайший КПД 95%.
👉🏼 Самое полное ПП-меню — поддерживают все возможные интерфейсы и протоколы (EPO, SNMP, RS-485, RS-232, USB, RJ45/RJ11, EMBS).

И официальная гарантия от производителя — 3 года, это прямо рекорд. У тех же APC by Schneider было 2 года, у китайских аналогов в лучшем случае год, а на «серозавоз» гарантии вообще нет, оно и понятно.

Техподдержка у ПП-ИБП круглосуточная: днем — телефон, 24/7 — мессенджеры и чаты. Никаких ограничений и запретов — после 6 можно!

И заметим, никакого дешманского китайского электро-фастфуда, от которого техника «болеет».
Так что если готов подсадить свои устройства на ПэПэ — нужно делать. На здоровье оборудования не экономят!

Все подробности и технические характеристики — здесь.
👍34👎34
Вчера был на бесплатной конференции по машинному обучению и искусственному интеллекту от Селектел. Пока свежи воспоминания, поделюсь некоторыми мыслями на эту тему. Конфа была больше для руководителей и людей, принимающих решения. Было мало технических подробностей и много примеров внедрения в бизнесе для решения различных задач.

🔹Особенность ведения бизнеса в современных реалиях в РФ такова, что локальные нейросети, развёрнутые на своих или арендованных серверах - это повсеместная история. Доступ к технологическим мировым лидерам ограничен как технически (блокировки, санкции), так законодательно (персональные данные, трансграничная передача). Особых проблем в этом нет, так как многие задачи успешно решаются условно небольшими нейросетями, а сама технология ещё не оформилась в какую-то стабильную и понятную историю. Идут постоянные изменения, обновления, улучшения. Всё меняется очень быстро. Завязки на что-то одно крупное будут скорее вредить, чем помогать.

💡У меня в голове по этому проводу возникла мысль, что сейчас очень хорошее время зайти специалистом в эту область знаний. Я не про себя сейчас, а вообще. Технология развивается, всё постоянно меняется, устоявшихся практик и готовых специалистов нет или очень мало. Если вы ищите себя в IT и пока не знаете, на чём сфокусироваться, обратите внимание на ML и AI.

ML-инженеры уже давно сформировались, это не сказать, что что-то новое, а вот AI-инженеры, которые занимаются построением инфраструктуры для использования нейросетей, сейчас будут очень востребованы. Вокруг нейросети нужно построить масштабную и нагруженную технологическую платформу, чтобы всё это успешно работало. Она сейчас включает в себя как минимум сам движок LLM, RAG, векторную БД, MCP Server, агенты, LLM прокси для роутинга запросов. Наверняка появится какая-то платформа для управления всем этим. Сейчас каждый свою пишет так, как ему кажется удобнее.

🔹Вопреки расхожему мнению, что небольшие локальные модели на те же 30B не могут конкурировать с огромными облачными, это не так. Для многих локальных задач небольших моделей достаточно. Наиболее популярные модели от qwen, gemma, gpt-oss, minimax.

🔹Некоторые примеры решения задач с помощью ИИ:
◽️Рекрутёр обзвонщик разговаривает с кандидатами, ищет подходящих, передаёт дальше.
◽️Текстовая и голосовая работа операторов с базой знаний, которая постоянно обновляется. Популярная задача, актуальная почти для всех компаний.
◽️Изменение стоимости доставки в интернет-магазине в зависимости от нагрузки сервиса, чтобы снижать при нехватке водителей поток клиентов повышением цены.
◽️У банков иишки уже много лет решают кучу задач: предсказания по кредитам, выплатам, внутренняя база знаний, поддержка клиентов, антифрод, работа с документами и т.д.

Понравилась история с примером AI агента, который помогает операторам банка отвечать клиентам почему им не начислили тот или иной кэшбек. Банки настолько усложнили схему с кэшбеками, что без AI не разобраться. Я по этой причине вообще не пользуюсь никакими кэшбеками принципиально. Не хочу забивать себе этим голову.

🔹Несколько практических моментов, которые для себя вынес:
- MiniMax и OpenCode - ai ассистент в терминале и ide.
- LiteLLM Proxy - проксирование запросов в разные LLM.
- Модели нормально крутятся в Kubernetes.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍70👎8
Сейчас существует масса сервисов для видеозвонков, как платных, так и бесплатных. Такое разнообразие стало возможно с приходом технологии WebRTC. Практически каждый желающий может собрать себе свой сервис для онлайн бесед. Про один из таких я и расскажу. Много видел про него упоминаний, но сам не тестировал. Речь пойдёт про MiroTalk SFU. По возможностям, да и внешнему виду он очень похож на Яндекс Телемост

MiroTalk SFU полностью бесплатен, код открыт, можно развернуть у себя. Уже после того, как всё протестировал, заметил, что название как-будто знакомо, но сам продукт увидел впервые. Интерфейс знаком не был. Навёл справки и понял, что 3 года назад я писал про MiroTalk P2P. Это схожий продукт от того же автора, но совершенно другой архитектурно.

🔹MiroTalk P2P - mesh-архитектура, каждый участник подключается напрямую к другому участнику, для связи между участниками используются STUN или TURN сервер, который только устанавливает соединение, но не пропускает через себя медиапотоки. Для больших онлайн встреч такой формат не подходит, так как число видеопотоков от каждого клиента будет равно числу участников, минус ты сам. А вот двум людям поговорить с минимальной задержкой будет самое то.

🔹MiroTalk SFU - централизованная архитектура, все участники отправляют свой поток на сервер, который перенаправляет их остальным. Соответственно, на сервере можно выполнять обработку потоков, выравнивать битрейт.

Автор свои продукты продаёт за очень скромные деньги в интернете. По сути просто упаковывает в один архив сам продукт, документацию и даёт на какое-то время свою техподдержку. Я внимательно посмотрел, но так и не понял, чем отличается платная версия за 100$ от бесплатной, кроме техподдержки.

Я развернул у себя MiroTalk SFU и потестировал его. Работает нормально, завелось сразу. Те, кто пользовался Яндекс Телемостом представляют, как это выглядит.

Установка:

# git clone https://github.com/miroslavpejic85/mirotalksfu.git
# cd mirotalksfu
# cp app/src/config.template.js app/src/config.js
# cp .env.template .env
# cp docker-compose.template.yml docker-compose.yml
# docker-compose up -d

Из важных настроек в .env - имя домена в SERVER_HOST_URL. И очень желательно заранее получить для него валидные TLS сертификаты. Современные браузеры очень не любят работать по HTTP или HTTPS без доверенного сертификата, особенно с доступом к камере и микрофону.

Интерфейс MiroTalk полностью адаптивный. На смартфон не надо ставить никаких приложений. Заходим сразу браузером в комнату по ссылке и всё работает.

Каждый участник конференции может её записывать. Это отключается в настройках. Можно разрешить записывать конференцию только организатору. Сам интерфейс сервера по умолчанию полностью открыт, аутентификации нет, каждый желающий может создать конференцию. А вот саму конференцию можно закрыть паролем. Можно ограничить доступ к серверу списками IP, включить аутентификацию по OpenID Connect или насоздавать пользователей вручную в формате username:password:displayName:allowedRooms.

В MiroTalk SFU есть API для управления комнатами и готовая интеграция для этого с Slack, Mattermost и Discord. Также есть интеграция с ChatGPT, DeepSeek и сервисом Video AI. Указано, что возможно преобразование голоса в текст. Как на практике это работает, не знаю, не проверял. В конференции ИИшки выглядят как обычные участники, с которыми можно общаться.

Всю работу можно проверить на сайте - sfu.mirotalk.com. Мне в целом понравился продукт. Простой, добротный, сразу всё заработало. Каких-то особых возможностей нет, разве что встроенная интеграция с ИИ. На картинках ниже я зашёл в комнату с двух устройств - смартфон и компьютер, и расшарил с компьютера экран. Хорошее решение для простых видеоконференций, завязанных полностью на свою инфраструктуру с возможностью автоматической записи всех встреч.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#видеоконференции
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍134👎3
Вы совершаете эту ошибку, если закупаете сервер и серверные комплектующие "по старинке".

Наши инженеры разобрали реальные кейсы и показали,
где именно сейчас теряются деньги в серверных проектах — ПРОЧИТАТЬ РАЗБОР

Реклама. ООО "ИТЕЛОН". ИНН 7701527528. erid: 2W5zFHJ5c7B
👎25👍7
Лёгкая пятничная тема, любимая многими - Mikrotik. Я не особо слежу за любыми новостями, поэтому не знал, что у Микротика появилась новая модель - hAP be³ Media, пока не получил рассылку от них на почту с красивой PDF. Я мельком глянул на устройство, мне очень зашло. Если бы покупал себе сейчас основной роутер, то взял бы его.

▪️5 x 2.5G Ethernet
▪️Quad-core GHz ARM CPU, 2 GB RAM
▪️2x2 MIMO Wi-Fi 7, частоты 2.4, 5, 6 GHz.
▪️microSD card slot
▪️USB-C + 2xUSB-A, Bluetooth 5.4.

Гикам для дома или для небольшого офиса прям самое то. Есть всё, что нужно для этого на базе современных технологий: Wi-Fi 7 и 2.5G все лановские порты. Не знаю, конечно, как там на практике Wi-Fi работает, но лично я никогда особых проблем с ним не испытывал. У меня и сейчас в доме трудится hAP ax³. В этом плане у меня к нему претензий нет, покрывает весь деревянный дом в 2 этажа.

Помимо основных возможностей ROS7, тут ещё куча USB портов, SD карта, что позволяет собрать небольшой NAS или медиасервер для телеков. Всё это ещё в удобном компактном корпусе, где можно убрать заглушку и подключить USB модем и он не будет торчать в сторону от роутера. Для меня это всегда было актуально, так как в качестве резерва всё время держал USB модем с безлимитным тарифом от Yota. Только в этом году не стал продлевать. Вместо прошлых 6535 в год, сейчас просят 11760. С учётом почти безлимитных интернетов на смартфонах, где копятся сотни гигабайт, посчитал, что за удобство модема нет большого смысла переплачивать. За последний год он мне только пару раз нужен был, потому что в основном работаю из дома. Бесплатно можно со марта раздать интернет.

Стоит эта моделька, конечно, прилично - $179, если сравнивать её с другими роутерами в этом сегменте. У нас, думаю, в районе 20 000 р. будет. Дороже, чем мой hAP ax³ в момент его покупки. Для тех, кому нужен просто роутер в дом, переплачивать за него смысла нет. Микротики для тех, кто умеет их настраивать и использует расширенные возможности. Я не сказать, что прям сильно много чего использую, но где ещё без проблем можно настроить несколько разных VPN каналов и раскидать маршруты по ним, в зависимости от разных признаков, я не знаю.

Да и просто привык к ним уже за последние лет 15. Я начал пользоваться Микротиками, когда они только набирали популярность, и ещё не было толком статей по настройке. Я поэтому стал писать свои, которые, конечно, по первости были кривые, но даже в таком виде получили огромную популярность, потому что лучше просто не было. Я сам мучался с настройками, потом как мог рассказывал это доступным языком. Повторяя за мной можно было получить работающее решение. Например, настроить Capsman, который настроить без посторонней помощи, не съев пуд соли, было затруднительно.

Потом уже, когда они стали более популярны, появились курсы, тренеры, всё это стало оттачиваться, а статьи мои как были так и остались. Получал кучу негатива за то, что где-то что-то неправильно или неоптимально настроено, как-будто я какой-то сертифицированный тренер или специалист по этим железкам. Я просто делал свои заметки на своём сайте без претензии на что-то профессиональное, а они ушли в народ. Сейчас, конечно, всё это надо обновить и актуализировать, но зачем? Нет желания учить за свой счёт нейросети. Они заменяют информационные сайты. Где только в будущем они учиться будут, не совсем понятно. Я пока подожду 😁 По идее, кого-то нанимать нужно будет для их обучения.

Это я уже что-то в сторону ушёл. Как вам новая железка? Станет народной, как когда-то RB951G или слишком дорога для этой роли?

#mikrotik
👍101👎8