Короткие команды для серьезных задач 📌
Вместе с Романом Шубиным, CTO и автором канала Bash Days, собрали для вас новую подборку консольных команд. Они помогут проверить работу серверов, проанализировать логи и оценить потребление ресурсов.
Пропустили предыдущие шпаргалки? Заглядывайте в первую, вторую и третью части.
Ставьте ❤️, если подборка уже в избранном.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15❤13
Один из способов упростить работу и упорядочить хаос в консоли — разделить окно терминала на панели и автоматизировать сессии.
Выручит с этим утилита tmux. В карточках рассказали, как ее установить и запустить первые команды. Больше про бессрочные сессии и автоматизацию рассказали в статье
Проходите прямо сейчас
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🤩5🔥3
Развернуть Qwen в своем контуре проще, чем кажется ▶️
Локальный запуск дает больше контроля над моделью и данными. Запросы остаются внутри вашей инфраструктуры, а LLM можно дообучать без оплаты за токены и зависимости от стороннего API.
Как выглядит такое развертывание на практике, показываем в новой инструкции Академии Selectel, где пошагово разбираем локальный запуск Qwen. На ПК используем Ollama, а для серверного сценария — vLLM в Docker. Затем настраиваем доступ к API извне и переводим его на HTTPS через Caddy. Завершаем проверкой работы модели и доступа к ней.
Сохраняйте материал и разворачивайте Qwen под свои задачи➡️
Локальный запуск дает больше контроля над моделью и данными. Запросы остаются внутри вашей инфраструктуры, а LLM можно дообучать без оплаты за токены и зависимости от стороннего API.
Как выглядит такое развертывание на практике, показываем в новой инструкции Академии Selectel, где пошагово разбираем локальный запуск Qwen. На ПК используем Ollama, а для серверного сценария — vLLM в Docker. Затем настраиваем доступ к API извне и переводим его на HTTPS через Caddy. Завершаем проверкой работы модели и доступа к ней.
Сохраняйте материал и разворачивайте Qwen под свои задачи
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12❤11❤🔥3🤣3
Продолжаем рассказывать о локальном развертывании LLM ⚙️
На что вы в первую очередь смотрите при выборе модели и GPU-конфигурации? 👀
🦖 — объем видеопамяти
👏 — стоимость GPU
💯 — скорость инференса
❤️ — качество решения задачи
На что вы в первую очередь смотрите при выборе модели и GPU-конфигурации? 👀
👏 — стоимость GPU
💯 — скорость инференса
❤️ — качество решения задачи
Please open Telegram to view this post
VIEW IN TELEGRAM
Снижаем требования LLM к видеопамяти без потери качества 👉
Представим, что для задач бизнеса лучше всего подходит модель на 70 млрд параметров. Но запуск такой модели в исходной точности требует сразу нескольких GPU и заметно увеличивает стоимость инфраструктуры.
🦖 Сократить требования к ресурсам помогает квантование — представление весов модели с меньшей разрядностью. Оно уменьшает необходимый объем видеопамяти и позволяет запустить LLM на более доступной GPU-конфигурации. При этом степень сжатия и влияние на качество зависят от выбранного формата представления модели.
В карточках сравниваем основные форматы моделей по объему VRAM и сценариям использования. Сохраняйте и сверяйтесь при расчете ресурсов⤵️
Хотите внедрить ИИ в рабочие процессы? Регистрируйтесь на бесплатный курс «Искусственный интеллект для бизнеса» от Академии Selectel➡️
Представим, что для задач бизнеса лучше всего подходит модель на 70 млрд параметров. Но запуск такой модели в исходной точности требует сразу нескольких GPU и заметно увеличивает стоимость инфраструктуры.
В карточках сравниваем основные форматы моделей по объему VRAM и сценариям использования. Сохраняйте и сверяйтесь при расчете ресурсов
Хотите внедрить ИИ в рабочие процессы? Регистрируйтесь на бесплатный курс «Искусственный интеллект для бизнеса» от Академии Selectel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥13🔥6🥰5❤3