Настройка Linux для обучения моделей с GPU

Настройка ПК с Linux для обучения моделей на GPU. В статье приводятся ссылки на скрипты, написанные для упрощения процесса настройки ПК с GPU на Linux для обучения моделей машинного обучения. Скрипты и настройка разбита на три ключевых этапа: настройка удалённого доступа с помощью ssh/vnc/rdp, установка драйверов Nvidia и CUDA для работы с GPU, а также конфигурация инструментов разработки, таких как Docker и Jupyter. Скрипты могут помочь с решением вопросов с установкой или послужить основой для улучшений/изменений чтобы быстро подготовить домашнюю лабораторию к работе. Читать далее

#linux #машинное_обучение* #нейросети #python #nvidia #gpu | @habr_ai

Linux, LogSpace, ML: как SIEM обретал новую технологичность

Помните, когда-то мы раскрыли неочевидную связь между гастритом… и системой выявления инцидентов? За это время MaxPatrol SIEM обновился 17 раз (не считая хотфиксов), перешагнул отметку в 650 инсталляций, включая географически распределенные, и приобрел множество новых фич. Я, Иван Прохоров, отвечаю за развитие этой SIEM-системы. Вместе с коллегой Романом Сергеевым, который трудится над архитектурой MaxPatrol SIEM и не только, мы решили, что пора — пора писать новую главу о разработке продукта.

Как удалось создать по-настоящему экспертную SIEM-систему и сделать ее более отзывчивой для аналитиков, заместить общедоступные технологии собственными (снизив при этом hardware footprint), сколько было подходов к снаряду и что получилось воплотить вопреки обстоятельствам — узнаете под катом.

Как изменился MaxPatrol SIEM?

#cybersecurity #siem #maxpatrol #development #linux #logspace #windows #net #разработка #postgresql | @habr_ai

Тестируем Pixtral12B и LLaMA 3.2 11B на народных Tesla P100 и P40

Привет Хабр! С вами снова ServerFlow, и мы начинаем наш новый цикл статей о проектах связанных с GPU. В начале цикла мы хотим заняться непривычной для нас темой – нейросетями, а именно большими языковыми моделями LLM. В сентябре-октябре, судя по новостям вышел особенно богатый урожай мультимодальных нейросетей в открытом доступе, в этом посте будем смотреть на Pixtral 12B и LLaMA 32 11B, а запускать их будем на двух народных и легко доступных на БУ-рынке карточках для работы с нейросетями – Nvidia Tesla P100 и P40.

Читать далее

#serverflow #машинное_обучение #нейросети #python #компьютерное_железо #nvidia #linux #llama #mistral #pixtral | @habr_ai

cgroups и namespaces в Linux: как это работает?

Привет, Хабр! Сегодня рассмотрим изоляции процессов и управления ресурсами в Linux, изучив возможности cgroups и namespaces. Разберёмся, как работают контейнеры изнутри и научимся создавать собственное изолированное окружение без Docker.

Читать далее

#otus #linux | @habr_ai

Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»

Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что количество угроз никуда не делось, а, напротив, даже увеличилось, и задача отрасли стала еще более трудоемкой. В этот раз поговорим, о том, как рынок выходит из сложившегося положения, какие новые технологии уже работают в кибербезе и дружат ли с ними разработчики, а какие планируется внедрить.  

Читать далее

#разработка #новые_технологии #импортозамещение #ml #devsecops #ai #linux #llm #yandex_cloud #docker | @habr_ai

AI, FreeRTOS и Linux в кармане: возможности LicheeRV Nano

В этой статье речь пойдет о разработке под отладочную плату LicheeRV Nano - компактное устройство размером с две пятирублевые монеты, но обладающее впечатляющими возможностями.

Плата способна одновременно запускать Linux и FreeRTOS, выполнять инференс нейронных сетей (будет разобран запуск YOLO в 100 FPS и LLama2.c) благодаря встоенному NPU с производительностью 1 TOPS, а также управлять периферийными устройствами: GPIO, I2C, UART, SPI, CSI камерой, Wi-Fi, Bluetooth и Ethernet.

Это первая часть статьи, представляющая собой методическое руководство по работе с платой. Во второй части будет рассмотрена разработка полноценного проекта на её основе.

Читать далее

#c_ #linux #электроника #программирование #npu #yolo #yolov8 #робототехника #llm #opencv | @habr_ai

[Перевод] Объяснение графических процессоров для тех, кто привык работать с ЦП

За годы работы я подробно изучил, как центральные процессоры (CPU) выполняют код и как они устроены внутри. Дело в том, что я участвовал в разработке ядра Linux и ScyllaDB, а этот код очень близок к металлу. Я даже немного баловался с Verilog, безрезультатно попытавшись собрать моё собственное ядро RISC-V.

Графические процессоры (GPU) в отличие от обычных в основном оставались для меня чёрным ящиком, несмотря на то, что поработать с ними всё-таки довелось. Помню, что экспериментировал с NVIDIA RIVA 128 или чем-то подобным, проверяя, как там работает DirectX. Тогда такие процессоры ещё не выделялись на фоне ускорителей 3D-графики. Я также пытался идти в ногу со временем и немного упражнялся в программировании элементарных шейдеров на современных GPU. Но я никогда глубоко не вдавался в работу с GPU, и мои взгляды можно назвать CPU-центричными.

Однако, поскольку сегодня наблюдается всплеск рабочих нагрузок, связанных с ИИ, и, в частности, приходится работать с большими языковыми моделями (БЯМ), графические процессоры становятся незаменимыми для современных вычислений. К задачам, решаемым с применением ИИ, относятся масштабные прикладные тензорные операции, в том числе — сложение и перемножение матриц. А это уже работа для GPU. Но как современный GPU выполняет их, и насколько при этом возрастает эффективность по сравнению с выполнением таких же рабочих нагрузок на CPU? Читать далее

#timeweb_статьи_перевод #gpu #linux #scylladb #nvidia #cpu #процессор #искусственный_интеллект #cuda #simd | @habr_ai

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов. Читать далее

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidia_smi #container #linux | @habr_ai

Новости кибербезопасности за неделю с 26 мая по 1 июня 2025

Всё самое интересное из мира кибербезопасности /** с моими комментариями.

На этой неделе новости про: раскрытие секретной сети ЦРУ; как с помощью ИИ нашли 0-day в ядре linux; ценовое исследование darkweb; про тюремные сроки для дропперов и другие только самые важные и интересные новости этой недели. Читать далее

#информационная_безопасность #новости #хакеры #альфа_банк #дропперы #wordpress #linux #cve #darknet #f6 | @habr_ai

Новости кибербезопасности за неделю с 9 по 15 июня 2025

Всё самое интересное из мира кибербезопасности /** с моими комментариями.

На этой неделе Дуров дал второе интервью Такеру Карлсону, ChatGPT взломал SecureBoot, Linux Foundation переизобрели дистрибьюцию плагинов для WordPress и другие только самые важные и интересные новости из мира информационной безопасности. Читать далее

#информационная_безопасность #дуров #wordpress #linux #chatgpt #secureboot #f6 #kaspersky #cve #cwe | @habr_ai

Новости кибербезопасности за неделю с 21 по 27 июля 2025

Всё самое интересное из мира кибербезопасности /** с моими комментариями.

На этой неделе новости про милый вредонос для Linux, Америка рассказала о своих стратегических планах в ИИ, Британия запретила платить хакерам, Google занялась безопасностью open source и другие только самые важные и интересные новости из мира информационной безопасности. Читать далее

#информационная_безопасность #linux #open_source #wordpress #майнинг #искусственный_интеллект #google #вымогатели #кибербезопасность #кибератаки | @habr_ai

Новости кибербезопасности за неделю с 25 по 31 августа 2025

Всё самое интересное из мира кибербезопасности /** с моими комментариями.

На этой неделе новости про новый вектор атаки на Linux, как web-камера может начать шпионить за вами (и это не классическое подсматривание по видео), про кризис концепции open source и почему централизация - это плохо, про законы, которые начинают действовать завтра, ну и другие только самые важные и интересные новости из мира информационной безопасности. Читать далее

#информационная_безопасность #linux #rar #badcam #fast_glob #opensourse #nx #законодательство #promtlock #искусственный_интеллект | @habr_ai

Строим лабораторию по исследованию ВПО

Хабр, всем привет! Когда инфраструктура созрела до состояния персика и уже пора расширять классический SOC или вам всегда было интересно, как работает ВПО, то пора переходить к Threat Intelligence! Сегодня мы соберем свою лабу по исследованию вирусни/инструментов и процедур(PoC) в виртуальной среде для Linux-платформ.

Материал пригодиться, для понимания работы ВПО, написания митигации и детекции против них, а так же поиска паттернов в вашей инфраструктуре! На выходе мы получим список из артефактов, которые сможем использовать в работе. Читать далее

#linux #вирусы #песочница #sandbox #ebpf #seccomp #podman #виртуализация #tcpdump #iptables | @habr_ai