Тестируем Pixtral12B и LLaMA 3.2 11B на народных Tesla P100 и P40

Привет Хабр! С вами снова ServerFlow, и мы начинаем наш новый цикл статей о проектах связанных с GPU. В начале цикла мы хотим заняться непривычной для нас темой – нейросетями, а именно большими языковыми моделями LLM. В сентябре-октябре, судя по новостям вышел особенно богатый урожай мультимодальных нейросетей в открытом доступе, в этом посте будем смотреть на Pixtral 12B и LLaMA 32 11B, а запускать их будем на двух народных и легко доступных на БУ-рынке карточках для работы с нейросетями – Nvidia Tesla P100 и P40.

Читать далее

#serverflow #машинное_обучение #нейросети #python #компьютерное_железо #nvidia #linux #llama #mistral #pixtral | @habr_ai

Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл?

Привет Хабр, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от NVLink для развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.

Читать далее

#serverflow #машинное_обучение #искуственный_интеллект #ии #серверное_администрирование #nvidia #a5000 #видеокарты #llama #nvlink | @habr_ai