А так сегодня буду пытаться запускать разные популярные нейросетевые модели на старой серверной двухпроцессорной HPшке, посмотрим как оно заведется в целом, не зря же она валялась на складе, так что отпишу ещё как оно поедет

Итак, начнем небольшие заметки по развёртке небольшой #нейросети


Что имеем:
Сервер HP с такими спеками:
- Intel Xeon E5-2420 x2 - суммарно имеем 16 ядер, 32 потока

- Померший в стародавние времена raid-контроллер

- 4 разрозненных диска, 3 по 500 ГБ, 1 на 2ТБ.

Задача:

Развернуть ollama + openwebui, запихнуть туда qwen 4b и с молитвами оптимизировать это добро под работу без GPU.


Удаче мне

Штош, дебютный доклад на большу толпу вывез с честью, получилось очень круто, огромное количество эмоций, особенно когда ощущается отклик. Возможно, и в следующий раз почитаю какой нибудь доклад.

Забавный мем в том, что при смене управляющего начальства в конторе, где я работаю, начался сущий пиздец.

Я из ведущего айти спеца превратился в техписа. Ненавижу бумажки и все, что с ними связано((

Приход нового ГД в мой ойти отдел ощущался примерно так:

А это у меня сервак по приколу отрубил себе сетевуху и при попытке ее починить сегментировал файловую систему и ушел в глубокий отвал

При прочистке в турбинах нашел прогоревшую в масле пыль. Стоит, наверное, задуматься..

#рабочие_ебудни

Ну и мем вам на ночь

Немного о ИИ

Заметил довольно интересную тенденцию: если раньше я уверенно хейтил людей, которые используют нейронки в работе, то сейчас я полностью изменился - они мне нравятся, они умнеют и упрощают жизнь.

Так уж вышло, что в текущую контору я пришел после масштабного сокращения штата, от 15 человек осталось 4, три из которых на удаленных площадках работают по 4 часа в день, просто поддерживая рабочими ПК сотрудников. Я пришел шестым, сразу на должность старшего сисадмина, что у нас в конторе одновременно техлид, замначальника и некромант(оживление умирающего парка серверного железа без бюджета). Рук и времени не хватало, как и знаний, а доставать их было не просто нужно здесь и сейчас, а вот уже вчера.

Так пришел к использованию нейросетей. Манус, оригинальный гпт и остальные любители забанить ру пользователей были отметены сразу, политика конторы не позволяла нормально с такими взаимодействовать. Поэтому использую DeepSeek и Qwen.

Если коротко, то задачи нужно ставить как пятилетним гениям с огромным пластом знаний, но абсолютно нулевым iq. И знаете.. да, можно реально работать за пятерых. Часто я использую их как базу знаний под свой конкретный запрос, чем прошу починить все и сразу за меня.

И как умная база знаний, которая худо бедно может дойти до того, что тебе нужно в данный момент - это шикарно. Безусловно, иногда нужно перепроверять, но часто ответы вполне живые и валидные.


Однако, остаётся некоторый минус, на который нельзя закрыть глаза - вы не учитесь. Часто, в пылу очередной запары нужно просто пробежать глазами, соткать какой то кривой вывод и все починить, но это крайне линейно и совершенно не откладывается в памяти.

Вот и получается формула: если вам нужно здесь и сейчас, все вокруг горит, а вы не знаете как пользоваться огнетушителем и как он работает - шедеврально, они вас спасут. Но, если есть время просто сесть и разобраться - лучше так и поступить, мозги кашеварить бодрее будут.

Честно, фанатею по таким рабочим местам, а так как я теперь человек вольный и стол присутствует, как будто пришла пора заняться красивым рабочим местом дома

Привет паписчики!

Чёт на днях начал тестить Source Craft, платформу ака гитхаб, только православное отечественное!

Ощущения искренне смешанные..

Калька ли гитхаба? Да, однозначно, но на мой скромный взгляд, есть ряд дизайнерских переработок, в виде блоков управления проектом слева. По началу замудренно, но достаточно понятно.

Интеграция в PyCharm прошла всрато. Я могу стянуть у себя проект по PAT ключу, но вот если вы после зайдёте в предприятие.... Шансоо почти нет...

Ненавижу блять старые принтеры

Товарищи айтишники, кто меня читает:
Я знаю, что иногда, когда ты разворачиваешь или строишь какую то непонятную лабуду, которую трогать не хочется, вспомни о том, что после вас придут другие айтишники и если вы сделаете на отъебись, вас будут проклинать до 7 колена, переделывая все с 0.

Спасибо за внимание

Чёт устал я работать в конторе, где каждый день из за херового железа и крайне хуевого наследия прошлого, чёт важное отваливается.

Хочется сменить работу

картинка как мой муд на неделю работы с кодом

Мужики, вы бы знали как я кайфую с разработки голосового бота для конторской телефонии.

За счёт кеширования и квантизации я только на i5-12400 без ГПУ добился генерации 30 секундной фразы за 21 секунду (в начале было 46)

Правда мои заигрывания с квантизацией меня в могилу сведут(или рабочий ПК)