Локальная нейросеть на обычном сервере: какую выбрать и что по бабкам

Как обсуждали на стриме и на видосе, локальную модель удобно использовать для простых операций, например, для верификации карточек товаров на маркетплейсах или агрегации документов клиентов.

Чтобы подключить LLM в свой проект, не обязательно тратить 20к на самый нищий GPU сервер, будет достаточно обычного, уже оплаченного где хостится ваш сервис.

Меня уже много раз спрашивали, какие модели я использую у себя - все достаточно банально, Qwen. В инструкции разобрала, какую конфигурацию стоит выбрать и сколько она будет стоить в случае аренды тачки в Selectel.

Также добавила в PaymentService из Продакшен кейса логику обращения к модельке. Можно посмотреть и подебажить здесь

Мне как разработчику хочется двигаться вперёд и работать с нейронкой не только как пользователь. Подбор модели и её обучение под задачи в Полиморфере помогли вернуть прежний энтузиазм в работу с кодом. К тому же такой опыт - отличное достижение, которое сильно выделяет резюме на фоне остальных кандидатов 💵

По комментариям поняла, что в видео не хватило практики по внедрению AI в реальный проект.

Накидайте клубничек - и постараюсь на неделе записать разбор, как мы в Полиморфере работаем с модельками 🍓

Почему ты не можешь найти работу в IT? Разбираю кейс подписчика

Ко мне обратился Максим - разработчик с семилетним опытом. Казалось бы, настоящий сеньор, весь опыт по ТК! Вряд ли у него должны быть проблемы с работой.

Но почему то найти новую работу ему трудно, а на текущей постоянно получает негативный фидбек от руководства - замечания о невнимательности, медленном выполнении задач и некрасивом коде.

В воскресенье в 16:00 МСК посмотрим резюме Макса и выясним, почему у него мало приглашений на интервью. А также пройдёмся по техничке и разберём, где Макс действительно косячит, а где до него докапывается руководство.

🔔Залетай на стрим: https://www.youtube.com/live/nbJ1x7tUCXo

В эфире ✨🖤

Инструмент или Волшебный джин🧞‍♂️

Отсматривая записи собеседований, я заметила закономерность. Кандидаты, которые не до конца понимают, как реализован функционал, рассказывают об инструментах как о чём-то живом, что ОНО всё делает само.

✨Шедулер переносит данные, шедулер следит, чтобы всё работало✨

Помимо того, что меня бесит отношение к инструментам как к магическим существам, я чувствую себя в этот момент аборигеном, поглощённым карго-культом🥹

Это обходится боком при прохождении интервью, ведь проблемы с ответами начинают возникать на самых банальных вопросах:

Как конкретно шедулер записи берет, с помощью какого запроса, что происходит в это время с другими обработчиками?

Понимаю, что порой бывает лень разбираться досконально в том, как реализовано то, что описано в резюме.

Но эта лень ставит в очень неловкое положение вас: сходу можно сделать вывод, что всё, что есть в CV, невалидно, и проводить дальше интервью мало смысла…

Пожалуйста, не делайте так😭