Мой батя ебашит адовые опенсорсы, ну вот рецепт примерно усреднённый, потому что вариаций масса. Берется ллм, она не квантизуется, квантизация - это не про моего батю. Он берет эту ллм, вываливает ее на гит и начинает шитпостить в твиттере. Добавляет в него огромное количество скринов, постов, репостов, смехуечков и жирных МЕМОВ! для вязкости, дает два интервью сверху. Все это хайпится до дыма. Потом снимается с гита и остужается на бенчмарках. Потом батя заносит и щедро полив рагом начинает инферить. При этом инферит прям с хагинфейс со скоростью 3 токена в секунду. Инферит и приговаривает полушепотом ух бля. При этом у него на лбу аж веса выступают. Любезно мне иногда предлагает, но я отказываюсь. Надо ли говорить о том какой дичайший пердеж потом в твитторе? Вонища такая, что апишки от соседних серверов отваливаются.
👍4
Заметил что я ток читаю статейки на тему DL и NLP, но на практике дальше RAG не выбираюсь.
Поэтому решил попробовать обучить мелкую модельку переводчика что бы локально переводить англоязычные датасеты да и прост потому что это прикольно.
Ссылка на модель - тут.
Готовая обертка что бы быстро потыкать качество перевода тут.
Поэтому решил попробовать обучить мелкую модельку переводчика что бы локально переводить англоязычные датасеты да и прост потому что это прикольно.
Ссылка на модель - тут.
Готовая обертка что бы быстро потыкать качество перевода тут.
🔥6🍓1🎄1