Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
YouTube
AQLM.rs demo
You can try this demo at https://galqiwi.github.io/aqlm-rs/about.html
00:00 Loading
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
00:00 Loading
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
🔥39👍6❤2
Galqiwi's boredom
Наконец-то закончил работу над большим пет-проектом. Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV. Можно потестить демо здесь видео
Увеличил на 9% скорость работы и уменьшил размер на те же 9%.
Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.
Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.
🔥13❤2
Galqiwi's boredom
Увеличил на 9% скорость работы и уменьшил размер на те же 9%. Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.
Скоро появятся маленькие модели, чтобы можно было даже на телефоне в браузере запустить.
Хотя даже сейчас можно на некоторых, люди на пикселе запускали, там много ram
Хотя даже сейчас можно на некоторых, люди на пикселе запускали, там много ram
👍7❤3
Если у вас есть свободное время, анонимно потыкать в модели на llmarena.ru -- хорошее дело. Чем больше людей сравнивают модели, тем точнее рейтинг
❤🔥5
Forwarded from Роман с данными
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
👍6❤1😁1
Galqiwi's boredom
Наконец-то закончил работу над большим пет-проектом. Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV. Можно потестить демо здесь видео
сник пик новой версии -- с меньшим потреблением памяти и большим выбором моделей
🔥17🤩2
Forwarded from еба́ные идеи для резерча
Исследователь из научного отдела «ebány labs» Юрий Шмилевский разработал bash скрипт, который позволяет запустить большую языковую модель с 8,1 млрд параметров «на обычном компьютере с графическим ускорителем А-СТО» через трубочку для поедания супа-пюре, рассказал сам Юрий Шмилевский
✍18🔥5🥴3👏1
Galqiwi's boredom
сник пик новой версии -- с меньшим потреблением памяти и большим выбором моделей
Обновил, теперь можно выбирать маленькие модели. Они намного быстрее скачиваются и генерируют текст
https://galqiwi.github.io/aqlm-rs/
https://galqiwi.github.io/aqlm-rs/
❤6🔥4👍2
Forwarded from Техножрица 👩💻👩🏫👩🔧
Понравилась эта цитата из поста выше:
Я сама временами задумываюсь о том, как же сильно многие люди любят пихать названия всевозможных нейромедиаторов во все возможные объяснения всех возможных видов поведения человека.
Захотел погладить котика? Это все от окситоцина. Понравился ролик в тик ток? Это все от дофамина. Нервничаешь перед дедлайном? Это все от кортизола.
Конечно, никто (или почти никто) из произносящих подобное на самом деле не читал научные статьи с экспериментами, которые бы доказывали подобные высказывания (Не удивлюсь, если таких статей и нет, так как все перечисленное звучит как гипер-упрощение, и причинно-следственные связи здесь явно нуждаются в дополнительном уточнении). А самое главное, никакого настоящего понимания того, по каким закономерностям работают все эти процессы и что с этим делать не-биологам типа меня названия этих веществ никак не добавляют.
Я не понимаю вот чего — то поведение, которое называют "быстрым дофамином", было известно всегда, и люди как-то обходились другими терминами. Но когда широкий круг общественности узнал, что такое дофамин, то почему-то возникла острая необходимость переименовать в его честь то, что им не является. Зачем?
Я сама временами задумываюсь о том, как же сильно многие люди любят пихать названия всевозможных нейромедиаторов во все возможные объяснения всех возможных видов поведения человека.
Захотел погладить котика? Это все от окситоцина. Понравился ролик в тик ток? Это все от дофамина. Нервничаешь перед дедлайном? Это все от кортизола.
Конечно, никто (или почти никто) из произносящих подобное на самом деле не читал научные статьи с экспериментами, которые бы доказывали подобные высказывания (Не удивлюсь, если таких статей и нет, так как все перечисленное звучит как гипер-упрощение, и причинно-следственные связи здесь явно нуждаются в дополнительном уточнении). А самое главное, никакого настоящего понимания того, по каким закономерностям работают все эти процессы и что с этим делать не-биологам типа меня названия этих веществ никак не добавляют.
❤15👍5✍2👎1🤔1
В моём твиттере все восхваляют uv и закапывают pip. Это мой пузырь, или он и правда хороший?
Galqiwi's boredom
Ок, вы меня убедили, стоит попробовать
Окей, это и правда классно. Мне очень нравится возможность выбрать версию питона
❤7
Только что наконец пришло I-20 от универа. Скоро будем подаваться на визу
P.S. поступил в CMU на PhD, буду писать статьи с Tim Dettmers
P.S. поступил в CMU на PhD, буду писать статьи с Tim Dettmers
Tim Dettmers
About Me — Tim Dettmers
Research Interests Awards & Honors Group Service Google Scholar lastname@cmu.edu Gates & Hillman Centers, GHC8133 I am an Assistant Professor at Carnegie Mellon University (CMU) and a Research Scientist at the Allen Institute for Artificial Intelligence (Ai2).…
🔥46❤9🎉6🤝1
Открытие дня: zerotier пытается пробить NAT, а не просто роутит весь трафик через свои сервера, как делает обычный VPN.
Zerotier — штука, похожая на vpn, которая связывает устройства в одну виртуальную сеть. Узнал о ней 4 года назад из поста Жовнера.
Zerotier — штука, похожая на vpn, которая связывает устройства в одну виртуальную сеть. Узнал о ней 4 года назад из поста Жовнера.
ZeroTier
ZeroTier | Next-Generation Connectivity and Cybersecurity
Connect everything, from cloud to IoT, with the next-generation global network solution. Simple, resilient, and secure networking in minutes.
❤5👍2